OpenAI podaje, że wiedza ChatGPT kończy się 'gdzieś' w 2021 roku, a wiedza GPT-3 'gdzieś' w 2020.
Tylko "gdzieś" to jednak mało konkretna odpowiedź 🤔
Postanowiłem to zbadać.
Wątek 🧵 ↓
Na pierwszy ogień poszedł ChatGPT, ponieważ jest on bardziej gadatliwy.
Niestety, nie można mu zadać pytania o aktualną datę, a pytania na meta-poziomie o zakres danych są niestety zbywane...
Zapytałem więc o losowe wydarzenie z maja 2022 roku, czyli spoza zakresu bazy deklarowanego przez OpenAI.
ChatGPT Twierdzi, że maj 2022 to przyszłość.
Kolejne kroki eksperymentu polegały na schodzenie z datami o 1 miesiąc: kwiecień, marzec, styczeń. Cały czas Twierdził, że to przyszłość.
Dopiero w grudniu 2021 ChatGPT uznał, że to zbyt ogólne pytanie (ale już nie przyszłość!).
Dla pewności zapytałem jeszcze o listopad, czerwiec, kwiecień itp. Odpowiedzi były identyczne.
Gdy miałem już miesiąc, testowałem dni.
Wniosek? Świadomość ChatGPT kończy się teoretycznie 31 grudnia 2021 😎
Druga fala testów wycelowana była w GPT-3. Tutaj już nie było tak łatwo, bo model Davinci-003 często odpowiadał na pytania o wydarzenia, mówiąc po prostu 'nie wiem' 🤷♂️
Eksperymentowałem ze zwiększoną liczbą tokenów, zmienną temperaturą wypowiedzi itp., ale wynik były podobne.
Postanowiłem drastycznie uprościć zapytanie dla GPT-3, czyniąc je prostym pytaniem z ograniczonym zakresem odpowiedzi.
Testowałem różne lata, zarówno idąc od roku 2016 w górę, jak i od 2022 w dół.
Wyniki były dość zaskakujące, bo cały rok 2020 zwracał odpowiedź "przyszłość".
Ta odpowiedź mnie zaskoczyła 🤔
Kilka miesięcy temu??
Eksperymentowałem z miesiącami, jak i dniami miesiąca. Doszedłem do granicznej daty 🎉
Dlaczego granicznej? Bo 10 listopada to przeszłość, ale 11 listopada, to już przyszłość 😃
Nie miałem już ochoty eksperymentować z godzinami...
Można więc uznać, że model Davinci w wersji 003 twierdzi, że posiada świadomość czasu na poziomie 11 listopada 2017 roku.
Niby sprawa jasna, ale nie pokrywa się to z deklaracjami OpenAI.
Do tego ta odpowiedź wszystko miesza:
OK. Mindfuck zaliczony, ponieważ model ma świadomość czasu na poziomie roku 2017, OpenAI mówi o roku 2020 oraz pytanie o datę zwraca 2020, aleee...
Model posiada dostęp do wiedzy z 2021 roku 😃
Ostatecznie nie mam pojęcia, jaki jest realny zakres wiedzy dla GPT-3 🤷♂️
Zakładam, że model jest po prostu systematycznie doszkalany i niezwykle trudno jest określić jego realny zakres.
Bardzo zaciekawiła mnie jednak kwestia samoświadomości modelu, jeśli chodzi o czas.
Ten eksperyment wydał mi się ciekawy, więc postanowiłem się nim tutaj podzielić.
Podobało się? 🤔
To zalajkuj lub udostępnij wątek ⬇️
Share this Scrolly Tale with your friends.
A Scrolly Tale is a new way to read Twitter threads with a more visually immersive experience.
Discover more beautiful Scrolly Tales like this.