OpenAI podaje, że wiedza ChatGPT kończy się 'gdzieś' w 2021 roku, a wiedza GPT-3 'gdzieś' w 2020.
Tylko "gdzieś" to jednak mało konkretna odpowiedź 🤔
Postanowiłem to zbadać.
Wątek 🧵 ↓
Tylko "gdzieś" to jednak mało konkretna odpowiedź 🤔
Postanowiłem to zbadać.
Wątek 🧵 ↓
Na pierwszy ogień poszedł ChatGPT, ponieważ jest on bardziej gadatliwy.
Niestety, nie można mu zadać pytania o aktualną datę, a pytania na meta-poziomie o zakres danych są niestety zbywane...
Niestety, nie można mu zadać pytania o aktualną datę, a pytania na meta-poziomie o zakres danych są niestety zbywane...
Zapytałem więc o losowe wydarzenie z maja 2022 roku, czyli spoza zakresu bazy deklarowanego przez OpenAI.
ChatGPT Twierdzi, że maj 2022 to przyszłość.
ChatGPT Twierdzi, że maj 2022 to przyszłość.
Kolejne kroki eksperymentu polegały na schodzenie z datami o 1 miesiąc: kwiecień, marzec, styczeń. Cały czas Twierdził, że to przyszłość.
Dopiero w grudniu 2021 ChatGPT uznał, że to zbyt ogólne pytanie (ale już nie przyszłość!).
Dopiero w grudniu 2021 ChatGPT uznał, że to zbyt ogólne pytanie (ale już nie przyszłość!).
Dla pewności zapytałem jeszcze o listopad, czerwiec, kwiecień itp. Odpowiedzi były identyczne.
Gdy miałem już miesiąc, testowałem dni.
Wniosek? Świadomość ChatGPT kończy się teoretycznie 31 grudnia 2021 😎
Gdy miałem już miesiąc, testowałem dni.
Wniosek? Świadomość ChatGPT kończy się teoretycznie 31 grudnia 2021 😎
Druga fala testów wycelowana była w GPT-3. Tutaj już nie było tak łatwo, bo model Davinci-003 często odpowiadał na pytania o wydarzenia, mówiąc po prostu 'nie wiem' 🤷♂️
Eksperymentowałem ze zwiększoną liczbą tokenów, zmienną temperaturą wypowiedzi itp., ale wynik były podobne.
Eksperymentowałem ze zwiększoną liczbą tokenów, zmienną temperaturą wypowiedzi itp., ale wynik były podobne.
Postanowiłem drastycznie uprościć zapytanie dla GPT-3, czyniąc je prostym pytaniem z ograniczonym zakresem odpowiedzi.
Testowałem różne lata, zarówno idąc od roku 2016 w górę, jak i od 2022 w dół.
Wyniki były dość zaskakujące, bo cały rok 2020 zwracał odpowiedź "przyszłość".
Wyniki były dość zaskakujące, bo cały rok 2020 zwracał odpowiedź "przyszłość".
Ta odpowiedź mnie zaskoczyła 🤔
Kilka miesięcy temu??
Kilka miesięcy temu??
Eksperymentowałem z miesiącami, jak i dniami miesiąca. Doszedłem do granicznej daty 🎉
Dlaczego granicznej? Bo 10 listopada to przeszłość, ale 11 listopada, to już przyszłość 😃
Nie miałem już ochoty eksperymentować z godzinami...
Nie miałem już ochoty eksperymentować z godzinami...
Można więc uznać, że model Davinci w wersji 003 twierdzi, że posiada świadomość czasu na poziomie 11 listopada 2017 roku.
Niby sprawa jasna, ale nie pokrywa się to z deklaracjami OpenAI.
Do tego ta odpowiedź wszystko miesza:
Niby sprawa jasna, ale nie pokrywa się to z deklaracjami OpenAI.
Do tego ta odpowiedź wszystko miesza:
OK. Mindfuck zaliczony, ponieważ model ma świadomość czasu na poziomie roku 2017, OpenAI mówi o roku 2020 oraz pytanie o datę zwraca 2020, aleee...
Model posiada dostęp do wiedzy z 2021 roku 😃
Model posiada dostęp do wiedzy z 2021 roku 😃
Ostatecznie nie mam pojęcia, jaki jest realny zakres wiedzy dla GPT-3 🤷♂️
Zakładam, że model jest po prostu systematycznie doszkalany i niezwykle trudno jest określić jego realny zakres.
Bardzo zaciekawiła mnie jednak kwestia samoświadomości modelu, jeśli chodzi o czas.
Zakładam, że model jest po prostu systematycznie doszkalany i niezwykle trudno jest określić jego realny zakres.
Bardzo zaciekawiła mnie jednak kwestia samoświadomości modelu, jeśli chodzi o czas.
Ten eksperyment wydał mi się ciekawy, więc postanowiłem się nim tutaj podzielić.
Podobało się? 🤔
To zalajkuj lub udostępnij wątek ⬇️
Podobało się? 🤔
To zalajkuj lub udostępnij wątek ⬇️
https://twitter.com/uwteam/status/1612164104260653058
• • •
Missing some Tweet in this thread? You can try to
force a refresh
