son zamanlarda çok popüler olan GPT-3 nedir, ne değildir, developer'ların yerini alabilir mi flood'ı 👇🏽
"GPT-3 few shot learning kullanan, otoregresif bir dil modelidir"
dil modeli: yan yana gelen bir dizi kelimenin anlamlı olup olmadığının ya da insan tarafından söylenip söylenmediğinin olasılığını veren istatistiki bir model
P("çocuklar şekeri sever") > P("şeker çocukları sever")
dil modeli: yan yana gelen bir dizi kelimenin anlamlı olup olmadığının ya da insan tarafından söylenip söylenmediğinin olasılığını veren istatistiki bir model
P("çocuklar şekeri sever") > P("şeker çocukları sever")
few shot learning: şimdiye kadar dil modelleri hep kocaman bir öneğitimli modelin, kullanılmak istenen görevin veri setinde ince ayar çekilmesiyle elde ediliyordu, few shot learning'de ise kocaman bir veri seti yerine göreve dair bir iki örnek modele veriliyor
bu da insanlardan esinlenilmiş, "yeşil ve kırmızı birer renktir, bana bir renk daha söyler misin?" dendiğinde sarı diyebiliyoruz, GPT-3 de tam olarak bu şekilde öğreniyor. one-shot ve zero-shot'ta da sırasıyla bir ve sıfır örnekler gösteriliyordu.
GPT-2 zero shot kullanıyordu ve gördüğünüz üzere bayağı performans farkı var, keşke GPT-2'yu çıkarmadan önce bir iki örnekle eğitselermiş 😅 burada GPT-2'nun belli görevlerdeki (soru cevaplama, hikaye tamamlama gibi) başarımlarını görebilirsiniz: openai.com/blog/better-la… 
otoregresif: geçmiş veriden geleceği tahmin etmek gibi tanımlayabiliriz. iki kelime yazdığınızda cümlenizin gerisini getirmesi de otoregresiflik örneği, ama bunun kötü tarafları da var, aşağıdaki gibi
ingilizce vikipedi ve common crawl veri setiyle eğitildiği için herhangi bir insanın sahip olduğu önyargılarının olması normal bir şey, ırkçı/islamofobik/kadın düşmanı olan algoritmanın kendisi değil insanlar 🤷🏻♀️ bu genel olarak yapay zekanın en büyük sorunu 🤦🏻♀️
GPT-3 geliştiricilerin yerini alabilir mi: bu soruya cevap vermek çok zor, GPT-3 şimdiye kadar bilinen/başarılmış işleri yapabilir, yeni bir js framework'ü çıksa -tekrar eğitilmediği sürece, ki çok pahalı- öğrenemez mesela, ve yaratıcılığı yok, sağduyuya sahip değil 🤷🏻♀️
ki bence dil modellerinin çıkmasından daha hızlı js framework'ü çıkıyor 😅 GPT-3 bütün bir internetle eğitilmiş ve bu kadar parametresi olan tek generative (üretici) model, bir dahaki GPT'nin eğitilmesine kadar hepimiz güvendeyiz bence 😅
yapay zeka mühendisleri olarak kodsuz YZ akımını başlatabilir mi, hayır, örnekte verilen veri setleri kadar tertemiz veri setleriyle çalışmıyoruz, özellikle tablo verisiyle çalışan insanlar (satış tahmini, müşteri segmentasyonu, churn, fraud) güvende 🤓
