Thread by @tsoofbaror

היום לא נדבר על ה"איך", נדבר על ה"למה".
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה

1. אז למה אני מדוכא?
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.

2. זאת תפישה פילוסופית. זה אומר שכל תוצאה אפשר למדל כתרגיל מתמטי מורכב של הסיבה שגרמה לה.
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>

3. האנושיות שלי לא דטרמיניסטית.
גם הטבע לא.
אבל פילוסופית הML אומרת שקיימת, אי שם בעולם האידאות של אפלטון, פונקציה שמתארת את התפלגות התשובות שלי לשאלה "מה נשמע".
לכל אחד מאיתנו יש פונקציה כזו.
אוהו!
ואם אפילו את ספת הפסיכולוג אפשר למדל באמצעות פונקציה, למתמטיקה כלי עבודה >>

4. נפלאים לשערך אותה.
מילת המפתח היא "לשערך".
אני לא יכול למצוא את אותה פונקציה שיושבת אצלי במוח, זו שכל פעם עונה תשובה אחרת לשאלה "מה נשמע".
אני כן יכול לתת לה שערוך.
משהו קרוב מספיק.
כל מי שעוסק במדע יודע שככה אנחנו מתארים את המציאות - כל המודלים בפיזיקה, בכימיה, הכל מקורב! >>

5. איך נדע אם הדת החדשה, "הכל זה פונקציות", היא דת האמת?
טוב, הרבה פעמים הדרך שלנו להבין אם עלינו על האמת היא אם האמת עובדת.
אפשר להתווכח עד מחר על כוח המשיכה, אבל אם נקפוץ מהחלון נמות.
אם אנחנו טוענים שאפשר לשכנע אדם שהוא מדבר עם אדם אחר למרות שהוא בעצם אלגוריתם, אז גם הנפש >>

6. היא פונקציה שניתנת לשערוך. לרגע נניח שזה נכון.
ב1989 מתמטיקאי בשם George Cybenko הוכיח, מתמטית, משהו די מדהים:
אפשר, באמצעות רשת נוירונים גדולה מספיק, לשערך כל פונקציה ביקום.
(תחת כמה מגבלות שפחות רלוונטיות אלינו - מתמטיקאים, תסלחו לי).
אגב, בהמשך הוכח שהעובדה הזו >>

7. נכונה לרשת נוירונים שזקוקה לשכבה אחת בלבד (!). לא צריך אפילו עומק.
הקאץ'?
הוא לא הראה שום דרך לעשות את זה פרקטית.
נכון לכתיבת שורות אלו, אנחנו עדיין לא יודעים איך לעשות את זה.
אין לנו תאוריה שאומרת "בהינתן שזו הבעיה, זו רשת הנוירונים שתפתור אותה".
מי שקרא את השרשור >>

8. הקודם שלי, על Double Descent יודע - אנחנו בשלב במדע של ניסוי, טעיה ותהיה בנושא רשתות.
לכן, עם כל כמה שקשה להאמין. כל מודלי השפה הגדולים (GPT) הם שיערוך מורכב של פונקציה סטטיסטית על השפה האנושית.
ההנחה הזו, שהכל פונקציה, הוא מה שהביא אותם לידי קיום. >>

https://twitter.com/tsoofbaror/status/1651604337100050432

9. אז למה הבינה המלאכותית לא התפוצצה ב1989?
טוב, זה קל.
זה בסדר להגיד שאפשר לשערך את השפה האנושית עם רשת נוירונים, אבל הרשתות האלה עצומות וצריך כח מחשוב שלא היה אז להריץ אותן (אפילו לא לאמן. רק להריץ)
בנוסף, למדל רשת עם שכבה אחת יכול להיות תיאורטית אפשרי, אבל כדי להצליח >>

10. באמת לפתור משהו אמיתי עם שכבה אחת יתכן שצריך יותר נוירונים מאטומים ביקום.
ככה זה מתמטיקאים.
הלמידה העמוקה שפרצה לחיינו היא זו שהצליחה להפוך את התאוריה לפרקטיקה, והביאה איתה בעיות שעד שלא פתרו לאחרונה - הרשתות היו עוד בגדר מחקר בחיתוליו.
זה גם יהיה נושא שנדבר עליו בעתיד >>

11. אבל הנה הסיבה העיקרית שרשתות הנוירונים השתלטו על עולם הAI.
הן פשוט משערכות נפלאות לפונקציות - וזה כלי העבודה לדת שלנו!
חשוב להגיד - יש עוד הרבה כלים בעולם הAI שאינם רשתות, ועובדים יותר טוב במקרים מסויימים.
אבל בבעיות ה"אנושיות" - שפה, ראיה ממוחשבת, משחק - רשתות שולטות.

12. האם בעוד כמה שנים נחזה במודל שפה שבאמת נוכל לחשוב שהוא תבוני?
האם הגישה הזו של "הכל זה פונקציה" תביא אותנו לAGI - בינה מלאכותית "כללית", לא כזו שטובה במשימה אחת ספציפית?
יכול להיות שלתוצאות המדהימות שאנחנו רואים היום יש תקרת זכוכית >>

13. וכדי להגיע לבינה מלאכותית אמיתית נצטרך בכלל טכנולוגיות אחרות, לא משערכי פונקציות מאד מתוחכמים?
כרגע אנחנו רואים שגישת "הכל זה פונקציה" רק משתפרת בלמידה.
היא מבדילה בין אובייקטים, לומדת שפה, משחקת משחקים ועושה לא מעט מטלות אנושיות. כלומר, הטכנולוגיה עובדת >>

14. וכאמור, אם אפשר ליצור משהו תבוני בעזרת שערוך פונקציות - האם זאת בעצם תבונה, או שחסר לנו עוד איזה ספארק, עוד איזה קונספט מעבר למתמטיקה כדי ליצור את הHuman Touch הזה?
פה האנושות נחלקת לשניים.
אלה שמסתכלים על השאלה כפילוסופית, ואלה שכמדעית.
עוד לא בחרתי צד :)
מה דעתכן.ם?

אה כן!
תודה ל @ZivBan @alongimov1 @Idit_Biton על העזרה בג'ינרוט תמונות.
ול @FeldmanSaraa על הכיוון של להתעסק קצת בצד ההומני של העניינים (למרות שאני יודע שזה לא בדיוק מה שביקשת).
לקריאה נוספת:
en.wikipedia.org/wiki/Universal…