Thread by @tsoofbaror

היום נצלול אל מעמקי המוח של הAI.
תכינו את עצמכם לInception של עולם הGPT, כי לפני שלושה ימים הבינה המלאכותית התחילה להסביר את עצמה.
לא צריך (אך מומלץ) ידע מוקדם, רק הרבה סקרנות וקצת יראת כבוד.
שרשור על איך לומדים על AI עם AI, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה

1. קודם כל, רקע במודלי שפה (LLM).
אם אין לכם שמץ מה קורה שם בקישקע של ChatGPT, מזמין אתכם לקפוץ לקרוא את השרשור הזה.
לא מאסט, אבל ממש-מאד-ממש מומלץ.
זה יעשה סדר, כי נכנס פה לאקטואליה.
נמשיך >>

https://twitter.com/tsoofbaror/status/1651604337100050432

2. רשתות נוירונים של מודלי שפה הן רעיון די מטורלל. מיליארדי פעולות מתמטיות שבסוף מתרגמות לאיזה משפט.
אבל איך?
מה קרה בבפנוכו שהביא את המודל להוציא משפט כזה? האם המודל שלנו מוטה?
גזען?
במילים אחרות - האם הוא "מיושר" (Aligned) עם הערכים האנושיים?

3. חלק מהמאמץ של OpenAI הוא הרצון לייצר "יישור" כזה.
מודלים שמיושרים עם הערכים האנושיים. איזייר-סייד-דן-דאן.
אז OpenAI יצרו שיטה מעניינת להבין איזה חלקים של המודל אחראיים על מה.
הם ממש רוצים להגיד - "היי, הנה נוירון שאחראי על גיבורי על".
ממש ככה.
הנה ההסבר. >>

4. ניקח שני מודלי שפה.
במקרה הזה GPT4 הענק המסביר, וGPT2 הקטנטן המוסבר.
חשוב להגיד שהם מציינים שגם על מודל קטן כמו GPT2, שכולל "רק" 1.5B נוירונים, קשה מאד לייצר הסברים טובים.
זאת התחלה, והתחלה מגניבה.
בכל מקרה, מתחילים בלבחור נוירון ספציפי שרוצים להסביר (בGPT2) >>

5. ומריצים מלא טקסט במודל.
נוירון "יורה" כשהוא באמת משתתף בתהליך ה"חשיבה".
עבור כל מילה (טוקן), מתועד כמה הנוירון "ירה" כשGPT2 יצר אותה בעזרת ערך מספרי.
אם המודל יצר "אני אוהב שוקולד", יבוא עם הצירוף הזה נניח - 0 2 8. >>

6. כלומר, הנוירון הספציפי לא ירה בכלל כדי לייצר את ה"אני", ירה קצת כדי לייצר את ה"אוהב" וירה הרבה כדי לייצר את ה"שוקולד".
נוירון השוקולד! סתם, הלוואי וזה היה כזה פשוט.
בכל מקרה, סבבה, הכנסנו מלא טקסט למודל הקטן ותיעדנו כמה נוירון ספציפי יורה עבור כל מילה. >>

7. השלב הבא הוא לתת את המידע הזה לGPT4, קופי פייסט, ולהגיד לו - הסבר על מה הנוירון אחראי.
נחמד, אבל זה רק שלב באמצע.
הGPT4 נותן הסבר, ואז מבצע משימה נוספת:
כתוב פסקה, וחזה כמה הנוירון הספציפי שאנחנו חוקרים "ירה" עבור כל מילה בה.
אנחנו מבקשים מGPT4 "לחשוב" כמו הנוירון הנחקר. >>

8. אחרי שGPT4 עשה את זה, בעזרת כמה טריקים מתמטיים עושים השוואה בין סימולצית GPT4 ליריות האמיתיות של נוירון GPT2 הנחקר.
ככל שהניקוד גבוה (בין 0 ל1), נבין יותר על מה אותו נוירון אחראי.
יש המון נוירונים, זה עובד לאט אבל!
זה עובד, אממ, לא רע.
ככה הם אומרים. >>

9. כן, "לא רע".
אין פה פריצת דרך ממש ממש משוגעת, הGPT4 משיג ציונים לא מדהימים ולא הפכנו את רשת הנוירונים מקופסה שחורה לפוסט של הפשוטע - אבל יש כאן צעד גדול נוסף ביכולת שלנו לחקור את הבינה המלאכותית.
עכשיו בואו נראה קצת דוגמאות לדברים שהשיטה גילתה. >>

10. ככל שהנוירון עמוק יותר הוא אחראי על תהליכי חשיבה עמוקים יותר.
תראו את הניתוח של המילה Hiding.
בשכבה הראשונה ירה נוירון של "מילים שנגמרות בing".
בשכבה השלישית "מילים שקשורות להתחבאות, סגירה ומתחמים סגורים".
בשכבה החמישית "מילים שקשורות למצבים מנטליים, לחץ או חרדה" וכו>>

11. עוד שיטת ניתוח.
המילה cooking מתחברת לשלושה הסברים בכחול, אדום וירוק.
אפשר לראות בכל שכבה איזה נוירונים מופעלים באיזה קטגוריה, ומה הציון שניתן לGPT4 בניבוי.
נוירון 359 מוסבר מצויין לדוגמא, עם ציון 0.83.
ה720 פחות טוב, עם 0.41. >>

12. אם נרוץ לשכבות עמוקות יותר נראה הרבה פחות הסברים ופחות טובים, (כנראה) כי הרעיונות בהם מורכבים הרבה יותר. OpenAI טוענים שאולי צריך מודל חזק יותר מGPT4 כדי להסביר שכבות עמוקות.
אני מזכיר, אלה שכבות עמוקות של המודל הישן-מאד GPT2. יש הרבה לאן להתקדם. >>

13. זה כבר נהיה ארוך, אז אעצור כאן.
מה הטייק שלי? קודם כל, זה די מדהים.
הAI סובל עמוקות מבעית ה"מוסברות" (Explainability) וככל שצצים יותר מודלים לאוויר, הטולרנטיות שלנו לקופסאות שחורות יורדת. אנחנו רוצים הסברים! >>

14. השיטה עדיין לא יכולה לתת לנו תמונה טובה האם מודל השפה שלנו מוטה, גזען או טרוריסט, אבל היא צעד גדול בכיוון.
מדהים להבין שהמחקר הזה, שהוא כל כך "אקדמי" במהות שלו - מגיע מחברה פרטית.
אני תוהה אם יגיע יום שבו יהיה אפשר ללמוד "AI Engineer" מוסמך של חברות כמו OpenAI >>

15. ויהיה לזה יותר ערך מתואר אקדמי.
מה דעתכם? נגיע למצב שבו נכניס מודל שפה אל מודל אחר, והוא יגיע לנו "שומע, המודל הזה נאצי"? האם בעתיד אתלבט בין לימודים באוניברסיטה לבין לימודים בחברה מסחרית?
שתפו אותי במחשבותיכם על הנושא!
What a time to be alive.

מקורות!
הגרסה המקוצרת:
openai.com/research/langu…
המאמר המלא: openaipublic.blob.core.windows.net/neuron-explain…
משחק עם הנוירונים של GPT2:
openaipublic.blob.core.windows.net/neuron-explain…
דיסקליימר למומחים:
הפשטתי פה חלק מההסברים למען המוסברות. יש כאן כמה אי דיוקים מכוונים, אבל שום דבר מהותי, רק עניינים טכניים.