Read on Twitter
התגלית ששברה את עולם הבינה המלאכותית (והסטטיסטיקה) התרחשה ב..
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
1. נתחיל בלדבר על מודל ה"בינה המלאכותית" החשוב ביותר שידוע לאנושות: הממוצע.
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
2. הממוצע מזקק בתוכו אינפורמציה על כל הקבוצה בפרמטר יחיד. הוא לא לומד את גבהי הקבוצה בע"פ, נכון? נכון, מלבד מקרה אחד.
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
3. האנלוגיה הנחמדה הזו עובדת גם כשהמודל כולל יותר פרמטרים.
מודל רגרסיה פשוט, y=mx+n, כולל שני פרמטרים – m וn. אם ניתן לו רק 2 תצפיות – בינהן עובר קו ישר אחד, הוא ילמד אותן בעל פה.
מזהים את הדפוס?
הבעיה עם הכללה היא כזו: ככל שהמודל יותר מסובך, בעל יותר "חלקים זזים" >>
מודל רגרסיה פשוט, y=mx+n, כולל שני פרמטרים – m וn. אם ניתן לו רק 2 תצפיות – בינהן עובר קו ישר אחד, הוא ילמד אותן בעל פה.
מזהים את הדפוס?
הבעיה עם הכללה היא כזו: ככל שהמודל יותר מסובך, בעל יותר "חלקים זזים" >>
4. כלומר פרמטרים, יש יותר סיכוי שהוא ילמד בע"פ את המידע שעליו הוא התאמן ולא יכליל.
וזה אומר שכשנציג לו דוגמאות חדשות – הוא יכשל.
לא משנה אם הוא רגרסיה או חיזוי מזג אוויר או מודל שפה.
העקרון הסטטיסטי הזה ליווה אותנו במשך עשורים.
מודלים מורכבים נוטים "להסביר יותר מידי" וכושלים. >>
וזה אומר שכשנציג לו דוגמאות חדשות – הוא יכשל.
לא משנה אם הוא רגרסיה או חיזוי מזג אוויר או מודל שפה.
העקרון הסטטיסטי הזה ליווה אותנו במשך עשורים.
מודלים מורכבים נוטים "להסביר יותר מידי" וכושלים. >>
5. אפשר לראות את זה בגרף (1) חשוב! לא לדלג.
לוקחים שני סטים של נתונים, אחד לאימון ואחד לבחינה. מאמנים מודל מורכב על סט האימון – נכשל במבחן.
מאמנים מודל פשוט יותר – לא נכשל במבחן.
דוגמא קלילה של רגרסיה בתמונה (2). מה לדעתכן מתאר יותר טוב את המציאות? ברור שהמודל הפשוט. >>
לוקחים שני סטים של נתונים, אחד לאימון ואחד לבחינה. מאמנים מודל מורכב על סט האימון – נכשל במבחן.
מאמנים מודל פשוט יותר – לא נכשל במבחן.
דוגמא קלילה של רגרסיה בתמונה (2). מה לדעתכן מתאר יותר טוב את המציאות? ברור שהמודל הפשוט. >>
6. עד כאן טוב ויפה. שנים על גבי שנים זאת הייתה הקונספציה. גדול זה רע, פשוט זה טוב!
מה קרה ב2018?
סדרת ניסויים הראתה דבר מדהים – אם ממשיכים את הגרף (1) שבציוץ הקודם עוד ימינה, פתאום יש נפילה סופר חדה.
המודל הגרוע, המדקלם כמו תוכי – פתאום לומד.
ויותר טוב מהמודלים הפשוטים. >>
מה קרה ב2018?
סדרת ניסויים הראתה דבר מדהים – אם ממשיכים את הגרף (1) שבציוץ הקודם עוד ימינה, פתאום יש נפילה סופר חדה.
המודל הגרוע, המדקלם כמו תוכי – פתאום לומד.
ויותר טוב מהמודלים הפשוטים. >>
7. מה? מה קורה כאן?
המודל משתפר.. משתפר.. משתפר.. הופ פתאום משנן ונהיה גרוע.. גרוע יותר.. גרוע יותר... הופ משהו קורה המודל סופר חכם!
מה?!
כן. דמיינו מה עבר בראש של החוקרים שהם התחילו לראות תוצאות כאלה.
זה קצת כמו לגלות שבמהירויות גבוהות חוקי הפיזיקה פתאום עובדים אחרת.. >>
המודל משתפר.. משתפר.. משתפר.. הופ פתאום משנן ונהיה גרוע.. גרוע יותר.. גרוע יותר... הופ משהו קורה המודל סופר חכם!
מה?!
כן. דמיינו מה עבר בראש של החוקרים שהם התחילו לראות תוצאות כאלה.
זה קצת כמו לגלות שבמהירויות גבוהות חוקי הפיזיקה פתאום עובדים אחרת.. >>
8. בהינתן העובדה המוזרה הזו, בואו נדבר על רשתות נוירונים.
לרשתות נוירונים מיליארדי פרמטרים.
מיליארדים.
היינו מצפים שהן יהיו ממש גרועות בהכללה – אבל זה לא המצב.
הן נפלאות, למרות שלפעמים יש בהן הרבה יותר חלקים זזים מאשר דוגמאות אימון. >>
לרשתות נוירונים מיליארדי פרמטרים.
מיליארדים.
היינו מצפים שהן יהיו ממש גרועות בהכללה – אבל זה לא המצב.
הן נפלאות, למרות שלפעמים יש בהן הרבה יותר חלקים זזים מאשר דוגמאות אימון. >>
9. דמיינו שהיינו יכולים לתת לקו רגרסיה 2 נקודות והוא היה מצליח להבין מהן את התופעה במלואה, עם טעות מנימאלית.
זה נוגד את האינטואציה בכל צורה.
רשתות נוירונים עצומות, הרבה יותר עצומות מכל בסיס הנתונים – לא לומדות אותו בע"פ ומצליחות להכליל.
למה?
לא לגמרי יודעים, אבל הנה השערות >>
זה נוגד את האינטואציה בכל צורה.
רשתות נוירונים עצומות, הרבה יותר עצומות מכל בסיס הנתונים – לא לומדות אותו בע"פ ומצליחות להכליל.
למה?
לא לגמרי יודעים, אבל הנה השערות >>
10. כשהמודל לומד בעל פה את כל הדוגמאות שהוא מקבל, ולא משנה אם זה מודל שפה שלומדים מילים, מודל שלומד לסווג תמונות או כל מודל אחר, הוא עדיין צריך למלא "חללים" שנמצאים בין הדוגמאות שאנחנו נותנים לו.
אם אימנתי מודל רגרסיה על המספרים 1,2,4,5 – הוא יצטרך לנחש מה התוצאה של 3. >>
אם אימנתי מודל רגרסיה על המספרים 1,2,4,5 – הוא יצטרך לנחש מה התוצאה של 3. >>
11. מודל מסובך שלומד בע"פ את בסיס הנתונים, נוטה "לחבר" את הנקודות בצורה מאד גסה.
הוא מנצל את כל הפרמטרים שלו כדי לשנן, ולא מחבר את הנקודות בצורה חסכונית - זאת הדרך הכי קלה להגיע לשגיאה 0.
זאת סיבה עיקרית לביצועים הגרועים בחיזוי על דברים שהוא לא ראה לפני. >>
הוא מנצל את כל הפרמטרים שלו כדי לשנן, ולא מחבר את הנקודות בצורה חסכונית - זאת הדרך הכי קלה להגיע לשגיאה 0.
זאת סיבה עיקרית לביצועים הגרועים בחיזוי על דברים שהוא לא ראה לפני. >>
12. אומרים שמודלים סופר מסובכים (בניגוד לסתם מסובכים) עושים את החיבור הזה (בין הנקודות) יותר טוב, ולמרות שהם לומדים את הנתונים בע"פ הם עדיין מצליחים לבצע הכללה.
הסבר נוסף הוא שכשלמודל יש המון פרמטרים, יש לו המון דרכים להגיע לשגיאה 0 על סט האימון.
זה מביא לזה שבעצם המודל יהיה >>
הסבר נוסף הוא שכשלמודל יש המון פרמטרים, יש לו המון דרכים להגיע לשגיאה 0 על סט האימון.
זה מביא לזה שבעצם המודל יהיה >>
13. רגיש פחות לשינויים לעומת מודל גדול שמשתמש בכל הפרמטרים שלו כדי ללמוד את כל הדאטה.
הסברים מעפנים, אני יודע, אבל זה רוב מה שיש לנו.
כמובן שזה ממש על קצה המזלג.
חשוב להגיד שהתופעה הזו לא בהכרח מתרחשת בכל בעית ML.
אנחנו פשוט לא ממש יודעים עליה הרבה, והיא בחזית המחקר.
הסברים מעפנים, אני יודע, אבל זה רוב מה שיש לנו.
כמובן שזה ממש על קצה המזלג.
חשוב להגיד שהתופעה הזו לא בהכרח מתרחשת בכל בעית ML.
אנחנו פשוט לא ממש יודעים עליה הרבה, והיא בחזית המחקר.
14. הדבר ההזוי כאן הוא שכמו שהזכרתי, יש כאן קצת ניוטון-איינשטיין.
החוקים של ניוטון עבדו עד רגע מסויים, ואז במצבי קיצון נשברו.
גם כאן המודלים שלנו גדלו למימדי ענק וגילינו שכל הבסיס שלנו לא מדויק.
דברים עצומים מתנהגים אחרת, לא רק בפיזיקה. >>
החוקים של ניוטון עבדו עד רגע מסויים, ואז במצבי קיצון נשברו.
גם כאן המודלים שלנו גדלו למימדי ענק וגילינו שכל הבסיס שלנו לא מדויק.
דברים עצומים מתנהגים אחרת, לא רק בפיזיקה. >>
15. אם תשאלו אותי, זה פשוט מרתק.
אנחנו עדים לתקומה של תחום של במדע, וזה פאקינג מרגש.
אם מישהו מכם יודע לתת עוד איזה אינפוט על התופעה הזו - אשמח לשמוע.
נתראה בשרשור הבא :)
אנחנו עדים לתקומה של תחום של במדע, וזה פאקינג מרגש.
אם מישהו מכם יודע לתת עוד איזה אינפוט על התופעה הזו - אשמח לשמוע.
נתראה בשרשור הבא :)
מקורות!
המאמר המקורי מ2018:
arxiv.org/abs/1812.11118
אינפוגרפיקה יפה על הנושא:
mlu-explain.github.io/double-descent/
המאמר המקורי מ2018:
arxiv.org/abs/1812.11118
אינפוגרפיקה יפה על הנושא:
mlu-explain.github.io/double-descent/
• • •
Missing some Tweet in this thread? You can try to
force a refresh
