Thread by @tsoofbaror

תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה

1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>

2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>

3. ישר ולעניין - הGAN היא ארכיטקטורה מבוססת שתי רשתות.
אחת מכונה הGenerator, "היוצרת", והשניה הDiscriminator, "המשפילה"
סתם, גוגל טרנסלייס אומר "המאבחנת", אבל אני ממשיך כאן עם היוצרת והמשפילה, לשם הפרובוקציה.
כמו כל רעיון טוב - זה פשוט ואלגנטי.
הרשת היוצרת, כשמה כן היא >>

4. מנסה לייצר תמונה.
טכנית, היא דוגמת איזה וקטור אקראי, מעבירה אותו בתוך המשקולות שלה ומוציאה החוצה פיקסלים.
בשלב הבא, נשלפת תמונה אמיתית מתוך בסיס הנתונים של הבעיה.
נניח - תמונה של פרצוף אנושי.
כעת שתי התמונות נשלחות אל הרשת המשפילה, שגם כאן כשמה כן היא, משפילה את היוצרת >>

5. וצריכה להגיד איזה תמונה הגיעה מהיוצרת, ואיזה תמונה היא אמיתית מהדאטה.
מאתחלים את שתיהן - והמשחק מתחיל!
היוצרת יוצרת, המשפילה משפילה (או כושלת) ושתיהן משתפרות.
זה משחק סכום אפס.
המטרה של היוצרת היא להביא את המשפילה ל50-50, כלומר הצלחה אקראית והרשת המשפילה רוצה כמובן 100-0. >>

6. עוד לא אמרנו את הדבר הכי מדהים - הרשת היוצרת מעולם לא רואה תמונות מבסיס הנתונים.
מה זה אומר? טכנית אין Overfitting, מצב שבו רשת לומדת בע"פ את בסיס הנתונים ולא באמת איך לפתור בעיה.
למה אין? כי אין Fitting. הרשת היוצרת פשוט לא נחשפת אף פעם לדאטה.
טוב, בואו נסתבך קצת >>

6.5. (סליחה, היה חשוב לי להוסיף אחרי שסיימתי, יש גם בעיות.
אחת מהן היא הMode Collapse, מצב שבו הרשת היוצרת "טובה מידי" ומייצרת מספר דוגמאות לא מגוון ולא זזה לשום מקום.
בעיה נוספת היא האימון הסימולטני הזה - הוא מאד לא יציב.
יש כמובן עוד בעיות. בכל מקרה, רק מבהיר שלא הכל ורדרד) >>

7. חזרנו. אנחנו רוצים GenAI כללי, לא רשת שיודעת לייצר רק פנים.
כאן מגיעות הConditional GANs.
ברשתות האלה במקום וקטור אקראי שנכנס אל היוצרת, שתי הרשתות מקבלות מידע נוסף, נניח "כלב", "חתול" וכו.
עכשיו המשימה היא לא סתם לייצר תמונות >>
arxiv.org/abs/1411.1784

8. כמו בדאטה, אלא גם להתאים אותן למידע התחלתי שבא איתן.
היוצרת צריכה להתאים את עצמה, ולמשפילה יש יותר מידע על איזה תמונה היא צריכה לקבל כדי להשפיל את היוצרת.
"צייר לי כבשה", מה שנקרא.
אוקי, יש לנו את הבסיס!
אז מה קורה בתוך DraGAN? מה הם עשו שונה? >>

9. זה קצת Advanced Stuff, אבל אתן מה שאפשר.
קודם כל, הם שילבו Attention בתוך הGAN, שזה המנגנון שיושב בבסיס מודלי השפה ומהווה סוג של "תשומת לב מתמטית" למה חשוב ולא חשוב בתמונה. בנוסף,
בתוך הDraGAN המשתמש יכול לבחור "נקודות אחיזה" ו"נקודות מטרה" >>

10. והרשת היוצרת אומנה בצורה כזו שהמטרה היא איטרטיבית להביא את כל נקודות האחיזה אל נקודות המטרה.
בהרחבה:
נוצר Patch סביב הנקודה, והיוצרת מבצעת צעד קטן לכיוון המטרה.
אחריו, השיטה מסתכלת הייצוג הפנימי של Patch הצעד הקודם ביוצרת, ואז מסתכלת על התמונה החדשה. בעזרת אותו ייצוג >>

11. פנימי השיטה מוצאת את הPatch בתמונה החדשה והתהליך מתחיל מחדש. למתקדמים, זה KNN על מרחב המאפיינים הלטנטי של היוצרת.
אני מניח, למרות שזה לא ברור מהמאמר, שבכל שלב בדרך המשפילה מוודאת שהמעבר "אמיתי", ואם לא - היא מכשילה את הרשת היוצרת.
באופן כללי לא מפורט הרבה על המשפילה במאמר. >>

12. זהו!
קיבלנו מבט על-על הרעיון.
מוסר ההשכל שאני מפיק מהסיפור הוא שאין דבר כזה "לא חשוב".
גם אם קונספט מסויים נזנח לטובת משהו שנחשב טוב יותר, תמיד יש עוד מה לחקור בו, וכדאי שימצא בארגז כלי העבודה שלנו.
יש שיטות עתיקות שבא לכם\אתם חושבים שיעשו קאמבק?
ספרו לי!

אם זה השרשור הראשון שלי שאתם קוראים, היי!
תמצאו אצלי ים של תכנים שקשורים לבינה מלאכותית בעברית אמיתית שכולם מבינים.
זה הזמן לעקוב אחרי:
twitter.com/tsoofbaror
אם אתם כבר קוראים ותיקים,
מזמין אתכם לרטווט ולהגיב אם אהבתם,
ולהתעלם לגמרי אם השתעממתם.
זאת המוטיבציה לייצר יותר תוכן!😍

מקורות ותוספות!

אתר הפרוייקט:
vcai.mpi-inf.mpg.de/projects/DragG…

סרטון מצויין בנושא GANs בסיסי למי שרוצה להרחיב:


ותודה ל @kerenshahar5 שאצלה נחשפתי לDraGAN לראשונה :))