אם תחפרו במוח של Midjourney, תוכלו למצוא אוזניים.
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>> #פידטק#פידאטה#פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰)
אזהרה לפני שנתחיל.
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
1. נתחיל במודלי דיפוזיה.
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >>
2. עד כאן, הבנו.
אפשר לבצע הרעשה ושחזור גם כשבתוך המודל מוטמע טקסט שמתאר את התמונה.
ואז, בסופר הפשטה, כשאנחנו מכניסים רק טקסט למודלים האלה הם מייצרים רעש אקראי ובעצם "משחזרים" את התמונה באיטרציות, כל פעם קצת, מותנית בטקסט.
נשמע פשוט?
וול, לא. מודה ומתוודה שיש שלבים בתהליך >>
3. שהמודלים האלה עושים שאני לא מבין עד הסוף.
נמשיך.
בגלל שבעצם בכל שלב בתהליך נכנסת תמונה ויוצאת תמונה, אנחנו מקבלים מודל ענק ואיטי.
למה?
תמונה מרובעת עלובה של 64 פיקסלים בצלע היא בעצם.. 12k פיקסלים.
למה? כי זה 64*64, ואז כפול 3 עבור כל ערוץ - אדום, ירוק, כחול. >>
4. לכן מה שעושים הוא אימון על תמונות ברזולוציות נמוכות, ושימוש במודלים אחרים שיודעים להעלות רזולוציה.
ואז בא Stable Diffusion ועשה משהו חדש.
בוא ניקח מבנה שאנחנו מכירים (אנחנו לא, תכף נכיר) של Encoder-Decoder, נעשה את הדיפוזיה על איזה מבנה דחוס ונוח, ואז נייצר תמונה. >>
5. מה זה אומר?
מדובר על חלק במודל ש"דוחס" את הפיקסלים לייצוג קומפקטי יותר, שמחזיק את האינפורמציה של התמונה בתוכו.
מי שכבר בוגר כמה שרשורים שלי יכול לדמיין את זה.
מצד אחד של הרשת נכנסת תמונה, ומהצד השני צריכה לצאת אותה תמונה, כשבאמצע יש צוואר בקבוק >>
6. שהוא בעצם אותו ייצוג דחוס.
אם תמונות מצליחות להכנס ולצאת בדיוק אותו דבר - הדחיסה עובדת!
בכל מקרה, החבר'ה של סטייבל דיפיוז'ן לקחו את הרעיון הזה, וצמצמו בהדרגה את התמונות הכבדות למרחב קומפקטי עליו ביצעו את אותה דיפוזיה, ולאחר מכן שחזרו את התמונה.
שימו לב, יש פה דאבל >>
7. "שחזור".
בהתחלה אנחנו דוחסים את התמונה הרועשת למרחב "קטן", קומפקטי.
בתהליך הדיפוזיה יש "שחזור" מרעש + טקסט מַתְנֶה דחוסים לתוצאה דחוסה.
לכן צריך שוב לשחזר, מתוצאה דחוסה לתמונה.
מקווה שלא בילבלתי.
עד כאן סבבה, נעשה בעתיד שרשור מקיף על דיפוזיה. >>
8. החוקרים בDIFT עשו דבר מדהים בעיני.
הם אמרו טוב, בואו נסתכל רגע על הייצוג הדחוס הזה.
אנחנו יכולים לראות לאן, לדוגמא, האף של הקואלה ממופה בדחיסה.
ממש איזה מספרים מייצגים את האף.
התמונה למטה מדגימה איך נראה אותו מרחב קומפקטי (בהקשר אחר, אבל אותו רעיון) >>
9. עכשיו בוא נסתכל על האף של הדב. והשועל. וגם של דני פה בצד.
יכול להיות שהם ממופים לאותו מקום?
כן!!!
תראו את התוצאה (נקודה אדומה).
אנחנו מסמנים את המקור של הברווז, והוא ממופה למקורות של כל שאר התמונות.
והאוזן של הדב.
והגשר-שמחזיק-את-המיתרים-של-הגיטרה!
כל כך פשוט, כל כך חכם. >>
10. רגע, לפני למה זה טוב.
אספר על עוד תחכום.
התמונות שאנחנו רואים כאן מג'ונרטות.
כלומר, יש שליטה מלאה בתהליך ואפשר לראות בדיוק איך הרעש הופך לתמונה, ולמצוא את המיפוי בהתאם.
אבל איך עושים את זה עם תמונות אמיתיות?
המודל לא מקבל תמונה כקלט.
גם כאן, עשו משהו מגניב >>
11. לקחו תמונה אמיתית.
הרעישו אותה מלאכותית כמו שהמודל מכיר,
הכניסו ל"אמצע" המודל, והעבירו אותה כמו השתלת איבר במטופל.
האפקט אותו אפקט, האף אותו אף, הסנטר אותו סנטר - זה עבד באותה איכות!
תראו את המיפוי הזה.
תאורה שונה. זווית שונה.
12. עכשיו הנה הכותרת של השרשור.
באותו מרחב דחוס המודל מבין מה זה רגל, מה זה גלגל, ומה זה עין.
המיפוי עובד על הרעיון המופשט.
הוא לא לומד עוד רגליים של כלבים לפי דימיון, הוא מבין מה זה רגל.
כי תאכלס, יש רעיון של "רגל סטטיסטית" בדחיסה של המודל.
זה מתחבר לשרשור קודם שלי על למה >>
13. בעצם רשתות נוירונים לומדות.
כשלמדתי פילסופיה הפרופסור שלימד אותי צייר לי משושה, ושאל אותי מה זה. עניתי "משושה", הוא ענה "טעות".
"זה לא משושה".
הוא גם על דף, בעפרון, ואחת הצלעות קצת עקומות.
לך יש במוח רעיון מופשט שנקרא "משושה" שאתה משליך על המציאות, >>
14. ומנסה, עבור כל דבר שאתה רואה, להתאים את אותו רעיון סטטיסטי.
כשאנחנו, אנשים, מסתכלים על משהו אנחנו מנסים לחשוב על הקונספט הגדול, ולהבין אם מה שמול העיניים שלנו הוא דגימה ממנו.
יש, אי שם במרחב האידאות הדחוס של המודלים האלה את הרגל הסטטיסטית, הפרצוף הסטטיסטי, הגלגל הסטטיסטי. >>
15. לכן השתמשתי במילה "להבין".
זה בעצם, לעניות לדעתי, להבין (או להכליל).
המודל מחזיק את הרעיונות המופשטים ומשתמש בהם ליצירה, קצת כמו אמן.
בשום שלב לא אמרנו לו ללמוד בצורה הזו!
זה לא אנושי להחריד?
טוב, סליחה, נהייתי עמוק, בואו נחזור לצחוקים וישומים.
תראו, זה עושה פילטרים! >>
16. ובצורה רצינית יותר, אפשר להשתמש בטכניקה פרקטית גם לסגמנטציה, בידוד של איזורים בתמונה.
הDINO הזה הוא מודל שמנסה לממש רעיון דומה על ארכיטקטורה אחרת, שהיא לא אותם מודלי-דיפוזיה-מייצרי תמונות.
רואים שה"הבנה" של מודלי הדיפוזיה טובה הרבה יותר. >>
17. אבל בעיקר - ניצוצות, ניצוצות של בינה.
כאמור, התלבטתי אם לכתוב על זה, כי כדי להבין טכנית צריך להכיר רשתות קונבולוציה (CNN), Unet ועוד כל מיני רעיונות.
בכל מקרה, מה שתפס אותי זה המהות הפילוסופית ולאו דווקא הטכני, לכן אני מרגיש שזה שווה את זה.
מקווה שצלחנו את זה יחד 😄
אם זה השרשור הראשון שלי שאתם קוראים, היי!
מוזמנים לחקור איתי את הקישקע של הAI,
כל פעם קצת אחרת.
זה הזמן לעקוב אחרי: twitter.com/tsoofbaror
מזמין אתכם לרטווט ולהגיב לציוץ הראשון אם אהבתם,
ולהתעלם אם השתעממתם. 😍
לא רוצים לפספס כלום? בואו לטלגרם שלי: linktr.ee/tsoofbaror
עוד לגמרי באקדמיה, לא מבין בזה דבר וחצי.
תנו לי כמה שנים...
אני לא בטוח שהבנתי נכון, בהנחה שפרמטרים=מאפיינים.
זה הרעיון בכל מודל - כל דגימה מאופיינת במספר מאפיינים, והמודל לוקח בחשבון את כולם בביצוע המשימה.
או שלא הבנתי את השאלה? 🫠
מורה נבוכים לAI!
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>> #פידטק#פידאטה#פידטכנולוגיה
1. דאטהסט ומודל.
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >>
סט הולידציה, עליו תוך כדי תהליך האימון בודקים את ביצועי המודל, בלי שהוא מתאמן עליו.
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >>
הAI שפותר בעיות במתמטיקה, ועושה את זה נפלא!
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >> #פידטק#פידאטה#פידטכנולוגיה
כדי להבין מה קורה כאן, צריך תפישה טובה של מה זה מודל שפה, לשירותכם בשרשור המצורף.
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
1. דיברנו כבר על Complex Reasoning בשרשור על AutoGPT.
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
הGPT בצלמנו ובדמותנו - AutoGPT.
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>> #פידטק#פידאטה#פידטכנולוגיה
שימו לב.
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
1. שבת שטופת שמש והחלטתם לבלות אותה בהרכבת רהיט מאיקאה.
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>> #פידאטה#פידטק#פידטכנולוגיה
1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014). arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
אני מקווה שאתם מוכנים לשפשף את העיניים.
אחרי שמודלי שפה הראו יכולות פנומנלית בניהול שיחה, הבנת סנטימנט ועוד אי אילו משימות מורכבות, באו המדענים הסינגפוריים והראו שהם גם יכולים להיות טובים ב......
חשבון פשוט! >> arxiv.org/pdf/2305.14201…
1. סתם, כמובן בלי טיפת זלזול, הם הראו שאם עושים fine tune למודל שפה על תרגילים של חיבור, חיסור, כפל וחילוק הוא מצליח לפתור גם תרגילים שהוא לא ראה, כאלה מסובכים.
זה נראה קצת טפשי, אבל יש כן משמעות פילוסופית - מתמטיקה היא סוג של שפה, לאו דווקא Skill קשה. >>
2. מה שמעניין כאן הוא השאלה האם המודל "חושב", כלומר מפעיל לוגיקה "אנושית" כדי להגיע לתשובות, או שאיכשהו בתהליך האימון המודל עבר סוג של hard-coding להיות קצת מחשבון.
כלומר, הנוירונים אשכרה עושים פעולות מתמטיות ישירות.
אם אני שואל את המודל כמה זה 10 ועוד 17, איפהשהו >>