Tsoof Bar Or Profile picture
Jun 9 21 tweets 9 min read Twitter logo Read on Twitter
אם תחפרו במוח של Midjourney, תוכלו למצוא אוזניים.
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰) Image
אזהרה לפני שנתחיל.
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
1. נתחיל במודלי דיפוזיה.
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >> Image
2. עד כאן, הבנו.
אפשר לבצע הרעשה ושחזור גם כשבתוך המודל מוטמע טקסט שמתאר את התמונה.
ואז, בסופר הפשטה, כשאנחנו מכניסים רק טקסט למודלים האלה הם מייצרים רעש אקראי ובעצם "משחזרים" את התמונה באיטרציות, כל פעם קצת, מותנית בטקסט.
נשמע פשוט?
וול, לא. מודה ומתוודה שיש שלבים בתהליך >> Image
3. שהמודלים האלה עושים שאני לא מבין עד הסוף.
נמשיך.
בגלל שבעצם בכל שלב בתהליך נכנסת תמונה ויוצאת תמונה, אנחנו מקבלים מודל ענק ואיטי.
למה?
תמונה מרובעת עלובה של 64 פיקסלים בצלע היא בעצם.. 12k פיקסלים.
למה? כי זה 64*64, ואז כפול 3 עבור כל ערוץ - אדום, ירוק, כחול. >> Image
4. לכן מה שעושים הוא אימון על תמונות ברזולוציות נמוכות, ושימוש במודלים אחרים שיודעים להעלות רזולוציה.
ואז בא Stable Diffusion ועשה משהו חדש.
בוא ניקח מבנה שאנחנו מכירים (אנחנו לא, תכף נכיר) של Encoder-Decoder, נעשה את הדיפוזיה על איזה מבנה דחוס ונוח, ואז נייצר תמונה. >> Image
5. מה זה אומר?
מדובר על חלק במודל ש"דוחס" את הפיקסלים לייצוג קומפקטי יותר, שמחזיק את האינפורמציה של התמונה בתוכו.
מי שכבר בוגר כמה שרשורים שלי יכול לדמיין את זה.
מצד אחד של הרשת נכנסת תמונה, ומהצד השני צריכה לצאת אותה תמונה, כשבאמצע יש צוואר בקבוק >> Image
6. שהוא בעצם אותו ייצוג דחוס.
אם תמונות מצליחות להכנס ולצאת בדיוק אותו דבר - הדחיסה עובדת!
בכל מקרה, החבר'ה של סטייבל דיפיוז'ן לקחו את הרעיון הזה, וצמצמו בהדרגה את התמונות הכבדות למרחב קומפקטי עליו ביצעו את אותה דיפוזיה, ולאחר מכן שחזרו את התמונה.
שימו לב, יש פה דאבל >> Image
7. "שחזור".
בהתחלה אנחנו דוחסים את התמונה הרועשת למרחב "קטן", קומפקטי.
בתהליך הדיפוזיה יש "שחזור" מרעש + טקסט מַתְנֶה דחוסים לתוצאה דחוסה.
לכן צריך שוב לשחזר, מתוצאה דחוסה לתמונה.
מקווה שלא בילבלתי.
עד כאן סבבה, נעשה בעתיד שרשור מקיף על דיפוזיה. >> Image
8. החוקרים בDIFT עשו דבר מדהים בעיני.
הם אמרו טוב, בואו נסתכל רגע על הייצוג הדחוס הזה.
אנחנו יכולים לראות לאן, לדוגמא, האף של הקואלה ממופה בדחיסה.
ממש איזה מספרים מייצגים את האף.
התמונה למטה מדגימה איך נראה אותו מרחב קומפקטי (בהקשר אחר, אבל אותו רעיון) >> Image
9. עכשיו בוא נסתכל על האף של הדב. והשועל. וגם של דני פה בצד.
יכול להיות שהם ממופים לאותו מקום?
כן!!!
תראו את התוצאה (נקודה אדומה).
אנחנו מסמנים את המקור של הברווז, והוא ממופה למקורות של כל שאר התמונות.
והאוזן של הדב.
והגשר-שמחזיק-את-המיתרים-של-הגיטרה!
כל כך פשוט, כל כך חכם. >> Image
10. רגע, לפני למה זה טוב.
אספר על עוד תחכום.
התמונות שאנחנו רואים כאן מג'ונרטות.
כלומר, יש שליטה מלאה בתהליך ואפשר לראות בדיוק איך הרעש הופך לתמונה, ולמצוא את המיפוי בהתאם.
אבל איך עושים את זה עם תמונות אמיתיות?
המודל לא מקבל תמונה כקלט.
גם כאן, עשו משהו מגניב >>
11. לקחו תמונה אמיתית.
הרעישו אותה מלאכותית כמו שהמודל מכיר,
הכניסו ל"אמצע" המודל, והעבירו אותה כמו השתלת איבר במטופל.
האפקט אותו אפקט, האף אותו אף, הסנטר אותו סנטר - זה עבד באותה איכות!
תראו את המיפוי הזה.
תאורה שונה. זווית שונה. ImageImage
12. עכשיו הנה הכותרת של השרשור.
באותו מרחב דחוס המודל מבין מה זה רגל, מה זה גלגל, ומה זה עין.
המיפוי עובד על הרעיון המופשט.
הוא לא לומד עוד רגליים של כלבים לפי דימיון, הוא מבין מה זה רגל.
כי תאכלס, יש רעיון של "רגל סטטיסטית" בדחיסה של המודל.
זה מתחבר לשרשור קודם שלי על למה >> Image
13. בעצם רשתות נוירונים לומדות.
כשלמדתי פילסופיה הפרופסור שלימד אותי צייר לי משושה, ושאל אותי מה זה. עניתי "משושה", הוא ענה "טעות".
"זה לא משושה".
הוא גם על דף, בעפרון, ואחת הצלעות קצת עקומות.
לך יש במוח רעיון מופשט שנקרא "משושה" שאתה משליך על המציאות, >>
14. ומנסה, עבור כל דבר שאתה רואה, להתאים את אותו רעיון סטטיסטי.
כשאנחנו, אנשים, מסתכלים על משהו אנחנו מנסים לחשוב על הקונספט הגדול, ולהבין אם מה שמול העיניים שלנו הוא דגימה ממנו.
יש, אי שם במרחב האידאות הדחוס של המודלים האלה את הרגל הסטטיסטית, הפרצוף הסטטיסטי, הגלגל הסטטיסטי. >> Image
15. לכן השתמשתי במילה "להבין".
זה בעצם, לעניות לדעתי, להבין (או להכליל).
המודל מחזיק את הרעיונות המופשטים ומשתמש בהם ליצירה, קצת כמו אמן.
בשום שלב לא אמרנו לו ללמוד בצורה הזו!
זה לא אנושי להחריד?
טוב, סליחה, נהייתי עמוק, בואו נחזור לצחוקים וישומים.
תראו, זה עושה פילטרים! >>
16. ובצורה רצינית יותר, אפשר להשתמש בטכניקה פרקטית גם לסגמנטציה, בידוד של איזורים בתמונה.
הDINO הזה הוא מודל שמנסה לממש רעיון דומה על ארכיטקטורה אחרת, שהיא לא אותם מודלי-דיפוזיה-מייצרי תמונות.
רואים שה"הבנה" של מודלי הדיפוזיה טובה הרבה יותר. >> Image
17. אבל בעיקר - ניצוצות, ניצוצות של בינה.
כאמור, התלבטתי אם לכתוב על זה, כי כדי להבין טכנית צריך להכיר רשתות קונבולוציה (CNN), Unet ועוד כל מיני רעיונות.
בכל מקרה, מה שתפס אותי זה המהות הפילוסופית ולאו דווקא הטכני, לכן אני מרגיש שזה שווה את זה.
מקווה שצלחנו את זה יחד 😄
אם זה השרשור הראשון שלי שאתם קוראים, היי!
מוזמנים לחקור איתי את הקישקע של הAI,
כל פעם קצת אחרת.
זה הזמן לעקוב אחרי:
twitter.com/tsoofbaror
מזמין אתכם לרטווט ולהגיב לציוץ הראשון אם אהבתם,
ולהתעלם אם השתעממתם. 😍
לא רוצים לפספס כלום? בואו לטלגרם שלי:
linktr.ee/tsoofbaror
מקורות ותוספות!
המאמר עצמו: arxiv.org/pdf/2306.03881…
בלוג מורחב עליו: diffusionfeatures.github.io
סרטון קצת יותר מקיף על דיפוזיה:

• • •

Missing some Tweet in this thread? You can try to force a refresh
 

Keep Current with Tsoof Bar Or

Tsoof Bar Or Profile picture

Stay in touch and get notified when new unrolls are available from this author!

Read all threads

This Thread may be Removed Anytime!

PDF

Twitter may remove this content at anytime! Save it as PDF for later use!

Try unrolling a thread yourself!

how to unroll video
  1. Follow @ThreadReaderApp to mention us!

  2. From a Twitter thread mention us with a keyword "unroll"
@threadreaderapp unroll

Practice here first or read more on our help page!

More from @tsoofbaror

Jun 10
מה מעניין אתכם?
ngl.link/tsoofbaror1
עוד לגמרי באקדמיה, לא מבין בזה דבר וחצי.
תנו לי כמה שנים... Image
אני לא בטוח שהבנתי נכון, בהנחה שפרמטרים=מאפיינים.
זה הרעיון בכל מודל - כל דגימה מאופיינת במספר מאפיינים, והמודל לוקח בחשבון את כולם בביצוע המשימה.
או שלא הבנתי את השאלה? 🫠 Image
Read 17 tweets
Jun 2
מורה נבוכים לAI!
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>>
#פידטק #פידאטה #פידטכנולוגיה Image
1. דאטהסט ומודל.
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >> Image
סט הולידציה, עליו תוך כדי תהליך האימון בודקים את ביצועי המודל, בלי שהוא מתאמן עליו.
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >> Image
Read 33 tweets
May 31
הAI שפותר בעיות במתמטיקה, ועושה את זה נפלא!
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה Image
כדי להבין מה קורה כאן, צריך תפישה טובה של מה זה מודל שפה, לשירותכם בשרשור המצורף.
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
1. דיברנו כבר על Complex Reasoning בשרשור על AutoGPT.
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
Read 21 tweets
May 29
הGPT בצלמנו ובדמותנו - AutoGPT.
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>>
#פידטק #פידאטה #פידטכנולוגיה Image
שימו לב.
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.

אחרי שאמרנו את זה, נתחיל >>
1. שבת שטופת שמש והחלטתם לבלות אותה בהרכבת רהיט מאיקאה.
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >> Image
Read 20 tweets
May 27
תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה
1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
Read 16 tweets
May 26
אני מקווה שאתם מוכנים לשפשף את העיניים.
אחרי שמודלי שפה הראו יכולות פנומנלית בניהול שיחה, הבנת סנטימנט ועוד אי אילו משימות מורכבות, באו המדענים הסינגפוריים והראו שהם גם יכולים להיות טובים ב......
חשבון פשוט! >>
arxiv.org/pdf/2305.14201…
1. סתם, כמובן בלי טיפת זלזול, הם הראו שאם עושים fine tune למודל שפה על תרגילים של חיבור, חיסור, כפל וחילוק הוא מצליח לפתור גם תרגילים שהוא לא ראה, כאלה מסובכים.
זה נראה קצת טפשי, אבל יש כן משמעות פילוסופית - מתמטיקה היא סוג של שפה, לאו דווקא Skill קשה. >>
2. מה שמעניין כאן הוא השאלה האם המודל "חושב", כלומר מפעיל לוגיקה "אנושית" כדי להגיע לתשובות, או שאיכשהו בתהליך האימון המודל עבר סוג של hard-coding להיות קצת מחשבון.
כלומר, הנוירונים אשכרה עושים פעולות מתמטיות ישירות.
אם אני שואל את המודל כמה זה 10 ועוד 17, איפהשהו >>
Read 6 tweets

Did Thread Reader help you today?

Support us! We are indie developers!


This site is made by just two indie developers on a laptop doing marketing, support and development! Read more about the story.

Become a Premium Member ($3/month or $30/year) and get exclusive features!

Become Premium

Don't want to be a Premium member but still want to support us?

Make a small donation by buying us coffee ($5) or help with server cost ($10)

Donate via Paypal

Or Donate anonymously using crypto!

Ethereum

0xfe58350B80634f60Fa6Dc149a72b4DFbc17D341E copy

Bitcoin

3ATGMxNzCUFzxpMCHL5sWSt4DVtS8UqXpi copy

Thank you for your support!

Follow Us on Twitter!

:(