Discover and read the best of Twitter Threads about #פידאטה
Most recents (15)
צדיק, יש לך דקה לשמוע על אלכס משיח הAI?
האיש שבלעדיו הסמיילי 🤯 היה כנראה מובטל.
היום נכיר את האיש הכי חשוב שאתם לא מכירים.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
האיש שבלעדיו הסמיילי 🤯 היה כנראה מובטל.
היום נכיר את האיש הכי חשוב שאתם לא מכירים.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
כדי להבין מה קורה בשרשור הזה, אני בונה על זה שאתם יודעים בגדול איך עובדת רשת קונבולוציה.
זה בעצם סוג של חלק ג' אחרי רשת נוירונים רגילה.
רשת נוירונים:
רשת קונבולוציה:
נמשיך >>
זה בעצם סוג של חלק ג' אחרי רשת נוירונים רגילה.
רשת נוירונים:
רשת קונבולוציה:
נמשיך >>
1. פאן פאקט עלי, מעריץ שרוף של @GeronRoy והפודקאסט "כשבגרוש היה חור".
הפודקאסט בוחן את ההיסטוריה בראי כלכלי, כי מה הדרך הכי טובה ללמוד כלכלה אם לא מאירועים שקרו באמת?
אז בהשראתו:
היום נצלול להיסטוריה הרחוקה של הAI אי שם ב.. 2012.
מוכנים? >>
osimhistoria.com/grush
הפודקאסט בוחן את ההיסטוריה בראי כלכלי, כי מה הדרך הכי טובה ללמוד כלכלה אם לא מאירועים שקרו באמת?
אז בהשראתו:
היום נצלול להיסטוריה הרחוקה של הAI אי שם ב.. 2012.
מוכנים? >>
osimhistoria.com/grush
איך הענקנו לבינה המלאכותית את חוש הראיה?
היום נצלול אל הCNN, לא רשת הטלוויזה, רשת נוירונים (NN) שעושה.. קונבולוציות (C).
קוֹנְ - בּוֹ - לוּ - צִיּוֹת.
כן.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
היום נצלול אל הCNN, לא רשת הטלוויזה, רשת נוירונים (NN) שעושה.. קונבולוציות (C).
קוֹנְ - בּוֹ - לוּ - צִיּוֹת.
כן.
מוכנים? בואו איתי 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
כדי להבין מה קורה בשרשור הזה, אני בונה על זה שאתם יודעים בגדול איך עובדת רשת נוירונים בסיסית. לא יודעים?
הנה!
נמשיך >>
הנה!
נמשיך >>
1. אפשר להכניס תמונות לרשת נוירונים רגילה.
הן אוסף של פיקסלים.
"נשטיח" אותן לטור מספרים ונכניס אל הרשת.
העניין הוא שזה עובד.. לא משהו.
הקלט ענק, וקשה לרשת להתמודד עם שונות בו.
ה9 הזה יכול להיות ממוקם בכל מקום על מפת הפיקסלים הזו.
בקיצור, קונבולוציות! >>
(אנימציה של 3b1b)
הן אוסף של פיקסלים.
"נשטיח" אותן לטור מספרים ונכניס אל הרשת.
העניין הוא שזה עובד.. לא משהו.
הקלט ענק, וקשה לרשת להתמודד עם שונות בו.
ה9 הזה יכול להיות ממוקם בכל מקום על מפת הפיקסלים הזו.
בקיצור, קונבולוציות! >>
(אנימציה של 3b1b)
אם תחפרו במוח של Midjourney, תוכלו למצוא אוזניים.
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰)
מסתבר שמודלי הדיפוזיה למיניהם מבינים, באמת מבינים מה הם רואים.
והרעיון? מה זה פשוט ומכונה DIFT.
אני - 🤯
תפסתי אתכם? יאללה 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
(אה כן, אם שמתם Bookmark - תוסיפו ככה הקלקה על הלייק, זה סופר עוזר לי 🥰)
אזהרה לפני שנתחיל.
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
התלבטתי אם לדבר על הנושא הזה, כי כדי להבין מה קורה בו צריך הבנה של קונספטים שלא יהיה לי תקציב להסביר פה עד הסוף.
אם אתם מרגישים שההסברים הם.. 60%.. זה מה יש, אבל אני מספיק בטוח שהרעיון הכללי הולך לעבור ושווה את זה.
אז גם אם יש משהו שחצי ברור, זרמו איתי. >>
1. נתחיל במודלי דיפוזיה.
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >>
אלה שמייצרים תמונות.
עוד יגיע שרשור רק עליהם, אנסה לזקק כאן את מה שחשוב כדי להבין את מה שהחוקרים הראו.
מודל דיפוזיה הוא מודל שלומד לנקות רעש.
בתהליך האימון שלו מכניסים לו תמונה, ולאט לאט "מרעישים" אותה עד שהיא בלאגן מוחלט והמודל לומד לשחזר אותה. >>
מורה נבוכים לAI!
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
שמעתם על המאמר החדש שטוען ש"יש אופטימייזר חדש לטרנספורמר שעוקף את אדם במזעור הלוס"?
נמאס לכם מכל מילות הבאזז האלה?
בשרשור הארוך מידי הזה נעשה דיבאזינג לכל הבאז.
מוכנים? 25 מושגים ומונחים, שרשור ע-נ-ק לסופ"ש 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
1. דאטהסט ומודל.
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >>
המודל הוא בעצם הAI שפועל על הדאטהסט, שהוא הנתונים מהם הAI לומד.
המודל הוא ה"איך", הדאטהסט הוא ה"ממה" לומדים.
הדאטהסט הוא טבלה עם עמודות ושורות.
בדרך כלל מחלקים דאטהסט ל3 חלקים.
הראשון הוא סט האימון עליו המודל מתאמן. השני הוא >>
סט הולידציה, עליו תוך כדי תהליך האימון בודקים את ביצועי המודל, בלי שהוא מתאמן עליו.
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >>
השלישי הוא סט הבחינה, שנשמר בצד עד הרגע האחרון, לא נוגעים בו באימון. עושים עליו בדיקה פעם אחת בסוף כדי לייצג כמה המודל באמת למד.
השורות בדאטהסט הן הדגימות השונות, והעמודות מובילות אותנו ל: >>
הAI שפותר בעיות במתמטיקה, ועושה את זה נפלא!
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
כדי להבין מה קורה כאן, צריך תפישה טובה של מה זה מודל שפה, לשירותכם בשרשור המצורף.
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
1. דיברנו כבר על Complex Reasoning בשרשור על AutoGPT.
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
הGPT בצלמנו ובדמותנו - AutoGPT.
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>>
#פידטק #פידאטה #פידטכנולוגיה
שימו לב.
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
אחרי שאמרנו את זה, נתחיל >>
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
אחרי שאמרנו את זה, נתחיל >>
1. שבת שטופת שמש והחלטתם לבלות אותה בהרכבת רהיט מאיקאה.
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>>
#פידאטה #פידטק #פידטכנולוגיה
1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014).
arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
לאמן GPT על המידע של סבא מושיק.. בלי לאמן אותו?!
נכון שתמיד רציתם ChatGPT שיוכל לענות על שאלות שקשורות לעבודת השורשים שלכם?
"היי, תגיד, איפה סבא מושיק נולד?"
כל זה בלי לאמן אותו על שום דאטה של שום סבא!
שרשור טכנולוגי קליל לשבת! 🧵 >>
#פידאטה #פידטק #בינהמלאכותית
נכון שתמיד רציתם ChatGPT שיוכל לענות על שאלות שקשורות לעבודת השורשים שלכם?
"היי, תגיד, איפה סבא מושיק נולד?"
כל זה בלי לאמן אותו על שום דאטה של שום סבא!
שרשור טכנולוגי קליל לשבת! 🧵 >>
#פידאטה #פידטק #בינהמלאכותית
1. קודם כל, אם אין לכם שום הבנה איך מודלי שפה (LLM) עובדים מזמין אתכם קודם כל לקרוא את השרשור הקליל שלי בנושא, כי אני הולך להשתמש במילים כמו "קונטקסט" או "טוקן".
אעשה את המיטב להיות מובן גם בלעדיו, בכל מקרה. >>
אעשה את המיטב להיות מובן גם בלעדיו, בכל מקרה. >>
2. מה הדרך הסטנדרטית לגרום למודל שפה לדעת דברים?
לאמן אותו על המידע הרלוונטי.
המודל מתאמן בשיטה של השלמת משפטים.
לוקחים את הדאטה, כל פעם חותכים באמצע ונותנים למודל לחזות את החצי השני.
התהליך עולה כסף, מצריך הבנה טכנית של כיצד מבצעים אותו בצורה נכונה, >>
לאמן אותו על המידע הרלוונטי.
המודל מתאמן בשיטה של השלמת משפטים.
לוקחים את הדאטה, כל פעם חותכים באמצע ונותנים למודל לחזות את החצי השני.
התהליך עולה כסף, מצריך הבנה טכנית של כיצד מבצעים אותו בצורה נכונה, >>
היום לא נדבר על ה"איך", נדבר על ה"למה".
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
1. אז למה אני מדוכא?
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.
2. זאת תפישה פילוסופית. זה אומר שכל תוצאה אפשר למדל כתרגיל מתמטי מורכב של הסיבה שגרמה לה.
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>
התגלית ששברה את עולם הבינה המלאכותית (והסטטיסטיקה) התרחשה ב..
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
2018?
כן. בערך 5 שנים.
היום נדבר על התופעה המוזרה המכונה Double Descent, שהותירה את גדולי המדענים פעורי פה.
קחו אוויר, ובואו איתי להבין מה קרה שם, כמובן ללא צורך בידע קודם 🧵
#פידטק #פידאטה #בינה_מלאכותית
>>
1. נתחיל בלדבר על מודל ה"בינה המלאכותית" החשוב ביותר שידוע לאנושות: הממוצע.
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
כן. הממוצע.
מה אנחנו מנסים להשיג בבינה מלאכותית?
במשפט, למזער את שגיאות המודל בביצוע משימה כלשהי. אם המשימה היא לחזות גבהים של סטודנטים, המודל הכי פשוט שיתן את השגיאה הנמוכה ביותר הוא הממוצע. >>
2. הממוצע מזקק בתוכו אינפורמציה על כל הקבוצה בפרמטר יחיד. הוא לא לומד את גבהי הקבוצה בע"פ, נכון? נכון, מלבד מקרה אחד.
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
מה הוא?
טוב, זה קל - כשיש חבר אחד בקבוצה.
הממוצע "למד בעל פה" את המידע שעליו הוא התאמן. אין הכללה, רק שינון. >>
היום נצלול אל מעמקי המוח של הAI.
תכינו את עצמכם לInception של עולם הGPT, כי לפני שלושה ימים הבינה המלאכותית התחילה להסביר את עצמה.
לא צריך (אך מומלץ) ידע מוקדם, רק הרבה סקרנות וקצת יראת כבוד.
שרשור על איך לומדים על AI עם AI, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
תכינו את עצמכם לInception של עולם הGPT, כי לפני שלושה ימים הבינה המלאכותית התחילה להסביר את עצמה.
לא צריך (אך מומלץ) ידע מוקדם, רק הרבה סקרנות וקצת יראת כבוד.
שרשור על איך לומדים על AI עם AI, קדימה 🧵 >>
#פידטק #פידאטה #פידטכנולוגיה
1. קודם כל, רקע במודלי שפה (LLM).
אם אין לכם שמץ מה קורה שם בקישקע של ChatGPT, מזמין אתכם לקפוץ לקרוא את השרשור הזה.
לא מאסט, אבל ממש-מאד-ממש מומלץ.
זה יעשה סדר, כי נכנס פה לאקטואליה.
נמשיך >>
אם אין לכם שמץ מה קורה שם בקישקע של ChatGPT, מזמין אתכם לקפוץ לקרוא את השרשור הזה.
לא מאסט, אבל ממש-מאד-ממש מומלץ.
זה יעשה סדר, כי נכנס פה לאקטואליה.
נמשיך >>
2. רשתות נוירונים של מודלי שפה הן רעיון די מטורלל. מיליארדי פעולות מתמטיות שבסוף מתרגמות לאיזה משפט.
אבל איך?
מה קרה בבפנוכו שהביא את המודל להוציא משפט כזה? האם המודל שלנו מוטה?
גזען?
במילים אחרות - האם הוא "מיושר" (Aligned) עם הערכים האנושיים?
אבל איך?
מה קרה בבפנוכו שהביא את המודל להוציא משפט כזה? האם המודל שלנו מוטה?
גזען?
במילים אחרות - האם הוא "מיושר" (Aligned) עם הערכים האנושיים?
משתגעים להבין מה זה כל הGPT הזה?
אני במילואים, עייף וחסר יכולת להשקיע במטלות שלי, אז ברור שזה הזמן לכתוב שרשור.
היום נכנס לנבכי הLLM - "מודלי שפה ענקיים" וננסה להבין מה קורה בקישקע שלהם ואיך הם עובדים כלכך טוב.
כרגיל, לא צריך ידע במתמטיקה או מחשבים.
#פידטק #פידאטה יאללה >>
אני במילואים, עייף וחסר יכולת להשקיע במטלות שלי, אז ברור שזה הזמן לכתוב שרשור.
היום נכנס לנבכי הLLM - "מודלי שפה ענקיים" וננסה להבין מה קורה בקישקע שלהם ואיך הם עובדים כלכך טוב.
כרגיל, לא צריך ידע במתמטיקה או מחשבים.
#פידטק #פידאטה יאללה >>
1. נתחיל בהתחלה עם כותרת מפוצצת.
הGPT הוא חלק מקבוצת אלגוריתמים בשם LLM - Large Language Models שמבוססים על רשתות הנוירונים הקלאסיות (NN) עם ים שדרוגים.
אם NN היא קיר, אז LLM הוא סוג של עזריאלי.
אם הרעיון של NN זר לכם, מזמין אתכם לשרשור שלי בנושא >>
הGPT הוא חלק מקבוצת אלגוריתמים בשם LLM - Large Language Models שמבוססים על רשתות הנוירונים הקלאסיות (NN) עם ים שדרוגים.
אם NN היא קיר, אז LLM הוא סוג של עזריאלי.
אם הרעיון של NN זר לכם, מזמין אתכם לשרשור שלי בנושא >>
1.5. אמ;לק קצר לפני שנתחיל: הLLMs לוקחים את הטקסט, ממירים אותו למספר, חוזים מה המספר הכי סביר הבא, ממירים את המספר הכי סביר הבא לטקסט, והופ - קיבלנו תשובה מChatGPT. עכשיו נרד לעומק של המכונה המשומנת הזו.
איך זה קורה? >>
איך זה קורה? >>
לקח לי יותר מידי זמן לכתוב את השרשור הזה, אבל אחת ולתמיד:
"רשת נוירונים", מה זה ואיך זה עובד.
בגלל (בזכות!) @StavKislev רוב העוקבים שלי מ #פידרפואה, אז כל האנלוגיות כאן יהיו מהתחום.
#פידאטה , #פידטק 🧵
(כרגיל - אין צורך בידע במתמטיקה או במחשבים. או ברפואה.)
"רשת נוירונים", מה זה ואיך זה עובד.
בגלל (בזכות!) @StavKislev רוב העוקבים שלי מ #פידרפואה, אז כל האנלוגיות כאן יהיו מהתחום.
#פידאטה , #פידטק 🧵
(כרגיל - אין צורך בידע במתמטיקה או במחשבים. או ברפואה.)
(1/16) נתחיל רגע בשאלה פילוסופית - מה המשמעות של הביטוי "ליישם ידע"? מה התוצר של "ללמוד"?
למידה היא כמו מפעל.
אל מפעל כתר נכנסים בלוקים של פלסטיק, ויוצאים כיסאות מהודרים ומוכנים לקטטה. משהו קורה שם באמצע במפעל של כתר.
כשרופא מאבחן מחלה, הוא מכניס אל תוך המוח
למידה היא כמו מפעל.
אל מפעל כתר נכנסים בלוקים של פלסטיק, ויוצאים כיסאות מהודרים ומוכנים לקטטה. משהו קורה שם באמצע במפעל של כתר.
כשרופא מאבחן מחלה, הוא מכניס אל תוך המוח
(2/16) את כל מדדי החולה - ופולט החוצה "עגבת"!
רשת נוירונים היא ניסיון לחקות את מה שקורה שם באמצע, בשפה שמחשב מבין.
הרשת מקבלת המון מספרים, ומוציאה החוצה המון (או מעט) מספרים. כן, זה עד כדי כך פשוט. יש שלושה עניינים מעניינים:
מה הם המספרים האלה, ואיך יוצרים אותם ומה משמעותם.
רשת נוירונים היא ניסיון לחקות את מה שקורה שם באמצע, בשפה שמחשב מבין.
הרשת מקבלת המון מספרים, ומוציאה החוצה המון (או מעט) מספרים. כן, זה עד כדי כך פשוט. יש שלושה עניינים מעניינים:
מה הם המספרים האלה, ואיך יוצרים אותם ומה משמעותם.
תוך כדי למידה חשבתי לעצמי: "היי, במקום לסכם, למה שלא אכתוב שרשור?".
אז הנה, היום נדבר על רשתות נוירונים גרפיות (GNNs).
מה זה גרף, למה זה טוב, למי זה עוזר ואיך זה קשור למלחמה בבוטים בטוויטר ול #בינהמלאכותית?
בואו נגלה #פידאטה, #פידטק🧵
(כרגיל - אין צורך בידע במתמטיקה או מחשבים)
אז הנה, היום נדבר על רשתות נוירונים גרפיות (GNNs).
מה זה גרף, למה זה טוב, למי זה עוזר ואיך זה קשור למלחמה בבוטים בטוויטר ול #בינהמלאכותית?
בואו נגלה #פידאטה, #פידטק🧵
(כרגיל - אין צורך בידע במתמטיקה או מחשבים)
(1/14) נתחיל בהתחלה. בכיתה ז' פתאום נכנסות אותיות למתמטיקה. לא רק פעולות חשבון, אלא איזה X מוזר שצריך למצוא. גרף הוא רעיון מתמטי כמו זה, שפשוט מגיח לחיים בשלב כלשהו באוניברסיטה. כמו שהX הזה הוא ציור שבא לתאר רעיון, הגרף הוא ציור של נקודות שמחוברות זו לזו, גם הן מתארות רעיון.
(2/14) טוויטר הוא סוג של גרף - כל נקודה ("צומת") היא צייצן, ואפשר לחבר אותה לכל מי שעוקב אחריה בחץ ("קשת"). שתי נקודות מחוברות נקראות "שכנות". אפשר להשתמש בחצים כדי לתאר קשר חד צדדי, או בקו לקשר דו"צ. גרפים מתארים המון תופעות בעולם שלנו, לא רק רשתות חברתיות. מולקולה היא סוג של
(1/14) על הקונץ של @ClalitResearch למלחמה בקורונה עם #בינהמלאכותית.
בשרשור הקודם נחשפתי לעובדה המדהימה (!) שכבר במרץ 2020 (!!) היה לקופ"ח כללית מודל מתפקד לחיזוי תמותה של חולי קורונה. מה אפשר ללמוד ממנו? #פידאטה וקצת #פידרפואה על עצי החלטות ויערות 🧵
בשרשור הקודם נחשפתי לעובדה המדהימה (!) שכבר במרץ 2020 (!!) היה לקופ"ח כללית מודל מתפקד לחיזוי תמותה של חולי קורונה. מה אפשר ללמוד ממנו? #פידאטה וקצת #פידרפואה על עצי החלטות ויערות 🧵
(2/14) נתחיל באמ;לק רציני: לכללית היה כבר מודל חיזוי לשפעת, אותו הם לקחו ובו ביצעו התאמות לקורונה. זהו, סיימנו, תודה. סתם. האמת שמה שאני באמת רוצה לספר לכם הוא מה עומד בבסיס מודל השפעת. תופתעו לגלות כמה זה פשוט: עץ החלטות (או נכון יותר - יער).
(3/14) עץ ההחלטות הוא אחד מעמודי התווך של עולם ה #AI, והוא עושה משהו ממש הגיוני: הוא יודע לקחת פיסת מידע (נתוני חולה, תמונה וכו) ולשאול עליה המון שאלות. לשאלות תשובות קטגוריות. אפשר כן\לא, אבל גם נגיד על "גיל?" אפשר לענות "מתחת ל30"\"בין 30 ל60"\"מעל 60"
