תוך כדי למידה חשבתי לעצמי: "היי, במקום לסכם, למה שלא אכתוב שרשור?".
אז הנה, היום נדבר על רשתות נוירונים גרפיות (GNNs).
מה זה גרף, למה זה טוב, למי זה עוזר ואיך זה קשור למלחמה בבוטים בטוויטר ול #בינהמלאכותית?
בואו נגלה #פידאטה, #פידטק🧵
(כרגיל - אין צורך בידע במתמטיקה או מחשבים)
(1/14) נתחיל בהתחלה. בכיתה ז' פתאום נכנסות אותיות למתמטיקה. לא רק פעולות חשבון, אלא איזה X מוזר שצריך למצוא. גרף הוא רעיון מתמטי כמו זה, שפשוט מגיח לחיים בשלב כלשהו באוניברסיטה. כמו שהX הזה הוא ציור שבא לתאר רעיון, הגרף הוא ציור של נקודות שמחוברות זו לזו, גם הן מתארות רעיון.
(2/14) טוויטר הוא סוג של גרף - כל נקודה ("צומת") היא צייצן, ואפשר לחבר אותה לכל מי שעוקב אחריה בחץ ("קשת"). שתי נקודות מחוברות נקראות "שכנות". אפשר להשתמש בחצים כדי לתאר קשר חד צדדי, או בקו לקשר דו"צ. גרפים מתארים המון תופעות בעולם שלנו, לא רק רשתות חברתיות. מולקולה היא סוג של
(3/14) גרף, עם חיבורים בין האטומים. מפות דרכים הן גרפים, כאשר כל צומת הוא, ובכן, ממש צומת. הקשתות הן הכבישים. אפשר להמיר הרבה בעיות בחיים לבעיות מתמטיות שקשורות לגרפים. למצוא את הדרך הקצרה ביותר בין שני צמתים, למצוא קבוצה של צמתים שלא מחוברים, למצוא מסלול מעגלי ועוד המון.
(4/14) את הרעיון של גרף אפשר להרחיב מאד. אפשר להחליט שעל כל קשת יש "משקל", נניח כמה זמן לוקח לרכב לעשות את הדרך מצומת לצומת. אפשר להחליט שכל צומת כולל רשימה של מאפיינים. אם כל צומת הוא צייצן, אני יכול לחליט שהצומת כולל את המידע על ארץ הלידה שלו והאם הוא קירח.
(5/14) אמרנו טוויטר? אמרנו #בינהמלאכותית? איך אפשר לקחת יוזר, לייצג את כל הקשרים השונים שלו, התגובות שלו ומה לא כגרף - ולנסות לחזות אם מדובר בבוט שרק מהדהד מפלגה או מסר? כדי לענות על זה, צריך רגע להבין איך בכלל אפשר להכניס גרף לאלגוריתם לומד. הרי זה ציור. אז גרפים אפשר לתאר גם
(6/14) כטבלאות. נתאר את העמודות כ"עוקב" והשורות כ"נעקב", ככה שאם יש 1 אז הצייצן בעמודה עוקב אחרי הצייצן בשורה, ואם יש 0 הוא לא. אפשר גם להשתמש בשם המתמטי המפונפן של זה: "מטריצת שכנויות". אם יש לכל צומת המון מאפיינים בתוכו, אפשר להשתמש באותו רעיון וליצור טבלה נוספת,
(7/14) בה כל עמודה היא רשימת כל המאפיינים של אותו צומת (רק בלי השכנויות). התוצאה היא שתי טבלאות מידע. האחת נותנת מידע על הקשרים, והשניה על המאפיינים של הצמתים. אוקי, מצאנו דרך "לארוז" את המידע בצורה נוחה. מה עכשיו?
(8/14) הרי יש לנו מידע בשתי טבלאות שונות, וצריך להכניס לאלגוריתם סוג של חיבור שלהן. כלומר, אני רוצה שהאלגוריתם יקבל בו זמנית את שתי הטבלאות, וחשוב יותר - אנחנו רוצים שילמד מהן משהו. שתהיה גם דרך לתת משקל (זוכרים מהשרשור השני?) לכל המידע הזה כדי לחזות או לגלות משהו על הגרף.
(9/14) במקום הסברים מוכללים, נרוץ על דוגמא. לכל צייצן חשוד בטוויטר נבנה גרף כך: כל מי שהוא אי פעם הגיב לו או עשה לו לייק יהיה שכן שלו, ובכל צומת של שכן כזה ימצא המידע של כמה לייקים וכמה תגובות הוא קיבל מהצייצן.
(10/15) כעת יש לנו את שתי הטבלאות המדוברות: שכנויות (למי הגיב\עשה לייק) ותכונות (כמה לייקים\תגובות). מכיוון שבטוויטר יש מיליארדי משתמשים ואי אפשר להכניס את כולם לטבלה, הטבלאות שלנו יכללו פוליטיקאים, עיתונאים ודמויות מפתח שרלוונטיות להדהוד המסרים שאנחנו חושדים שמבוטטים (מלשון בוט)
(11/14) הבחירה של מי ומה להכניס לטבלאות היא בדיוק בחירת מאפיינים רלוונטיים (שוב שרשור 2 שמצורף בסוף). לשתי הטבלאות מצטרפת טבלה שלישית, טבלת המשקלים. הטבלה הזו היא ה"מוח" של האלגוריתם, והיא תלמד איזה סוגים של קשרים ודפוסי התנהגות מתאימים לבוטים.
(12/14) נאתחל את הטבלה הזו במספרים אקראיים, ובכל פעם נשתמש בה כדי לחזות האם יוזר הוא בוט או לא. בכל שלב, האלגוריתם צריך "לאחד" את שלוש הטבלאות - שכנויות, מאפיינים ומשקלים. ככה בנויה רשת הנוירונים הגרפית. במקרה שלנו האיחוד הזה פולט מספר. 1 אם בוט, 0 אם לא. נוסחה מצורפת למתקדמים.
(13/14) הארכיטקטורה הזו יכולה לשמש אותנו לחזות דברים שקשורים בכל הגרף כבדוגמא, אך גם דברים ספציפיים על הצמתים או על הקשתות. מכאן רק תפעילו את הדימיון איך אפשר להשתמש ברשתות האלה ללמוד דברים מגניבים על כל דבר שאפשר לייצג כגרף.
(14/14) אז אם הגעתם עד כאן - כבוד!
מה שתפס אותי כאן הוא איך לוקחים משהו ציורי כזה ומזינים אותו לתוך מערכת לומדת שמכירה רק טבלאות ומספרים. זה מבריק בעיניי! 😁
ממש אשמח לשמוע ממי שלא מגיע מהתחום - זה מרגיש ברור? אני בדרך הנכונה?
מקורות והערות:
כרגיל, לפעמים אני לא מדייק למען הפשטות והנעימות של הקריאה, נא לקטול במשורה.
שרשור הרעיון של מאפיינים בלמידת מכונה -
הכוח של GPT o1, סדרת המודלים החדשה של OpenAI.
המודלים האלה, שכונו פנימית Strawberry, אמורים להיות מודלים שמתמחים ב-Reasoning.
אבל איך בודקים דבר כזה?
איך נראה Reasoning?
אנסה לתת פה כיוון לאיך אני רואה את זה, ולמה אני חושב שהמודלים האלה הם אולי תחילת הדרך למהפכה 🧵>>
1. אני מפרש הפעולה הזו שנקראת Reasoning כיכולת שלנו לקחת בעיה ולהבין איזה ידע מקדים צריך לבנות על מנת לפתור אותה, לאסוף את הידע המקדים ורק אז להגיע לתשובה.
בשאלה המפורסמת ״כמה פעמים האות r מופיע במילה Strawberry״ רוב המודלים טועים בין היתר, גם בגלל זה.
בגלל שהתשובה שלהם >>
2. היא הסתברותית נטו, אין להם את תהליך ה״בניה״ של הידע כדי לענות: פירוק המילה לאותיות שלה קודם כל, ורק אז ספירה של כל האותיות, אחת אחת.
את זה בדיוק o1 מנסה לפתור. בשיטת אימון שOpenAI לא חושפים, המודל לא ״עונה״, הוא קודם כל מבסס את כל פרטי הידע הנחוצים, מנתח אותם ורק אז מרכיב >>
טוויטר יקר - עזרו לנו להקים בית לפראמדיקים בצה״ל.
(אמ;לק: הקמנו עמותה ואנחנו מגייסים).
הפעם אני הולך לספר לכם על התפקיד שלי בסדיר ובמילואים, ועל המסע לתת לאנשים כמוני בית, ליווי וקהילה.
בבקשה - שתפו את הפוסט ועזרו לנו להגיע ליעד.
תנו לי דקה להכיר לכם אותנו 🧵 >>
1. נתחיל בהתחלה, הנה הלינק לתרומה לעמותה (רשומה ומוכרת לצורכי מס כמובן).
2. פראמדיק וחובש זה לא אותו דבר.
חובש קרבי הוא לוחם. הם עוברים מסלול, יוצאים ל3 חודשים קורס חובשים בבה״ד 10 וחוזרים ליחידות.
הפראמדיקים הם יצורים אחרים לגמרי. התפקיד הומצא עקב מחסור - מחסור ברופאים.
פעם על אמבולנס היו רופא ואחות.
אבל מה לרופא שיודע לקרוא רטנגן ובדיקות דם >>
רק מוודא שאתם מעודכנים במה שקורה:
קלוד בדרך להביס את GPT בקרב המפתחים.
אתם אולי משתמשים בChatGPT (או קלוד) דרך ממשק אינטרנטי, אבל מאחורי הקלעים יש שוק פעיל מאד של מוצרים שמשתמשים במודלים האלה.
סקירה קצרצרה 🧵>>
1. סיכום טקסט, מענה אוטומטי ואפילו שירות לקוחות - יש המון מוצרים שנבנים סביב מודלי שפה.
עד כה, 90% מהם היו או מבוססי OpenAI, או מבוססים על מודלים פתוחים כמו Llama/Mistral.
מה שקרה הוא שOpenAI נתנו באופן כמעט בלעדי דרך קלה להחריד לגשת למודלים שלהם דרך קוד.
תראו בתמונה. >>
2. עשר שורות בקושי ואפשר לגשת למודל AI אימתני.
על בסיס זה נבנו עשרות אם לא מאות סטארטאפים שמנסים להפיק ערך ממכונת המילים הזו.
כמו שאמרתי, עד כה OpenAI שלטו בשוק הזה באופן כמעט בלעדי.
המודלים האחרים היו סוג של "התפשרות" למי שרוצה לעשות איזה אימון יחודי בעצמו. ממש לא הסטנדרט >>
על תקרת הזכוכית של מהפכת הGenAI הנוכחית.
האם אנחנו רגע מGPT7 שיקנה בשבילנו מניות בבורסה וSORA שתחליף את הוליווד?
כנראה שלא. ממש לא.
תוהים איך יראה העתיד?
קחו אוויר, שימו בBookmark אם צריך - שרשור ארוך, אבל אחד שאסור לפספס 🧵 >>
1. ההתקדמות בAI מסחררת. ליטרלי מסחררת.
הסחרור מתודלק ע״י כל סלבס הAI על הפלנטה. יש לזה שתי סיבות עיקריות, ואף אחת מהן היא לא וודאות לגבי העתיד:
הבאזז מאפשר לגייס הרבה מאד כסף,
והאנשים האלה באמת באמת *רוצים* להצליח, מחשבה-מייצרת-מציאות.
השאלה: הם המציאות מתכתבת עם הבאזז? >>
2. בשרשור הזה אני רוצה לנסות לצמצם את הסחרור, ולנסות לחשוב ריאלית איך העתיד הולך להראות.
רשימת עובדות 1#:
גם למשתמשים משלמים, יש עדיין מגבלה של עד 50 הודעות כל 3 שעות
על GPT4. שנה אחרי שהוא שוחרר.
לקלוד - Opus החדש, גם במנוי PRO, יש מגבלה של 100 הודעות ב8 שעות במקרה הטוב. >>
בשקט בשקט, אילון זרק פצצה הלילה.
השבב המוחי הראשון הושתל באדם בריא, שבב חיבור בין הטכנולוגיה למוח.
האפליקציה הראשונה לשבב, איך לקרוא, תיקרא ״טלפתיה״ (Telepahy) ותיועד לאנשים שאיבדו את היכולת להזיז את הגפיים.
לאט לאט, הכל מתחבר >>
המונח המטורף כאן הוא הBrain Interface.
האמת, זה ממש אינטואיטיבי. הדרך שלנו לתקשר עם הטכנולוגיה היא דרך מתווך. יותר נכון מתווכות - הידיים והאצבעות שלנו.
המוח שולח שדר אליהן, הן מעבירות את השדר למכשיר שבתורו מחזיר שדר שנקלט בעיניים או באוזניים שלנו - וחזרה למוח.
המשימה של >>
ֿֿ
ניורולינק היא החלום הרטוב של כל קונספירטור מצוי.
השתלת שבב במוח שיחסוך את המתווכות, ויאפשר לנו לתקשר עם הטכנולוגיה שלנו בכוח המחשבה.
נשמע בדיוני, אבל על פניו - הסיגנל 100% נמצא שם במוח.
מה שצריך הוא לחלץ אותו ולהשתמש בו, ״זה הכל״.
שבב. ממש שבב. >>
שמעתם על גאדג׳ט הAI החדש?
גם אני.
הרמתם גבה?
גם אני.
אז באיחור של שבועיים, בואו נדבר רגע על הדבר הזה.
קשקוש, או העתיד? 🧵>>
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
1. נתחיל בטכני.
מדובר על מכשיר קטן בעלות 199$ שמתפקד קצת כמו אלכסה, סירי או גוגל אסיסטנט.
המסך הוא מסך מגע, יש בו גם סוג של גלגלת אנלוגית ומצלמה 360 מעלות נשלפת כדי שהטמגוצ׳י הזה יוכל גם לראות את העולם.
למכשיר קוראים r1, או בשמו המלא כולל החברה שמייצרת אותו: rabbit r1 >>
2. הרעיון, אם לא ראיתם את הדמו הארוך, הוא שכל התקשורת איתו מילולית.
״תזמין לי אובר למחר״, ״תמצא לי חופשה, רכב ומלון בלונדון במרץ״.
הוא ישלח ״ארנב״ לרשת, יחפש, יזמין ויתן לכם לאשר.
הוא יתפקד גם כChatGPT קולי, תשאלו שאלה, הוא יענה.
זמן המענה קצר להחריד. הם מדברים על פחות מחצי >>