לקח לי יותר מידי זמן לכתוב את השרשור הזה, אבל אחת ולתמיד:
"רשת נוירונים", מה זה ואיך זה עובד.
בגלל (בזכות!) @StavKislev רוב העוקבים שלי מ #פידרפואה, אז כל האנלוגיות כאן יהיו מהתחום. #פידאטה , #פידטק 🧵
(כרגיל - אין צורך בידע במתמטיקה או במחשבים. או ברפואה.)
(1/16) נתחיל רגע בשאלה פילוסופית - מה המשמעות של הביטוי "ליישם ידע"? מה התוצר של "ללמוד"?
למידה היא כמו מפעל.
אל מפעל כתר נכנסים בלוקים של פלסטיק, ויוצאים כיסאות מהודרים ומוכנים לקטטה. משהו קורה שם באמצע במפעל של כתר.
כשרופא מאבחן מחלה, הוא מכניס אל תוך המוח
(2/16) את כל מדדי החולה - ופולט החוצה "עגבת"!
רשת נוירונים היא ניסיון לחקות את מה שקורה שם באמצע, בשפה שמחשב מבין.
הרשת מקבלת המון מספרים, ומוציאה החוצה המון (או מעט) מספרים. כן, זה עד כדי כך פשוט. יש שלושה עניינים מעניינים:
מה הם המספרים האלה, ואיך יוצרים אותם ומה משמעותם.
(3/16) הרעיון המתמטי הוא כזה: אנחנו מאמינים עמוק בלב שבתוך כל המדדים (מאפיינים), נניח: לחץ דם, בדיקות דם וכו, מסתתרת אבחנה. כלומר אפשר לקחת את כל המדדים, להכניס למפעל ולהוציא החוצה אבחנה.
מה קורה במפעל אנחנו שואלים?
אז המפעל מוכר לנו: חיבור, חיסור, כפל, חילוק ואולי
(4/16) קצת חזקות. ממש תרגיל דבילי כזה: לחץ דם כפול 8 ועוד 5, זה ועוד הערך של בדיקת הדם חלקי 2 ועוד 3. את שניהם נחבר וכו..
ומה בסוף? זה תלוי בנו. טעות רווחת היא לחשוב שרשת כזו יכולה ללמוד הכל. לא! אנחנו צריכים להגיד לה בול מה לחפש ולהחליט מראש בדיוק מה יכנס לתוכה. תכף נבין מדוע.
(5/16) נניח ואנחנו רוצים ללמוד לבצע אבחנה מבדלת בין שפעת\קורונה\לא שניהם. אז למודל יכנסו מספר מדדים שנחליט, יופעלו עליהם כל התרגילים המדוברים ונקבל בסוף משהו שנראה כמו בתמונה. ההחלטה של המודל תהיה לפי המספר הכי גבוה.
עכשיו נלך אחורה להתחלה ונחשב - איך הגענו למספרים האלה?
(6/16) חוזרים לכיתה ח'! כל מספר נכנס לתוך תרגיל של קו ישר:
y=mx+n
רק שהפעם הm נקרא "משקולת" והn נקרא "הטיה" (bias). כל עיגול - נוירון.
אל תוך הנוירונים בהתחלה נכנסים המדדים כמו שהם.
לכל קו יש m וn שונים, והם המשחק שלנו כדי לקבל בסוף תשובה נכונה.
(7/16) אחרי שכל המאפיינים עוברים את השינוי הזה, הם מחוברים. ככה פשוט, לערך בודד, בכל נוירון בנפרד.
הערך הזה נכנס ליצור בעל השם המפחיד "פונקציית אקטיבציה". הדוגמא הכי פשוטה היא ReLu - אם הערך גדול מ0 נשאיר אותו, אם הערך קטן מ0 - נהפוך אותו ל0 (דוגמא מספרית בסוף השרשור).
(8/16) אחרי שכל הנוירונים בשכבה השניה קיבלו מספר, והעבירו אותו דרך האקטיבציה - כל התהליך מתחיל שוב, ושוב, ושוב - לפי כמות השכבות שבחרנו שיהיו לרשת. השכבה האחרונה מכילה 3 נוירונים והיא מוציאה בסוף את ההחלטה.
ועכשיו לשאלת השאלות:
איך לעזאזל מגלים את הmים והnים לכל קו כזה ברשת?
(9/16) כאן נכנס הקסם המכונה Back Propagation (בקפרופ). האמת חד משמעית, אבל קיבלנו משהו מערובב. בהתחלה, נגדיר את כל הmים והnים אקראית. בכל פעם נסתכל על הפער בין הרצוי למצוי.
הבקפרופ הוא מניפולציה מתמטית שעונה על השאלה
"איזה נוירון הכי תרם להבדל הזה וכמה?".
(10/16) אחרי הבקפרופ, אנחנו משנים קצת (="קצב הלמידה") את הmים וnים של הנוירונים, ומריצים את הדוגמא הבאה, לפי סוג ומידת ההשפעה.
מדוע משנים קצת ולא הרבה?
כי אנחנו רוצים ליצור מה שנקרא "הכללה".
הרי אם נשנה המון, מספיק שניתן חולה קצת אחר והרשת תטעה לגמרי. אנחנו רוצים "למשוך" את הרשת
(11/16) בכל פעם לכיוון הדוגמאות הנכונות, מתוך הבנה שיש שונות מסויימת בין החולים.
המונח המקצועי הוא Over Fitting - התאמת יתר, ממנה נרצה להמנע.
מה שמדהים הוא שאת החישובים של הבקפרופ ניתן לבצע במקביל. זה מה שלוקח כל כך הרבה זמן וחשמל באימון רשת, ובזה הGPU's - כרטיסי המסך, טובים.
(12/16) ועכשיו Recap:
כל המאפיינים עוברים בy=mx+n, מחוברים ונכנסים לכל אחד מהנוירונים בשכבה הבאה, ואז עוברים אקטיבציה.
זה קורה עד השכבה האחרונה, שאותה אנחנו "מתרגמים" לתשובה של הרשת לשאלה שאנחנו רוצים לשאול.
תמיד יש פער בין הרצוי למצוי. בעזרת הפער אנחנו מחשבים איזה נוירונים
(13/16) השפיעו על הפתרון, ואותם אנחנו משנים קצת בכל פעם, בהתאם לדוגמא הנוכחית.
בסוף אחרי עשרות אלפי דוגמאות כאלה שעברו שוב ושוב ברשת, כל מה שעשינו הוא ליצור תרגיל סופר מורכב שמקבל מספרים, מוציא מספרים - ומספר סיפור.
😮💨ה-ס-ו-ף-! 😮💨
עכשיו הגיגים: במקרה הזה בנינו מסווג, רשת שיודעת
(14/16) להבדיל בין מצבים. זאת הדוגמה הקלאסית, יש כמובן דוגמאות הרבה יותר מסובכות ומגניבות (ראו ערך #dalle2), אך רשת מסווגת היא הבסיס לכל התחום. בנוסף, כמות הנוירונים\שכבות הנכונה היא עדיין סוג של חידה. אנחנו יודעים שלא טוב יותר מידי ופחות מידי, אבל אין נוסחה לכמות המדוייקת.
(15/16) אותו דבר נכון גם לקצב הלמידה, מי מחובר למי ועוד המון החלטות על מבנה הרשת המכונות "היפר-פרמטרים". הרבה ניסוי וטעיה. אגב, למה נוירונים בכלל? אז אפשר לדמיין נוירונים שיורים בעוצמות שונות, ואנחנו משחקים עם העוצמות האלה בתגובה לגירוי, שהוא המאפיינים, כדי לייצר תגובה.
נו שוין
אם הגעתם עד כאן אז כרגיל - כבוד!
כרגיל, לפעמים אני לא מדייק למען הפשטות והנעימות של הקריאה, נא לקטול במשורה.
זה היה שרשור שרציתי לכתוב מזמן, ולקח לי המון זמן To get it right.
אשמח מאד לתגובות מאנשים שלא מגיעים מהתחום - ברור? ג'יבריש?
• • •
Missing some Tweet in this thread? You can try to
force a refresh
טוויטר יקר - עזרו לנו להקים בית לפראמדיקים בצה״ל.
(אמ;לק: הקמנו עמותה ואנחנו מגייסים).
הפעם אני הולך לספר לכם על התפקיד שלי בסדיר ובמילואים, ועל המסע לתת לאנשים כמוני בית, ליווי וקהילה.
בבקשה - שתפו את הפוסט ועזרו לנו להגיע ליעד.
תנו לי דקה להכיר לכם אותנו 🧵 >>
1. נתחיל בהתחלה, הנה הלינק לתרומה לעמותה (רשומה ומוכרת לצורכי מס כמובן).
2. פראמדיק וחובש זה לא אותו דבר.
חובש קרבי הוא לוחם. הם עוברים מסלול, יוצאים ל3 חודשים קורס חובשים בבה״ד 10 וחוזרים ליחידות.
הפראמדיקים הם יצורים אחרים לגמרי. התפקיד הומצא עקב מחסור - מחסור ברופאים.
פעם על אמבולנס היו רופא ואחות.
אבל מה לרופא שיודע לקרוא רטנגן ובדיקות דם >>
רק מוודא שאתם מעודכנים במה שקורה:
קלוד בדרך להביס את GPT בקרב המפתחים.
אתם אולי משתמשים בChatGPT (או קלוד) דרך ממשק אינטרנטי, אבל מאחורי הקלעים יש שוק פעיל מאד של מוצרים שמשתמשים במודלים האלה.
סקירה קצרצרה 🧵>>
1. סיכום טקסט, מענה אוטומטי ואפילו שירות לקוחות - יש המון מוצרים שנבנים סביב מודלי שפה.
עד כה, 90% מהם היו או מבוססי OpenAI, או מבוססים על מודלים פתוחים כמו Llama/Mistral.
מה שקרה הוא שOpenAI נתנו באופן כמעט בלעדי דרך קלה להחריד לגשת למודלים שלהם דרך קוד.
תראו בתמונה. >>
2. עשר שורות בקושי ואפשר לגשת למודל AI אימתני.
על בסיס זה נבנו עשרות אם לא מאות סטארטאפים שמנסים להפיק ערך ממכונת המילים הזו.
כמו שאמרתי, עד כה OpenAI שלטו בשוק הזה באופן כמעט בלעדי.
המודלים האחרים היו סוג של "התפשרות" למי שרוצה לעשות איזה אימון יחודי בעצמו. ממש לא הסטנדרט >>
על תקרת הזכוכית של מהפכת הGenAI הנוכחית.
האם אנחנו רגע מGPT7 שיקנה בשבילנו מניות בבורסה וSORA שתחליף את הוליווד?
כנראה שלא. ממש לא.
תוהים איך יראה העתיד?
קחו אוויר, שימו בBookmark אם צריך - שרשור ארוך, אבל אחד שאסור לפספס 🧵 >>
1. ההתקדמות בAI מסחררת. ליטרלי מסחררת.
הסחרור מתודלק ע״י כל סלבס הAI על הפלנטה. יש לזה שתי סיבות עיקריות, ואף אחת מהן היא לא וודאות לגבי העתיד:
הבאזז מאפשר לגייס הרבה מאד כסף,
והאנשים האלה באמת באמת *רוצים* להצליח, מחשבה-מייצרת-מציאות.
השאלה: הם המציאות מתכתבת עם הבאזז? >>
2. בשרשור הזה אני רוצה לנסות לצמצם את הסחרור, ולנסות לחשוב ריאלית איך העתיד הולך להראות.
רשימת עובדות 1#:
גם למשתמשים משלמים, יש עדיין מגבלה של עד 50 הודעות כל 3 שעות
על GPT4. שנה אחרי שהוא שוחרר.
לקלוד - Opus החדש, גם במנוי PRO, יש מגבלה של 100 הודעות ב8 שעות במקרה הטוב. >>
בשקט בשקט, אילון זרק פצצה הלילה.
השבב המוחי הראשון הושתל באדם בריא, שבב חיבור בין הטכנולוגיה למוח.
האפליקציה הראשונה לשבב, איך לקרוא, תיקרא ״טלפתיה״ (Telepahy) ותיועד לאנשים שאיבדו את היכולת להזיז את הגפיים.
לאט לאט, הכל מתחבר >>
המונח המטורף כאן הוא הBrain Interface.
האמת, זה ממש אינטואיטיבי. הדרך שלנו לתקשר עם הטכנולוגיה היא דרך מתווך. יותר נכון מתווכות - הידיים והאצבעות שלנו.
המוח שולח שדר אליהן, הן מעבירות את השדר למכשיר שבתורו מחזיר שדר שנקלט בעיניים או באוזניים שלנו - וחזרה למוח.
המשימה של >>
ֿֿ
ניורולינק היא החלום הרטוב של כל קונספירטור מצוי.
השתלת שבב במוח שיחסוך את המתווכות, ויאפשר לנו לתקשר עם הטכנולוגיה שלנו בכוח המחשבה.
נשמע בדיוני, אבל על פניו - הסיגנל 100% נמצא שם במוח.
מה שצריך הוא לחלץ אותו ולהשתמש בו, ״זה הכל״.
שבב. ממש שבב. >>
שמעתם על גאדג׳ט הAI החדש?
גם אני.
הרמתם גבה?
גם אני.
אז באיחור של שבועיים, בואו נדבר רגע על הדבר הזה.
קשקוש, או העתיד? 🧵>>
(אה כן, אם שמתם Bookmark - תוסיפו איזו הקלקת לייק, זה סופר עוזר לי 🥰)
1. נתחיל בטכני.
מדובר על מכשיר קטן בעלות 199$ שמתפקד קצת כמו אלכסה, סירי או גוגל אסיסטנט.
המסך הוא מסך מגע, יש בו גם סוג של גלגלת אנלוגית ומצלמה 360 מעלות נשלפת כדי שהטמגוצ׳י הזה יוכל גם לראות את העולם.
למכשיר קוראים r1, או בשמו המלא כולל החברה שמייצרת אותו: rabbit r1 >>
2. הרעיון, אם לא ראיתם את הדמו הארוך, הוא שכל התקשורת איתו מילולית.
״תזמין לי אובר למחר״, ״תמצא לי חופשה, רכב ומלון בלונדון במרץ״.
הוא ישלח ״ארנב״ לרשת, יחפש, יזמין ויתן לכם לאשר.
הוא יתפקד גם כChatGPT קולי, תשאלו שאלה, הוא יענה.
זמן המענה קצר להחריד. הם מדברים על פחות מחצי >>
היי כולם.
אני רוצה לספר לכם על יונתי. יונתי פצוע קשה וכרגע מאושפז בבריזלי.
השם המלא הוא סא״ל יונתן בהט, סמח״ט 646 במילואים (צנחנים).
אני מכיר אותו כיונתי.
כשהשתחררתי מהצבא כפראמדיק טרי שלא רוצה לעבוד במד״א.
עוד לפני השחרור איכשהו התגלגלתי להכיר את יונתי >>
1. שבדיוק הקים סטארטאפ בשם Extreme Simulations. קבענו בסינמה סיטי בנתניה. הוא הגיע לגלילות. אחרי שעה של איחור משעשע נפגשנו.
הוא דיבר על החזון, על להצליח לסמלץ את כל האתגר של אירוע רפואי.
על איך מביאים אנשי רפואה ומכניסים אותם לסמילוציה מלאה בדם, ריחות, פציעות מדממות, הכל כדי >>
2. להיות הכי מוכנים לאותו רגע אחד שכל היכולת שלך כאיש רפואה מתנקזת אליו, וקבלת ההחלטה הנכונה תפריד בין חיים למוות של פצוע.
אני לא לגמרי סגור על ההיסטוריה הצבאית של יונתי. אני חושב שמעורב שם דובדבן, אבל מהחלפה של ארבעה משפטים עם הבן אדם ישר תבינו את הפרסונה:
מהאנשים האלה שהם >>