אז כמו שהבטחתי, מגה שרשור על איך גוגל פספסה בגדול את מהפכת ה GenAI ואיך תוך קצת יותר משנה הצליחה לכבוש אותה בסערה בחזרה, בזכות כמה החלטות מצוינות. השקעתי הרבה בשרשור ובשביל מוטיבציה ליצירה של עוד כאלה אשמח אם תעשו לייק, שימו עוקב ויאללה>> נתחיל בכך שלגוגל היו את כל הסיבות והנתונים להיות חברת ה AI הטובה ביותר בעולם.
נתחיל בכך שגוגל החזיקה את חברת המחקר DeepMind, כנראה חטיבת המחקר הגדולה ביותר בעולם בתחום ה AI. אלה שזו רק מתווספת ל Google Brain>>

האם OpenAI מאבדים את ההגמוניה שלהם בעולמות ה LLMs? איך זה קשור לחברת Inflection ולמייסד שלה? והאם יש כבר אנשים שמשתמשים בGPT5? בואו נצלול.

במשך כמעט שנתיים OpenAI הייתה המלכה הבלתי מעורערת של עולמות ה LLMs בזמן שהמתחרות ניסו להדביק את הפער מ GPT3.5 החברה שחררה את GPT4 >>

אסקפיזם AI: חידוש מעניין מאוד קרה השבוע כאשר מודל שפה שאינו מבוסס על Transformers הצליח לעקוף בביצועים את כל המודלים המתחרים (באותו הגודל), מה שמסמן פתיחת אפשרות למודלים זולים יותר (עד פי מאה) וקטנים הרבה יותר! אז שרשור על הארכיטקטורה החדשה שנקראת RWKV, כמה שיותר לא טכני>> קודם כל קצת היסטוריה. מודלי שפה התחילו עם רשתות מסוג RNN, שהיו מעבדות את המילים במשפטים אחת אחרי השנייה, החסרון שלהן היה שעקב העיבוד הסדרתי היה קשה לאמן אותן על רצפים ארוכים הן מבחינת ביצועים והן מבחינת כוח חישוב >>

כחלק ממחקר השוק שאני עושה על עולמות ה AI Agents למיניהם נתקלתי בטבלה שמרכזת את כל הכלים הקיימים (קישור בתגובה הראשונה). בהתחלה הייתי קצת Overwhelmed מהכמות. אבל מבט מעמיק יותר מגלה אמת די עצובה שמאפיינת הרבה ממה שקורה היום סביב AI וההייפ הלא חיובי סביבו >> קודם כל 80 אחוז הרבה מה"כלים" שם הם בסך הכל אתר עם דמו שנראה יפה ורשימת המתנה. חלקם לא התעדכנו כבר הרבה חודשים ולחקלם הגדול אין אפילו עמוד בלינקדאין. יש כמה שכן מציעים כבר מוצר, אבל עם אתר שלא התעדכן כבר הרבה זמן וכמעט אפס מידע מעבר לאתר עצמו (לינקדאין, או משהו אחר) >>

וואי וואי ה LK99 הופך לחתיכת דרמה הוליוודית שאם לא ייצא ממנה כלום זה יהיה מאוד מאוד מאכזב. אז קצת רקע: LK99 נקרא על שם שני חוקרים דרום קוריאניים בשם לי וקים. 99 זו השנה שבה עלה להם הרעיון ליצור מוליך על בטמפרטורת החדר בהרכב חומרים מסוימים >> המחקר שלהם לא מצליח. לי נשאר באוניברסיטה וקים יוצא לתעשייה. בשנת 2018 אחרי 5 שנים של מאמץ הם מצליחים לגייס מחדש כסף לייצור מחודש בתנאי אחד. צירוף של מדען בכיר מהתעשיה בשם LH Kwon. בשנת 2020 הם מגישים מאמר ל Nature שנדחה עקב תוצאות לא >>מספקות

אז העולם הפיזיקלי סוער בעקבות גילוי שעשוית להיות אחת ההמצאות הכי חשובות של דורנו: מוליך על בטמפרטורת החדר או ה LK99 בשמו הרשמי. אז למה זה כל כך חשוב והאם זה אמיתי? בואו נצלול>> כל מי שלמד הנדסת חשמל מתישהו יודע שאחת התכונות הבסיסיות של מוליך חשמלי היא התנגדות. זרימת האלקטרונים היא לא חופשית כיוון שהם מתנגשים באטומים תוך כדי תנועה מה שגורם לחימום של המוליך, תופעה שכולנו מכירים מכמעט כל מכשיר חשמל שאנחנו משתמשים בו>>

בכל זאת קצת רשמים ודברים מעניינים מהשולחן עגול שהיה היום ל30 מפתחים (ואני ביניהם) עם סאם אלטמן ואיליה סוצקובר>> 1. הסיפור של הזיות של המודל יהיה בקרוב עניין של העבר, הם עובדים על זה מאוד
קשה
2. הם ביקשו הרבה פידבקים על הפלאגינים . הם מבינים שכרגע הם די ,Useless ומנסים לחשוב איך לשפר אותם >>

אז מי המתחרות הגדולות של OpenAI בתחום מודלי השפה? בשרשור הזה אנסה לעשות קצת סדר ולתת כמה תחזיות להמשך, אז בואו נצא לדרך >> חברה: OpenAI
גיוסים: מעל 11 מיליארד דולר
מניח שאין צורך להציג את OpenAI החברה המובילה והבשלה ביותר בתחום. כיום שולטת באופן מוחלט בשוק אבל ככל הנראה לא לעוד הרבה זמן.

אם אני מנחה ביום שני את הדיון עם סם אלטמן אני יכול לחשוב על אלף ואחד דברים יותר מעניינים לדבר אתו עליהם. אבל בסוף הכי מעניין אותי זה איך הוא הפך את OpenAI מחברה שההישג הכי גדול שלה היה סביבה (טובה מאוד צריך לציין) לאימון מודלי RL למפלצת שהיא . .היום 1. הייתי שואל אותו על כל התהליך. בתור התחלה למה אלון מאסק עזב והאם זה באמת היה רק על רקע ניגוד עניינים עם טסלה

עמית סגל כרגיל כותב שטויות על דברים שהוא לא מבין בהם. אז הנה כמה תיקונים:
1. חיילים ב8200 מתעסקים בבינה מלאכותית כבר יותר מעשור. אחלה שעמית שומע על זה עכשיו בפעם הראשונה, אותם זה פחות מעניין
<<

https://twitter.com/amit_segal/status/1664512323954917378

2. רוב מי שמתעסק ב AI בצבא למד את זה באוניברסיטה, לחלקם הגדול יש גם תואר שני או שהם עושים אותו תוך כדי הצבא. ההשכלה מגיעה משם. הפרקטיקה מהצבא, וזה בשונה מאוד מסייבר שבו רוב הלמידה מגיעה בצבא

אוקיי, זה ממש מעניין, סם אלטמן זורק כמה פצצות בריאיון אתמול שמשפיעות מאוד על כל מי שמפתח מוצרים על גבי ChatGPT/GPT3.5-4. >> 1. הם הולכים להגדיל את ה Context Window לבין 100 אלף למיליול טוקנים עוד השנה. פוטנציאל עצום לזיכרון ממש ארוך טווח ועוד מלא אפליקציות מאוד מאוד מעניינות

3 המלצותGenerativeAI לקריאה\צפייה לסופ"ש 1. הרצאת State of GPT של
@karpathy
, אחד המייסדים של OpenAI. הרצאה מעולה שסוקרת את התחום די מהבסיס ועד הטכניקות הכי מתקדמות שיש היום. הרצאה טכנית אבל פשוטה להבנה ומאוד מאוד אינפורמטיבית.

בגלל שהרבה שאלו, ככה תתרגמו מאמר אקדמי מעברית לאנגלית אקדמית ב 10 דקות עם ChatGPT וגוגל טרנסלייט, ותוכלו לחסוך אלפי שקלים על הדרך >> קודם כל לוקחים את המאמר ומתרגמים את כולו בגוגל טרנסלייט, הכי קל לעשות את זה דרך האתר שלו או אם אתם בגוגל Docs פשוט Translate >>