וואי וואי ה LK99 הופך לחתיכת דרמה הוליוודית שאם לא ייצא ממנה כלום זה יהיה מאוד מאוד מאכזב. אז קצת רקע: LK99 נקרא על שם שני חוקרים דרום קוריאניים בשם לי וקים. 99 זו השנה שבה עלה להם הרעיון ליצור מוליך על בטמפרטורת החדר בהרכב חומרים מסוימים >>
המחקר שלהם לא מצליח. לי נשאר באוניברסיטה וקים יוצא לתעשייה. בשנת 2018 אחרי 5 שנים של מאמץ הם מצליחים לגייס מחדש כסף לייצור מחודש בתנאי אחד. צירוף של מדען בכיר מהתעשיה בשם LH Kwon. בשנת 2020 הם מגישים מאמר ל Nature שנדחה עקב תוצאות לא >>מספקות
ובשנת 2021 הם מגישים פטנט על שיטת הייצור שלהם. בשנה הזו הם מצרפים חוקר נוסף אמריקאי קוריאני בשם היונטק כדי לקבל מעין גושפנקא מערבית ואף מקימים חברה ייעודית לצורך העניין. לפני 4 חודשים עקב חילוקי דעות קשים Kwon מפוטר מהחברה ושאר החוקרים מנתקים אתו קשר. >>
הדרמה האמיתית מתחוללת לפני בערך כשבוע. Kwon מגלה שככל הנראה החוקרים הולכים לפרסם את הממצאים שלהם שמצביעים על כך שהם אכן הצליחו להשיג מוליכות על בטמפרטורת החדר. הוא מבין שיש פה פוטנציאל לנובל. לוקח את כל החומרים שיש לו וכל מה שהוא זוכר ובלי לשאול את קים ולי ממהר לפרסם מאמר >>
בArxiv על שמו ועל שם לי וקים (כיוון שרק 3 אנשים יכולים לזכות בנובל ביחד). היונטק משתגע וממהר לפרסם מאמר משלו עם 6 חוקרים שחתומים עליו (כולל לי וקים וכמובן בלי Kwon) בשני המאמרים יש הרבה טעויות בגלל החיפזון והם נראים "לא אפויים עד הסוף". >>
כדי לבסס את הקשר שלו לעבודה הזו. ביום שישי האחרון Kwon מתפרץ לכנס על מתכות בקוריאה ונותן הרצאה לא מתוכננת על החומרים. ההרצאה לא טובה, הוא מתקשה לענות על שאלות, טוען שיש לו את החומר וישמח להדגים את אפקט מייסנר בהינתן ציוד מתאים אבל לא מצליח להשיג את הציוד >>
כל הסיפור הזה מעלה את הסקפטיות לרמות גבוהות מאוד מה שגורם ללי וקים לצאת בריאיון ולטעון שהמאמר פורסם נגד דעתם, שאין להם שום קשר ל Kwon, שהם מודעים לגמרי לבעיות במאמר שהם פרסמו (עם ה 6 חוקרים) ושהן נובעות מטעויות של העתק-הדבק. בנוסף הם טוענים>>
שהם מודעים לכל הביקורות שעולות מהקהילה מכירים אותן היטב לפני ומשוכנעים בכל זאת שהחומר שהם ייצרו זה הדבר האמיתי. עכשיו חשוב להבין שהם חוקרים מאוד נחשבים בקוריאה והאמירה הזו שמה את הקריירה שלהם ממש על הכף אם מתברר שזה לא נכון >>
בינתיים התכתבות סודית (וככל הנראה מהימנה) של כמה חוקרים מאוניברסיטה בסין שדלפה לרשת מצביעה על כך שהם הצליחו לשחזר את החומר. הם עדיין לא רואים את אפקט מייסנר אבל משוכנעים שזה רק בגלל שהחומר לא טהור מספיק ושזה רק עניין של זמן >>
המתח בשיאו ובינתיים חוקרים של MIT שמבקרים במעבדה בקוריאה לא מסרו שום מידע. נראה שבכל מקרה היה כאן פרסום מוקדם מדי ולא מכוון מה שאומר שאם יהיו תוצאות כלשהן הם לא יהיו בקרוב. מה שבטוח אם החומר הזה הוא אכן הדבר האמיתי, זה הולך להיות חתיכת סרט
@altryne @__voidless_void חפש LK99-Coin
• • •
Missing some Tweet in this thread? You can try to
force a refresh
אז העולם הפיזיקלי סוער בעקבות גילוי שעשוית להיות אחת ההמצאות הכי חשובות של דורנו: מוליך על בטמפרטורת החדר או ה LK99 בשמו הרשמי. אז למה זה כל כך חשוב והאם זה אמיתי? בואו נצלול>>
כל מי שלמד הנדסת חשמל מתישהו יודע שאחת התכונות הבסיסיות של מוליך חשמלי היא התנגדות. זרימת האלקטרונים היא לא חופשית כיוון שהם מתנגשים באטומים תוך כדי תנועה מה שגורם לחימום של המוליך, תופעה שכולנו מכירים מכמעט כל מכשיר חשמל שאנחנו משתמשים בו>>
אבל ישנם חומרים מסוימים שכאשר מקררים אותם מתחת לטמפרטורה מסוימת ההתנגדות שלהם יורדת ל0 מה שהופך אותם ל"מוליכי על". כיום הגענו למצב שניתן להגיע למוליכות על בחומרים מסוימים על ידי קירור בחנקן נוזלי (חומר זול יחסית) ויש לזה לא מעט שימושים >>
בכל זאת קצת רשמים ודברים מעניינים מהשולחן עגול שהיה היום ל30 מפתחים (ואני ביניהם) עם סאם אלטמן ואיליה סוצקובר>>
1. הסיפור של הזיות של המודל יהיה בקרוב עניין של העבר, הם עובדים על זה מאוד
קשה 2. הם ביקשו הרבה פידבקים על הפלאגינים . הם מבינים שכרגע הם די ,Useless ומנסים לחשוב איך לשפר אותם >>
3. הם מאמינים שעוד נראה שיפורים משוגעים במודלים הבאים שלהם והם חושבים שנכון לכרגע יש סיכוי לראות AGI בעשור הקרוב אפילו אם רק נמשיך בגישה הקיימת 4. כמו שאמרו כבר במקום אחר הם יוסיפו בקרוב גם context window גדול יותר <<וגם אפשרות לstateful API
אז מי המתחרות הגדולות של OpenAI בתחום מודלי השפה? בשרשור הזה אנסה לעשות קצת סדר ולתת כמה תחזיות להמשך, אז בואו נצא לדרך >>
חברה: OpenAI
גיוסים: מעל 11 מיליארד דולר
מניח שאין צורך להציג את OpenAI החברה המובילה והבשלה ביותר בתחום. כיום שולטת באופן מוחלט בשוק אבל ככל הנראה לא לעוד הרבה זמן.
חברה: Anthropic
מייסדים: דניאלה ודריו אמודאי (שניהם VPs לשעבר ב OpenAI)
גיוסים: מעל 1.3 מיליארד דולר
המתחרה הכי גדולה מבחינת מוצר. מחזיקים ב Claude שלפי מדדים מסוימים טוב יותר מ GPT3.5 (אם כי מהניסיון שלי למשימות ממש מורכבות הוא פחות טוב). >>
אם אני מנחה ביום שני את הדיון עם סם אלטמן אני יכול לחשוב על אלף ואחד דברים יותר מעניינים לדבר אתו עליהם. אבל בסוף הכי מעניין אותי זה איך הוא הפך את OpenAI מחברה שההישג הכי גדול שלה היה סביבה (טובה מאוד צריך לציין) לאימון מודלי RL למפלצת שהיא . .היום
1. הייתי שואל אותו על כל התהליך. בתור התחלה למה אלון מאסק עזב והאם זה באמת היה רק על רקע ניגוד עניינים עם טסלה
2. הייתי שואל מי היה התהליך לקבלת ההשקעה של מיליארד דולר ממייקרוסופט ומה הייתה המטרה שלו. בהקשר הזה מה הייתה המטרה המקורית של מחשב העל שהם בנו עם הכסף הזה
עמית סגל כרגיל כותב שטויות על דברים שהוא לא מבין בהם. אז הנה כמה תיקונים: 1. חיילים ב8200 מתעסקים בבינה מלאכותית כבר יותר מעשור. אחלה שעמית שומע על זה עכשיו בפעם הראשונה, אותם זה פחות מעניין
<<
2. רוב מי שמתעסק ב AI בצבא למד את זה באוניברסיטה, לחלקם הגדול יש גם תואר שני או שהם עושים אותו תוך כדי הצבא. ההשכלה מגיעה משם. הפרקטיקה מהצבא, וזה בשונה מאוד מסייבר שבו רוב הלמידה מגיעה בצבא
3. הפרקטיקה בצבא בתחום הזה יחסית מאוד מוגבלת. הן בגלל משאבים, מחסור בדאטה טבעיות מדומיינים יחסית מצומצמים ולכן היא לא תחליף להכשרה
לימודית ולניסיון בתעשיה אבל יש לה המון ערך
אוקיי, זה ממש מעניין, סם אלטמן זורק כמה פצצות בריאיון אתמול שמשפיעות מאוד על כל מי שמפתח מוצרים על גבי ChatGPT/GPT3.5-4. >>
1. הם הולכים להגדיל את ה Context Window לבין 100 אלף למיליול טוקנים עוד השנה. פוטנציאל עצום לזיכרון ממש ארוך טווח ועוד מלא אפליקציות מאוד מאוד מעניינות
2. הם יורידו משמעותית את המחיר ויעלו את המהירות של GPT4.