אני חיב לדבר קצת על דחיסה ועל הקשר לבינה מלאכותית.
אתן דוגמה - הציור של העין הזאת שעשיתי לוקח 1.8MB, ז"א בערך 2 מליון "מספרים". הוא כבר דחוס בטכניקות שונות שאנחנו משתמשים בהם כל יום כמו JPG. המודל יודע לצייר עין, ריסים, נקבוביות בעור.
אותו מודל יודע לצייר גם את ברק אובמה,
>>>
אסטרונאוט, חתול פרסי, כלב זאב, קפה אספרסו, אייפון 14, פרחים של ואן גוך והתקרה של הקפלה הסיסטינית. צילום רנטגן וצילום אסטרונומי וצילום חום וצילום מיקרוסקופי.
כל התמונות באינטרנט בערך.
אז מה הגודל של המודל הזה?
4.2GB
זאת אומרת בערך כמו 2000 תמונות של העין הזאת.
>>>
זה קובץ שנכנס לי לטלפון בקלילות.
כל הידע הויזואלי האנושי. הרי הוא יודע לצייר אלפי אנשים, כמו מרילין מונרו או פוטין או קים קרדשיאן או האפיפיור.
זה הקסם של הבינה המלאכותית - דחיסה.
ההבנה של "המהות" של התמונה, ולא הסתכלות של מחשב על כל פיקסל כמספר נפרד. >>>
גם מודלים כמו GPT4 עובדים ככה ובעצם דוחסים את האינטרנט הטקסטואלי כולו.
כשבאמת "מבינים" משהו, הוא דחיס מאוד.
אני יכול בציוץ אחד לספר לכם שאני יושב עכשיו ליד הלפטופ עם כוס אספרסו ושאני ישראלי עם תלתלים (אבל תספורת קצוצה לקיץ) ואתם תוכלו לדמיין בקלות את התמונה. בגלל שאתם מבינים.
• • •
Missing some Tweet in this thread? You can try to
force a refresh
יום חדש, פריצת דרך חדשה בבינה המלאכותית.
שוב OpenAI.
הם הוציאו מודל חדש שמתמחה בשיחה ובדיאלוג. לא רק שאלה ותשובה, אלא ממש שיחה.
נסו אותו בחינם, רק צריך להרשם לחשבון באתר שלהם!
אני כבר עשר דקות מדבר איתו על אמונה באלוהים, בעד ונגד (הוא מאוד ניטרלי).
הבן שלי מדבר איתו על מערכת העצמות בגוף האדם ואיך היא שונה מחתולים.
בינתיים - מושלם 🤯
אוקי, וואו שוב.
יצאה גרסא מטורפת חדשה של GPT-3.
שרשור של דוגמאות שג'ינרטתי עכשיו:
⛓️⛓️⛓️
Explain the Israeli Palestinian conflict to a 5 year old Iranian:
Write me a rhyming poem on why everybody must learn to code:
Describe the optimal solution, from the USA's perspective, to the Israeli Palestinian conflict:
משל מבוך המספרים הראשוניים של בלאג'י סריניווסן:
דמיינו מבוך שהפתרון שלו הוא לפנות ימינה בכל מספר ראשוני ובכל שאר הפניות שמאלה.
2, 3, 5, 7, 11, 13, 17...
לעכברים במבוך הזה אין שום סיכוי לצאת. המח שלהם פשוט לא מסוגל להכיל את התבנית הפשוטה הזו שכל תלמיד בית ספר יכול להבין... 1#
הנמשל הוא שככל שאנחנו מגדילים את גודל המודלים שמבוססים רשתות נוירונים הם מסוגלים לזהות תבניות יותר ויותר מורכבות במידע. תבניות שמאפשרות להם לתרגם מכל שפה לכל שפה, לפתור תרגילי כימיה ולענות על שאלות בהיסטוריה.
נקודה למחשבה היא שהמציאות שלנו היא אולי מבוך של מספרים ראשוניים... 2#
זאת אומרת שאולי יש תבנית פשוטה למציאות שהיא קצת מעבר ליכולות השכליות שלנו לזהות. אולי "התאוריה של הכל" בפיזיקה היא כזו. אולי הפילוסופיה של התודעה. אולי השערת רימן.
אבל גילינו שיטה להגדיל את המח העומד לרשותנו ולחזק אותו ביכולות הולכות וגדלות של מודלי בינה מלאכותית!
מי יודע... 3#
הטריק דומה לשיטה של מידג'ורני.
מודלים כמו דאלי, וסטייבל דיפיוג'ן אומנו על כל התמונות באינטרנט. זה המון מידע אבל זה גם כל גיפ מכוער שקיים.
מידג'ורני סיננו את התמונות ואמנו את המודל שלהם רק על התמונות היפות בעיני המשתמשים.
כך יכולתי להכניס "כיסופים" ולקבל:
אז באו המדענים של פייסבוק ואמנו את המודל שלהם רק על מאמרים מדעיים. במקום כל פוסט טפשי ברדיט הם הכניסו מליוני מאמרים מדעיים בביולוגיה, כימיה, רפואה ומדעי המחשב.
לא מפתיע שהמודל שיצא הביס את כל המתחרים.
והם פתחו אותו לציבור בגיטהב, וגם עשו אתר דוגמא... galactica.org
התפתחויות מדהימות בבינה המלאכותית.
מודל שפה חדש של גוגל עם השם
FLAN-PaLM 540B
נותן ביצועים מופלאים בהרבה מבחנים, למשל ציון של 90% במבחני רפואה אמריקאים!
לא, הוא לא יכול להיות רופא, אבל הידע במודל הזה הוא עצום!
אני אביא מספר דוגמאות מהנייר המקורי, אבל זה ניואנסים:
שרשור:
המודל אומן "להסביר" את תהליך המחשבה שלו ולא רק לזרוק תשובה. זה משפר את הביצועים, אבל גם נראה נפלא: