הGPT בצלמנו ובדמותנו - AutoGPT.
האם זה הAI שסוף סוף ידע להכין לנו קפה?
לא.
האם הGPT פתאום מרגיש כמו מוח אנושי?
קצת כן.
היום נשוט בין המדהים לקצת מפחיד ונדבר על סוכן הAI האישי שלכם, AutoGPT 🧵>> #פידטק#פידאטה#פידטכנולוגיה
שימו לב.
כדי להבין מה קורה כאן, נצטרך תפישה רעיונית של מה זה מודל שפה (LLM).
אנסה להיות ברור ככל האפשר, אבל אני ממליץ בחום לעבור על השרשור הזה לפני שאתם מתקדמים לAutoGPT.
1. שבת שטופת שמש והחלטתם לבלות אותה בהרכבת רהיט מאיקאה.
כיף גדול.
הארגז עומד מולכם.
"טוב, צריך לפתוח את הארגז", אתם חושבים.
"בלי לפתוח את הארגז אי אפשר להתחיל בכלל", אתם ממשיכים לחשוב.
"אוקי, אני אחתוך פה את נייר הדבק".
"רק אזהר לא להחתך בדרך".
נשמע מוכר? >>
2. את התהליך המחשבתי הזה ניסו היוצרים של AutoGPT לחקות.
באמ;לק אחד גדול, היוצרים של AutoGPT, שמעתה יכונה "מר אוטו", ניסו לארגן את התוצאות של GPT בצורת מחשבות ופעולות כדי שיוכל לבצע משימות מורכבות.
הם יצרו לו את הקול שיש לנו בראש כשאנחנו ניגשים ומבצעים משימה.
נבין את זה, מהתחלה:
3. אנחנו מגדירים מטרה.
מר אוטו משתיל אותה בפרומפט מתוחכם, שמתחיל בלספר למודל מי הוא.
!שימו לב לשני דברים חשובים!
א. מודל השפה הוא חלק ממר אוטו. הוא המנוע של המכונית.
ב. הכל נעשה בשפה טבעית ומוזן למודל ממש כטקסט כמו שאתם כותבים לChatGPT.
בלי טריקים ובלי שטיקים - רק פרומפטים! >>
4. נמשיך.
מר אוטו מגדיר למודל את האילוצים שלו:
א. הקונטקסט, שזה גודל הקלט שמודל השפה יכול לקבל, הוא ה"זיכרון לטווח הקצר" של המודל.
ב. אם הוא לא זוכר משהו - שינסה לחשוב על אירועים דומים.
ג. אף User לא יעזור לו (שלא יבקש פידבק)
ד. עומדות לרשותו פקודות שעליהן נדבר בהמשך >>
5. עוד כמה הגדרות של משאבים והדרך לבצע הערכה עצמית, ואולי הכי חשוב: המודל חייב להשיב רק בJSON, בפורמט קבוע.
זה מה שבאמת מגניב ומאפשר לכל התהליך לקרות.
הפורמט (Format, לא Prompt) כולל "מחשבות" ו"פקודות" שכל התוכנה שמקיפה את המודל מבצעת.
אלה ה"מחשבות":>>
6. "הטקסט": מה המשימה הנוכחית?
"ההיגיון": למה אני צריך לבצע זאת?
"התכנית": מה אני צריך לבצע כדי להתקדם במשימה?
"הביקורת הבונה": ממה אני צריך להזהר כדי להצליח?
"הדיבור": מה אני אומר למשתמש שאני עושה? >>
7. בצורה הזו המודל יכול להשתמש בפקודות לצורך ביצוע המשימה.
המודל מגדיר, ומר אוטו מריץ.
הפקודות בגרסה שלי הן: חיפוש בגוגל, פתיחת קובץ, שמירת קובץ וסיום ההרצה.
כמובן שאפשר שיהיו הרבה יותר.
כאן מגיע עקב אכילס קטן:
כדי לחפש בגוגל, צריך גישה לAPI של גוגל. הגישה החינמית >>
8. מאפשרת רק עד 100 חיפושים בחודש, כשבריצה אחת הסוכן יכול להשתמש אפילו ב10 חיפושים.
בשביל יותר צריך לשלם.
בכל מקרה,
כל הטרלול שהצגתי פה נכנס כולו לפרומפט אחת שמודל השפה מקבל.
כלי נוסף שעומד לרשותו של המודל הוא זיכרון ארוך טווח וכל מיני כלים כדי לשלוף ממנו.
לפיצ'ר הזה לא נכנסתי >>
9. לעומק, אבל מדובר על דרך לשמור המון מידע בצורה דחוסה כדי להזכיר למודל מה הוא עשה.
כעת נכנס לידי פעולה עקרון הChain - המודל לא מבצע את הפעולה בצעד אחד, אלא מפרק אותה לצעדים קטנים ופשוטים.
בסוף כל שלב בשרשרת המודל מקבל הסבר על התוצאה וככה יודע לאן להתקדם.
הכל בשפה טבעית. >>
10. בדוגמא הנוכחית ביקשתי רשימה של עמודי אינטרנט שקשורים למילה "פינגווין".
בואו נראה את שרשרת (Chain) המחשבות של מר אוטו, שחשוב להגיד שאצלי משתמש רק בGPT3.5 ולא 4 כי אין לי גישה.
הנה המחשבה הראשונה של מר אוטו.
שימו לב לכל החלקים, ושבסוף הוא מסיים עם פקודת חיפוש בגוגל. >>
11. זה היה הצעד הראשון בשרשרת.
נמשיך לצעדים הנוספים.
הוא מצא שלוש כתובות, ועכשיו הבין שהמשימה שלו היא לשמור אותן בקובץ. >>
12. לא רק זה, בשלב הבא הוא גם פותח את הקובץ ומוודא שמה שהוא עשה תקין.
סיימנו את השרשרת.
משימה קלה, אבל ממחישה יופי את הרעיון.
לצערי הרב, ואני חושב שזה טמון בעובדה שאין לי גישה לGPT4, במשימות מורכבות הוא נכשל לי לגמרי. >>
13.הכניס את עצמו ללופים של חיפושים בגוגל לתקן שגיאות בקוד שהוא כתב ולא יצא מהם.
דיסקליימר: יש למר אוטו ים גרסאות, ויכול להיות שיש כאלה עם קונצים נוספים.
אבל הרעיון הוא מה שחשוב - הנדסת פרומפטים ליצור מחשבות מובנות שמובילות לפעולה.
שמתי לב שחסר לו המאפיין האנושי הממש חשוב >>
14. לכל פתרון בעיה, והוא שכשנכנסים לRabbit Hole של תיקונים וכלום לא עובד צריך לעצור רגע ולהגדיר את הבעיה מחדש או לחפש דרך פעולה אחרת.
לא נתקלתי בסיטואציה שהוא אמר לי "ניסיתי כיוון אחד ולא הצליח, עכשיו אנסה כיוון אחר".
אבל שוב, מר אוטו שלי עובד רק עם GPT3.5. קשה לאמוד ביצועים. >>
15. מה מבריק כאן?
אנחנו מאלצים את מר אוטו לכתוב בשפה שמחשב יודע לקרוא, ובעצם נותנים לו את האפשרות לתכנת פתרון, הכל באמצעות פרומפטים מהונדסים היטב היטב.
המודל כותב, המחשב קורא ומבצע כי הפורמט (Format) מובנה.
אם נדע להסביר איך אנחנו פותרים בעיות, נוכל להכניס את ההסבר למודל ובעצם >>
16. לאפשר לו לחשוב.
אם נגדיל את הקונטקסט (כי 4000 טוקנים זה באמת לא מספיק), נוכל לנסח לו את רשימת הHuman Rules שמאפיינים תכנון וביצוע אנושיים.
לי הכי חסר שיבקש הבהרות בדרך. שישאל שאלות פולו אפ ויאפיין את הבעיה שלי יותר טוב ממני.
"כמה כתובות אתה רוצה?"
אני לא חושב שזה רחוק. >>
17. הנקודה היא שיש פה פתח חדש ל"ארכיטקטורת מוח".
למודל השפה יש ידע אבל אין מוח שחושב קדימה, ונראה שבשיטה הזו מתחיל להיות לו.
כמו שאמרתי, מדהים על גבול המפחיד.
זהו!
מרגיש לכם שזה פוטנציאל לבינה מלאכותית אמיתית (AGI)?
יצא לכם להשתמש וחוויתם הצלחה או כישלון?
שאלות?
ספרו לי!
אם זה השרשור הראשון שלי שאתם קוראים, היי!
מזמין אתכם לחקור איתי את הקישקע של הAI,
כל פעם בדרך אחרת.
זה הזמן לעקוב אחרי: twitter.com/tsoofbaror
מזמין אתכם לרטווט ולהגיב אם אהבתם,
ולהתעלם לגמרי אם השתעממתם. 😍
• • •
Missing some Tweet in this thread? You can try to
force a refresh
הAI שפותר בעיות במתמטיקה, ועושה את זה נפלא!
אני יודע שזה הוכרז הרגע, אבל אני מכה בברזל כל עוד הוא חם.
מה פשר ההכרזה של OpenAI?
איך זה שונה ממודל שפה רגיל?
בואו איתי 🧵 >> #פידטק#פידאטה#פידטכנולוגיה
כדי להבין מה קורה כאן, צריך תפישה טובה של מה זה מודל שפה, לשירותכם בשרשור המצורף.
אני גם ממליץ לקרוא את השרשור על AutoGPT כרקע, שמקושר בציוץ הבא.
מודלי שפה חובה.
AutoGPT אפשר בלי.
נתחיל >>
1. דיברנו כבר על Complex Reasoning בשרשור על AutoGPT.
אפשר להסביר למודל שפה "איך לחשוב".
להגיד לו שהוא צריך לתכנן, לבקר את עצמו, לתת סיבות ורק אז לפעול.
הבעיה העיקרית היא תופעת ה"הזיות", הקטע הזה שמודל שפה אומר לכם שבנימין נתניהו הוא רקדנית בלט רומנייה >>
תהיתם פעם מה קורה אם נותנים לשני מודלי AI להלחם זה בזה?
נשמע כמו מתכון לסוף העולם?
יכול להיות, But Not Today.
למרות שהיה נראה שהן מתחילות להעלם מהעולם, רשתות אדוורסריאליות (GANs) חזרו ובגדול עם DraGAN, הכלי המטורף לעיבוד תמונה.
אז איך זה עובד? 🧵>> #פידאטה#פידטק#פידטכנולוגיה
1. נתחיל בהערה חשובה.
ה-GANs, קיצור של Generative Adversarial Networks, היו ה-מודלים הגנרטיביים של "פעם", כש"פעם" בAI זה לפני שנים ספורות.
היה באז גדול על thisxdoesnotexist.com, מודל גנרטיבי אמיתי (כמשתמע, GANs הם GenAI) שיצר כל מיני דברים שלא קיימים.
היה מדהים, אבל אז הגיחו >>
2. הDiffusion Models לעולם והדיחו את הGANs מגדולתן.
הם המודלים שבבסיס מידג'רני, Dalle2 וחבריהם.
היום לא נדבר על דיפוזיה אלא על אותן GANs שעושות קאמבק היסטורי (כלומר, היסטוריה מ2014). arxiv.org/abs/1406.2661
מוכנים?
נתחיל! >>
אני מקווה שאתם מוכנים לשפשף את העיניים.
אחרי שמודלי שפה הראו יכולות פנומנלית בניהול שיחה, הבנת סנטימנט ועוד אי אילו משימות מורכבות, באו המדענים הסינגפוריים והראו שהם גם יכולים להיות טובים ב......
חשבון פשוט! >> arxiv.org/pdf/2305.14201…
1. סתם, כמובן בלי טיפת זלזול, הם הראו שאם עושים fine tune למודל שפה על תרגילים של חיבור, חיסור, כפל וחילוק הוא מצליח לפתור גם תרגילים שהוא לא ראה, כאלה מסובכים.
זה נראה קצת טפשי, אבל יש כן משמעות פילוסופית - מתמטיקה היא סוג של שפה, לאו דווקא Skill קשה. >>
2. מה שמעניין כאן הוא השאלה האם המודל "חושב", כלומר מפעיל לוגיקה "אנושית" כדי להגיע לתשובות, או שאיכשהו בתהליך האימון המודל עבר סוג של hard-coding להיות קצת מחשבון.
כלומר, הנוירונים אשכרה עושים פעולות מתמטיות ישירות.
אם אני שואל את המודל כמה זה 10 ועוד 17, איפהשהו >>
שונאים הקלטות של 2 דקות בוואצאפ?
בניתי מסכם שיחות.
בשעה.
בפחות מ20 שורות קוד.
הAI עובר דמוקרטיזציה - אתם לא מבינים כמה קל לבנות אפליקציות מבוססות GPT.
היום אספר לכם איך עשיתי את זה, וגם אם אין לכם שום רקע תכנותי - תבינו את הפשטות >>
השרשור הזה מניח שאתם מבינים הרעיון מודל שפה.
ממליץ לקרוא את השרשור הזה לפי, אבל לגמרי לא חובה, אם אין זמן פשוט תמשיכו הלאה, מבטיח שתבינו הכל.
נתחיל >>
1. כדי לבנות את המסכם, השתמשתי בשני מודלים של OpenAI.
הראשון נקרא Whisper, והוא מתמלל לטקסט קטעי אודיו. הוא עולה לי 2.2 אגורות לדקת תמלול.
השני, איך לא, הוא GPT.
הוא עולה לי כ0.7 אגורות ל1000 טוקנים (כ600-700 מילים).
אלה המחירים. קראתם נכון >>
לאמן GPT על המידע של סבא מושיק.. בלי לאמן אותו?!
נכון שתמיד רציתם ChatGPT שיוכל לענות על שאלות שקשורות לעבודת השורשים שלכם?
"היי, תגיד, איפה סבא מושיק נולד?"
כל זה בלי לאמן אותו על שום דאטה של שום סבא!
שרשור טכנולוגי קליל לשבת! 🧵 >> #פידאטה#פידטק#בינהמלאכותית
1. קודם כל, אם אין לכם שום הבנה איך מודלי שפה (LLM) עובדים מזמין אתכם קודם כל לקרוא את השרשור הקליל שלי בנושא, כי אני הולך להשתמש במילים כמו "קונטקסט" או "טוקן".
אעשה את המיטב להיות מובן גם בלעדיו, בכל מקרה. >>
2. מה הדרך הסטנדרטית לגרום למודל שפה לדעת דברים?
לאמן אותו על המידע הרלוונטי.
המודל מתאמן בשיטה של השלמת משפטים.
לוקחים את הדאטה, כל פעם חותכים באמצע ונותנים למודל לחזות את החצי השני.
התהליך עולה כסף, מצריך הבנה טכנית של כיצד מבצעים אותו בצורה נכונה, >>
היום לא נדבר על ה"איך", נדבר על ה"למה".
תהיתם פעם למה רשתות נוירונים עובדות?
אם לא, ידעתן שהתשובה קצת מדכאת?
אז למה #בינהמלאכותית עובדת, ולמה דווקא רשתות נוירונים.
כמובן בלי צורך בידע קודם, קדימה 🧵 >> #פידטק#פידאטה#פידטכנולוגיה
1. אז למה אני מדוכא?
מאחורי רשתות הנוירונים נמצאת האמונה שכל מה שאנחנו עושים הוא בסוף.. פונקציה.
כן. אלה שלמדנו עליהן בתיכון, אלה שגזרנו, אלה שחישבנו להן אינטגרל. הפרק הזה בבגרות.
הבינה האנושית היא פונקציה.
בChatGPT, הx הוא הטקסט שאתם מכניסים. f(x) היא התשובה שלו.
2. זאת תפישה פילוסופית. זה אומר שכל תוצאה אפשר למדל כתרגיל מתמטי מורכב של הסיבה שגרמה לה.
הפונקציות המדוברות הן בדרך כלל פונקציות סטטיסטיות.
למה סטטיסטיות?
כי אם תשאלו אותי "מה נשמע" כשאובייקטיבית הכל נפלא בחיי, לפעמים אענה "הכל טוב", לפעמים "סבבה" ולפעמים "אחלה" >>