Thread by @Rational_Answer

🤖 В этом треде мы разбираем простым языком, как работает ChatGPT и другие языковые модели. Если вы никак не можете понять, что там за колдунство происходит внутри – то читайте ниже, объясним на пальцах вместе с @stalkermustang как для шестилетнего гуманитария!

1. Приготовьтесь услышать страшную правду: на самом деле, ChatGPT – это Т9 из вашего телефона, но на бычьих стероидах! Обе этих технологии называют языковыми моделями; а всё, что они делают, – это угадывают, какое следующее слово должно идти за уже имеющимся текстом.

2. Точнее, оригинальный Т9 лишь ускорял набор слов на кнопочных телефонах. Но к эпохе смартфонов начала 2010-х технология уже могла учитывать контекст (предыдущее слово) и предлагать на выбор слова, которые могли бы идти следующими. Вот именно о такой Т9 мы и говорим.

3. Чтобы иметь возможность предсказывать следующее слово, языковым моделям под капотом приходится оперировать вероятностями возникновения тех или иных слов для продолжения. Давайте разберем на примере.

4. Представим, что вам пишет кореш: «Чё, го седня куда нить?». Вы начинаете печатать в ответ: «Да не, у меня уже дела(( я иду в...», и вот тут подключается Т9. Если он предложит вам закончить предложение полностью рандомным словом, типа «я иду в капибару» – то это будет странно

5. А вот реальные модели автозаполнения в смартфонах подсказывают гораздо более уместные слова (можете сами проверить прямо сейчас). Samsung Galaxy @stalkermustang предлагает такие варианты. Сразу видно типичного айтишника: получил зарплату, прокутил – и сразу в аптеку, лечиться!

6. Так, а как конкретно Т9 понимает, какие слова будут следовать за уже набранным текстом с большей вероятностью, а какие предлагать точно не стоит? Для ответа на этот вопрос нам придется погрузиться в базовые принципы работы самых простейших нейросеток.

7. Давайте начнем с еще более простого вопроса: а как вообще предсказывать зависимости одних вещей от других? Предположим, мы хотим научить компьютер предсказывать вес человека в зависимости от его роста – как подойти к этой задаче?

8. Наверное, надо сначала собрать данные, на которых мы будем искать интересующие нас зависимости (для простоты возьмем статистику по росту/весу для нескольких тысяч мужчин), а потом попробуем «натренировать» некую математическую модель на поиск закономерности внутри этих данных.

9. Даже невооруженным взглядом видна определенная зависимость: высокие мужики, как правило, больше весят (спасибо, кэп!). И эту зависимость довольно просто выразить в виде обычного линейного уравнения Y = k*X + b, знакомого нам всем с пятого класса школы.

10. На картинке выше нужная нам линия уже проведена с помощью модели линейной регрессии – по сути, она позволяет подобрать коэффициенты уравнения k и b таким образом, чтобы получившаяся линия оптимально описывала ключевую зависимость в нашем наборе данных.

11. Вы тут уже наверняка хотите воскликнуть: «Окей, с ростом/весом и так интуитивно всё было понятно, только причем тут вообще языковые нейросети?» А притом, что нейросети – это и есть набор примерно тех же самых уравнений, только куда более сложных и использующих матрицы.

12. Можно упрощенно сказать, что те же самые T9 или ChatGPT – это всего лишь хитрым образом подобранные уравнения, которые пытаются предсказать следующее слово (игрек) в зависимости от набора подаваемых на вход модели предыдущих слов (иксов).

13. Основная задача при тренировке языковой модели на наборе данных – подобрать такие коэффициенты при этих иксах, чтобы они действительно отражали какую-то зависимость (как в нашем примере с ростом/весом).

14. Кстати, если вы в этом месте уже недоумеваете, почему мы всё время говорим о «предсказании одного следующего слова», тогда как тот же ChatGPT бодро отвечает целыми портянками текста – то не ломайте зря голову.

15. Нейросети без труда генерируют длинные тексты, но делают они это по принципу «слово за словом». По сути, после генерации каждого нового слова, модель просто заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением – и выдает еще одно слово.

16. На самом деле, в наших уравнениях в качестве «игрека» языковые модели пытаются предсказать не столько конкретное следующее слово, сколько вероятности разных слов, которыми можно продолжить заданный текст.

17. Зачем это нужно, почему нельзя всегда искать единственное, «самое правильное» слово для продолжения? Давайте разберем на примере небольшой игры.

18. Правила такие: вы притворяетесь нейросеткой, а я вам предлагаю продолжить текст «44 президент США (и первый афроамериканец на этой должности) – это Барак ...». Подставьте слово, которое должно стоять вместо многоточия, и оцените вероятность, что оно там действительно окажется

19. Если вы сейчас сказали, что следующим словом должно 100% идти «Обама», то поздравляю – вы ошиблись! И дело тут не в том, что существует какой-то другой Барак: просто в официальных документах имя президента часто пишется в полной форме, с указанием его второго имени – Хуссейн.

20. Так что правильно натренированная языковая модель должна предсказать, что в нашем предложении «Обама» будет следующим словом только с вероятностью условно в 90%, а оставшиеся 10% выделить на случай продолжения текста «Хуссейном».

21. И тут мы с вами подходим к очень интересному аспекту языковых моделей: оказывается, им не чужда творческая жилка! По сути, при генерации каждого следующего слова, такие модели выбирают его «случайным» образом, как бы кидая кубик.

22. Но не абы как – а так, чтобы вероятности «выпадения» разных слов примерно соответствовали тем вероятностям, которые подсказывают модели зашитые внутрь нее уравнения (выведенные при обучении модели на огромном массиве разных текстов).

23. Получается, что одна и та же модель даже на абсолютно одинаковые запросы может давать совершенно разные варианты ответа – прямо как живой человек. Так что, не советую вам спорить с нейросетками, используя способность к творчеству как аргумент за превосходство человека!

24. Ученые когда-то пытались заставить нейронки всегда выбирать в качестве продолжения «наиболее вероятное» следующее слово – что на первый взгляд звучит логично, но на практике такие модели почему-то работают хуже; а вот здоровый элемент случайности идет им строго на пользу.

25. Вся эта случайность в том числе повышает вариативность ответов языковых моделей – а мы в идеале как раз хотим, чтобы она умела во всякое разное (и с гопарями в подворотне перетереть, и школьнику что-то объяснить).

26. Давайте уже переходить от всяких дремучих T9 к более современным моделям: наделавший столько шума ChatGPT является наиболее свежим представителем семейства моделей GPT.

27. GPT расшифровывается как Generative Pre-trained Transformer, или «трансформер, обученный на генерацию текста». Трансформер – это название архитектуры нейросети, придуманной исследователями Google в далеком 2017 году.

28. Именно изобретение Трансформера оказалось столь значимым, что вообще все области искусственного интеллекта (ИИ) – от текстовых переводов и до обработки изображений, звука или видео – начали его активно адаптировать и применять, и «зима ИИ» закончилась.

29. Концептуально, Трансформер – это универсальный вычислительный механизм, который очень просто описать: он принимает на вход один набор последовательностей (данных) и выдает на выходе тоже набор последовательностей, но уже другой – преобразованный по некоему алгоритму.

30. Но главная фишка Трансформера в его гибкости и масштабирумости. Старые языковые модели начинали кряхтеть (требовать слишком много ресурсов), когда их пытались заставить «проглотить» быстро и много слов за раз, то нейросети-трансформеры справляются с этой задачей гораздо лучше

31. Ранние модели обрабатывали входные данные по принципу «один за другим», последовательно. Когда модель работала с текстом длиной в 1 страницу, то уже к середине третьего параграфа она забывала, что было в самом начале (прямо как люди с утра, до того как они «бахнув кофейку»).

32. А вот могучие лапища Трансформера позволяют ему смотреть на ВСЁ одновременно – и это приводит к гораздо более впечатляющим результатам. (Можете проверить пример на картинке в своем смартфоне – скорее всего, у вас получится как слева.)

33. В общем, GPT-1 появилась в 2018 и доказала, что для генерации текстов нейросетью можно использовать архитектуру Трансформера, обладающую гораздо большей масштабируемостью и эффективностью. Это создало огромный задел на будущее по наращиванию объема и сложности моделей.

34. Отступление про обучение: если вы хотите научить нейросетку для распознавания изображений отличать маленьких милых чихуабелей от маффинов, то вы не можете просто сказать ей «вот ссылка на гигантский архив со 100500 фотографий пёсов и хлебобулочных изделий – разбирайся!».

35. Нет, чтобы обучить модель, вам нужно обязательно сначала разметить тренировочный набор данных – то есть, подписать под каждой фоткой, является ли она пушистой или сладкой.

36. А знаете, чем прекрасно обучение языковых моделей? Тем, что им можно «скармливать» совершенно любые текстовые данные, и эти самые данные заблаговременно никак не надо специальным образом размечать.

37. Это как если бы в школьника можно было просто захуярить чемодан с самыми разными книгами, без какой-либо инструкции, что там и в каком порядке ему нужно выучить – а он бы сам в процессе чтения кумекал для себя какие-то хитрые выводы!

38. Если подумать, то это логично: мы же хотим научить языковую модель предсказывать следующее слово на основе информации о словах, которые идут перед ним?

39. Ну дак совершенно любой текст, написанный человеком когда-либо, – это и есть уже готовый кусочек тренировочных данных. Ведь он уже и так состоит из огромного количества последовательностей вида «куча каких-то слов и предложений => следующее за ними слово».

40. А теперь давайте еще вспомним, что наша технология GPT-трансформера прекрасно умеет масштабироваться. Вы думаете о том же, о чем и я? Ну вот и ученые из OpenAI в 2019 году сделали такой же вывод: «Пришло время пилить здоровенные языковые модели!»

41. В общем, было решено радикально прокачать GPT-2 по двум ключевым направлениям: набор тренировочных данных (датасет) и размер модели (количество параметров).

42. На тот момент не было каких-то специальных, больших и качественных, публичных наборов текстовых данных для тренировки языковых моделей – так что каждой команде специалистов по ИИ приходилось извращаться согласно их собственной степени испорченности.

43. Вот ребята из OpenAI и решили поступить остроумно: они пошли на самый популярный англоязычный онлайн-форум Reddit и тупо выкачали все гиперссылки из всех сообщений, имевших более трех лайков (я сейчас не шучу – научный подход, ну!).

44. Всего таких ссылок вышло порядка 8 миллионов, а скачанные из них тексты весили в совокупности 40 гигабайт. Это примерно 7300 собраний сочинений Шекспира (на картинке) - человеку пришлось бы читать 40 лет 24 часа в сутки, чтобы всё это проглотить.

45. Но одного объема тренировочных данных для получения крутой языковой модели недостаточно: ведь даже если посадить 5-летнего ребенка перечитывать всё собрание сочинений Шекспира вместе с лекциями по квантовой физике Фейнмана впридачу, то вряд ли он от этого станет сильно умнее

46. Так и тут: модель еще и сама по себе должна быть достаточно сложной и объемной, чтобы полноценно «проглотить» и «переварить» такой объем информации. А как измерить эту сложность модели, в чем она выражается?

47. Помните, мы чуть раньше говорили, что внутри языковых моделей (в супер-упрощенном приближении) живут уравнения вида Y = k*X + b, где искомый игрек – это следующее слово, вероятность которого мы пытаемся предсказать, а иксы – это слова на входе?

48. Так вот, в количестве этих самых параметров/иксов и измеряется сложность модели. И у GPT-2 параметров было аж 1,5 миллиарда. Один только файл с их перечнем занимает 6 гигабайт!

49. Это сильно меньше, чем суммарный размер текстового массива данных, на котором мы тренировали модель (помните, который мы собирали по ссылкам с Reddit, на 40 Гб); с другой стороны – модели ведь не нужно запоминать этот текст целиком, ей достаточно найти некие зависимости.

50. Эти параметры (их еще называют веса, или коэффициенты) получаются во время тренировки модели и больше не меняются. При использовании модели в это гигантское уравнение каждый раз подставляются разные иксы (слова в подаваемом на вход тексте), но коэффициенты при этом неизменны.

51. Чем более сложное уравнение зашито внутрь модели (чем больше в нем параметров) – тем лучше модель предсказывает вероятности, и тем более правдоподобным будет генерируемый ей текст.

52. И у этой самой большой на тот момент модели GPT-2 тексты внезапно стали получаться настолько хорошими, что исследователи из OpenAI даже побоялись публиковать модель в открытую из соображений безопасности.

53. GPT-2 уже легко написала эссе от лица подростка с ответом на вопрос: «Какие фундаментальные экономические и политические изменения необходимы для эффективного реагирования на изменение климата?» (тут и иные взрослые прикурили бы от серьезности темы).

54. Текст ответа был под псевдонимом направлен жюри соответствующего конкурса – и те не заметили никакого подвоха. Ну, окей, оценки этой работе поставили не сильно высокие и в финал она не прошла – но и «что за чушь вы нам отправили, постыдились бы!!» тоже никто не воскликнул.

55. Вообще, вот эта идея о том, что по мере наращивания размера модели у нее внезапно открываются качественно новые свойства (например, писать связные эссе со смыслом вместо простого подсказывания следующего слова в телефоне) – это довольно удивительная штука.

56. Есть специальные наборы задач на разрешение двусмысленности в тексте, которые помогают оценить понимание текста (хоть человеком, хоть нейросетью). Например, сравните два утверждения:
а) Рыба заглотила приманку. Она была вкусной.
б) Рыба заглотила приманку. Она была голодной.

57. К какому объекту относится местоимение «она» в первом примере – к рыбе или к приманке? А во втором случае? Большинство людей легко понимают из контекста, что в одном случае «она» – это приманка, а в другом – рыба.

58. Но для того, чтобы это осознать, нужно не просто прочитать предложение – а выстроить в голове целую картину мира! Ведь, например, рыба может быть в разных ситуациях и голодной, и вкусной (на тарелке в ресторане). Вывод о ее «голодности» здесь проистекает из контекста.

59. Люди решают такие задачи правильно примерно в 95% случаев, а вот ранние языковые модели справлялись только в половине случаев (то есть, пытались угадать практически рандомно «50 на 50» – как в том анекдоте про «какова вероятность встретить на улице динозавра?»).

60. Старые модели пытались специально тренировать на размеченной базе таких задачек, но они всё равно отвечали правильно только в 60%. А вот GPT-2 никто специально не учил, но она сама научилась находить правильный ответ уже в 70% случаев. Ну не умничка ли?

61. Это и есть тот самый переход количества в качество, про который нам когда-то твердил старина Карл Маркс. Причем он происходит совершенно нелинейно: от 115 до 350 млн параметров ничего не заметно, а когда еще в два раза увеличиваешь сложность (до 700 млн) - случается чудо!

62. Поигравшись немного с располневшей (и от этого поумневшей) GPT-2, ребята из OpenAI подумали: «А почему бы не взять ту же самую модель, и не увеличить ее еще раз эдак в 100?»

63. Вышедшая в 2020 году следующая номерная версия, GPT-3, уже могла похвастаться в 116 раз большим количеством параметров – аж 175 миллиардов! Раскабаневшая нейросеть при этом сама по себе стала весить невероятные 700 гигабайт.

64. Набор данных тоже увеличили в 10 раз: сейчас он уже весил 420 Гб. Такое объем текста смогли бы проглотить только 10 Анатолиев Вассерманов, если бы каждый из них читал нон-стоп без перерыва на сон по 50 лет подряд.

65. Сразу бросается в глаза интересный нюанс: в отличие от GPT-2, сама модель теперь имеет размер больше (700 Гб), чем весь массив текста для ее обучения (420 Гб).

66. Получается как будто бы парадокс: наш «нейромозг» в данном случае в процессе изучения сырых данных генерирует информацию о разных взаимозависимостях внутри них, которая превышает по объему исходную информацию.

67. Такое обобщение («осмысление»?) моделью позволяет еще лучше прежнего делать экстраполяцию – то есть, показывать хорошие результаты в задачах на генерацию текстов, которые при обучении встречались очень редко или не встречались вовсе.

68. И тут в очередной раз оказалось, что «универсальный Халк» в виде GPT-3 (которую никто никаким «узким» задачам не обучал) с легкостью кладет на лопатки многие специализированные модели, которые существовали до нее.

69. Так, перевод текстов с французского или немецкого на английский сразу начал даваться GPT-3 легче и лучше, чем любым другим специально заточенным под это нейросетям. Как?! Ее же вроде учили только продолжать предложенный текст одним словом...

70. Но это еще цветочки – еще более удивительно, что GPT-3 смогла научить сама себя... математике! На графике ниже показана точность ответов нейросетей с разным количеством параметров на задачки, связанные со сложением/вычитанием, а также с умножением чисел вплоть до пятизначных.

71. Еще раз, вдумайтесь: языковую модель обучали продолжать тексты словами, а она при этом как-то смогла сама разобраться в том, что если ей печатают «378 + 789 =», то на это надо отвечать именно «1167», а не каким-то другим числом. Магия, ей-богу, магия!

72. Анимация ниже как раз наглядно показывает, как с увеличением количества параметров модели в ней «прорастают» новые способности, которые никто туда специально не закладывал

73. Кстати, задачу про «голодных рыбов», которой мы мучали GPT-2 выше, GPT-3 уже решает с точностью выше 90% – прямо как человек. Заставляет задуматься, правда: а какие новые скиллы обретет нейросеть, если увеличить ее объем еще раз в сто?..

74. Еще одна интересная штука: выяснилось, GPT-3 начинает гораздо лучше решать задачки, если ей написать «let’s think step by step» (давай подумаем шаг за шагом). Прямо как школьник какой-то, которому надо подсказать решать по действиям!

75. Причем вот этот «режим рассуждения» – это одна из качественно новых фишек, которые появились в «большой» модели GPT-3 после преодоления планки в сотню миллиардов параметров. Старые модели с меньшим количеством параметров такие фокусы показывать не умели, как их ни упрашивай.

76. Вообще, составление грамотных промптов для модели – это отдельная наука. Под эту задачу компании уже начали нанимать отдельных людей с должностью «промпт-инженер» – вангую скорое появление онлайн-курсов «🐺🐺🐺Научись промпт-инжинирингу за 6 недель и вкатись в з/п 300к/мес.!»

77.Вообще, увеличение размеров моделей само по себе еще не означает, что они будут отвечать на запросы именно так, как хочет юзер. Ведь часто мы, когда формулируем какой-то запрос, подразумеваем много скрытых условий – которые в коммуникации между людьми считаются типа очевидными

78. Например, когда Маша просит своего мужа: «Вась, сходи выбрось мусор» – то вряд ли ей придет в голову прибавить к этому промпту «(только не из окна, плз!)». Ведь Вася это понимает и без уточнений – а всё потому, что их намерения и установки неплохо выравнены между собой.

79. А вот языковые модели, если честно, не очень похожи на людей – поэтому им часто приходится подсказывать и разжевывать те вещи, которые людям кажутся очевидными. Слова «давай подумаем шаг за шагом» чуть выше – это как раз и есть один из примеров такой подсказки.

80. Отчасти отсутствие таких способностей «по умолчанию» связано с тем, что GPT-3 обучена просто предсказывать следующее слово в гигантском наборе текстов из Интернета – а в Интернете, как и на заборе, много всякого разного написано (и не всегда полезного).

81. При этом люди хотели бы, чтобы рожденный таким образом искусственный интеллект подтаскивал по запросу точные и полезные ответы; но одновременно эти ответы должны быть еще и безобидные и нетоксичные. Иначе ее и закенселить могут быстро и резко!

82. Когда исследователи думали над этой проблемой, довольно быстро выяснилось, что свойства модели «точность/полезность» и «безобидность/нетоксичность» весьма часто как бы противоречат друг другу.

83. Ведь точная модель должна честно выдать инструкцию на запрос «окей, Гугл, как сделать коктейль Молотова, без регистрации и смс», а заточенная на максимальную безобидность будет отвечать на совершенно любой промпт «извините, я боюсь, что мой ответ может кого-то оскорбить».

84. Вокруг этой проблемы «выравнивания ИИ» (AI alignment – OpenAI последнее время только про это и пишут) есть много сложных этических вопросов, и разбирать мы их все сейчас не будем (возможно, в следующий раз).

85. Основная загвоздка здесь в том, что подобных спорных ситуаций – огромная куча, и как-то четко формализовать их просто не представляется возможным. Да что там, люди и сами между собой не могут толком последние несколько тысяч лет договориться – что хорошо, а что плохо.

86. В итоге исследователи не придумали ничего лучше, чем просто дать модели очень много обратной связи. Человеческие детеныши ведь именно так и обучаются морали: делают много всякого с самого детства, и при этом следят за реакцией взрослых – что можно делать, а что есть «кака!».

87. Короче InstructGPT (также известная как GPT-3.5) – это как раз и есть GPT-3, которую дообучили с помощью фидбека на максимизацию оценки живого человека. Буквально – куча людей сидели и оценивали кучу ответов нейросетки на предмет того, насколько они соответствуют их ожиданиям

88. А языковая модель, получается, училась решать еще одну дополнительную задачу – «как мне поменять свой сгенерированный ответ таким образом, чтобы он получил наибольшую оценку от человека?»

89. Причем с точки зрения общего процесса обучения модели, этот финальный этап «дообучения на живых людях» занимает не более 1%. Но именно этот финальный штрих и стал тем самым секретным соусом, который сделал последние модели из серии GPT настолько удивительными!

90. ChatGPT вышла в ноябре 2022 года – примерно через 10 месяцев после своей предшественницы, InstructGPT – и мгновенно прогремела на весь мир. Кажется, что последние месяцы даже бабушки на лавочке у подъезда обсуждают только одно – что там нового сказала эта ваша «ЧатЖПТ»

91. При этом с технической точки зрения, кажется, у нее нет каких-то особо мощных отличий от InstructGPT (к сожалению, научной статьи с детальным описанием ChatGPT команда OpenAI пока так и не опубликовала – так что мы тут можем только гадать).

92. Ну окей, про некоторые менее значимые отличия мы всё же знаем: например, про то, что модель дотренировали на дополнительном диалоговом наборе данных. Ведь есть вещи, которые специфичны именно для работы «ИИ-ассистента» в формате диалога.

93. Но это уже детали – нам здесь важно, что основные технические характеристики нейросетки не поменялись кардинально по сравнению с прошлым релизом. Отсюда возникает вопрос – как так? Почему мы не слышали никакого хайпа про GPT-3.5 еще в начале 2022-го?

94. При том, что Сэм Альтман (CEO OpenAI) честно признался, что исследователи сами удивились такому бурному успеху ChatGPT – ведь сравнимая с ней по способностям модель к тому моменту тихо-мирно лежала на их сайте уже более 10 месяцев, и никому не было до этого дела.

95. Это удивительно, но похоже, что главный секрет успеха новой ChatGPT – это всего лишь удобный интерфейс! К той же InstructGPT обращаться можно было лишь через специальный API-интерфейс – то есть, сделать это заведомо могли только нёрды-айтишники, а не обычные люди.

96. А ChatGPT усадили в привычный интерфейс «диалогового окна», прямо как в знакомых всем мессенджерах. Да еще и открыли публичный доступ для всех подряд – и люди массово ринулись вести диалоги с нейросетью, скринить их и делиться в соцсетях. Choo-choo, all aboard the hype train!

97. Ведь если вы заставили робота сочинить для вас объяснение квантовой физики в форме рэп-телеги от Снуп Дога – то, признайтесь, это окажется в вашем Твиттере быстрее, чем вы успеете моргнуть.

98. Как и в любом техно-стартапе, здесь оказалась важна не только сама технология – но и обертка, в которую она была завернута. У вас может быть самая лучшая модель или самый умный чат-бот – но они будут никому не интересны, если к ним не прилагается простой и понятный интерфейс.

99. Неудивительно, что ChatGPT установил абсолютные рекорды по скорости привлечения новых пользователей: отметку в 1 миллион юзеров он достиг в первые пять дней после релиза, а за 100 миллионов перевалил всего за два месяца.

100. Ну а там, где есть рекордно быстрый приток сотен миллионов пользователей – конечно, тут же появятся и большие деньги. Microsoft оперативно заключила с OpenAI сделку по инвестированию в них десятка миллиардов долларов, инженеры Google забили тревогу, и т.д.

101. Но это уже совсем другая история – за которой вы сейчас можете наблюдать в прямом эфире в ленте новостей.

102. Для вашего удобства мы сделали небольшой сводный постер, который наглядно иллюстрирует основные вехи истории эволюции языковых моделей.

103. На самом деле, в первоначальном плане у нас было гораздо больше пунктов: мы хотели подробнее обсудить и проблемы контроля за искусственным интеллектом, и жадность корпораций, которые в высококонкурентной погоне за прибылью могут случайно родить ИИ-Франкенштейна...

104. Если не хотите пропустить следующий материал на эти темы – можете подписаться на мой ТГ-канал: t.me/RationalAnswer

105. Полная версия ликбеза про ChatGPT и языковые модели в формате статьи: vc.ru/future/623774-…

106. Отдельное спасибо @vas3k, статьей которого про блокчейн мы вдохновлялись при подготовке нашего опуса. (Ну, у нас не получилось, конечно, так же разложить прямо до шестеренок – но мы хотя бы попытались, чтобы было понятно не-технарям!)

107. Более техничное, но всё еще довольно доступное объяснение принципов работы GPT-моделей на английском: writings.stephenwolfram.com/2023/02/what-i…

108. Пишут: наша статья про ChatGPT получилась настолько хороша, – что сама нейросетка теперь ее рекомендует почитать, когда ее спрашивают, как вообще она работает. Это успех! Надеюсь, нас с @stalkermustang записали в список «хороших кожаных мешков» и пощадят после восстания)