🇵🇱 Postawmy sprawę jasno...
Każdy twórca / builder chciałby zrobić swój własny #chatgpt podobny a nawet lepszy od @OpenAI
Co jest do tego potrzebne? #ELI5
Każdy twórca / builder chciałby zrobić swój własny #chatgpt podobny a nawet lepszy od @OpenAI
Co jest do tego potrzebne? #ELI5
1/💵
Dostęp do superkomputera z ~10 000 GPU i ~285 000 rdzeni CPU. Jeśli nie możesz go kupić, możesz zrobić tak, jak @OpenAI zrobił z @Microsoft, wydając 1 miliard dolarów (USD), aby go wynająć.
news.microsoft.com/source/feature…
Dostęp do superkomputera z ~10 000 GPU i ~285 000 rdzeni CPU. Jeśli nie możesz go kupić, możesz zrobić tak, jak @OpenAI zrobił z @Microsoft, wydając 1 miliard dolarów (USD), aby go wynająć.
news.microsoft.com/source/feature…
2/💵
Zatrudnij najmądrzejszych naukowców zajmujących się danymi na świecie.
@OpenAI płaciło swojemu CSO Ilya Sutskeverowi 1,9 mln rocznie (USD) w 2016 roku, a mają zespół 120 osób. Być może budżet >200 milionów dolarów na zatrudnienie w pierwszym roku.
nytimes.com/2018/04/19/tec…
Zatrudnij najmądrzejszych naukowców zajmujących się danymi na świecie.
@OpenAI płaciło swojemu CSO Ilya Sutskeverowi 1,9 mln rocznie (USD) w 2016 roku, a mają zespół 120 osób. Być może budżet >200 milionów dolarów na zatrudnienie w pierwszym roku.
nytimes.com/2018/04/19/tec…
3/💵
@AiEleuther zajęło 12-18 msc, aby przygotować dane obejmujące ~ 400B tokenów, musisz znaleźć dane o jakości co najmniej 4x większej.
DeepMind's Chinchilla 70B (1400B tokenów), a możesz chcieć celować w kilka TB, aby przewyższyć GPT-3.
@AiEleuther zajęło 12-18 msc, aby przygotować dane obejmujące ~ 400B tokenów, musisz znaleźć dane o jakości co najmniej 4x większej.
DeepMind's Chinchilla 70B (1400B tokenów), a możesz chcieć celować w kilka TB, aby przewyższyć GPT-3.
4/💵
Spodziewaj się, że trening to 9-12 miesięcy i to jeśli wszystko pójdzie idealnie. Być może trzeba będzie uruchomić go kilka razy, a także trenować kilka modeli równolegle. Rzeczy się psują i mogą całkowicie zepsuć wyniki
arxiv.org/abs/2005.14165
github.com/facebookresear…
Spodziewaj się, że trening to 9-12 miesięcy i to jeśli wszystko pójdzie idealnie. Być może trzeba będzie uruchomić go kilka razy, a także trenować kilka modeli równolegle. Rzeczy się psują i mogą całkowicie zepsuć wyniki
arxiv.org/abs/2005.14165
github.com/facebookresear…
5/💵
Dodatkowo najnowocześniejsze komputery, plus zasoby kadrowe #devops, ale to najmniejsze z twoich zmartwień.
Powodzenia!
Nie zapomnij o ❤️ i RT
Dodatkowo najnowocześniejsze komputery, plus zasoby kadrowe #devops, ale to najmniejsze z twoich zmartwień.
Powodzenia!
Nie zapomnij o ❤️ i RT
• • •
Missing some Tweet in this thread? You can try to
force a refresh
