Thread by @sylvcz

Zajrzyjmy za kulisy DeepSeek i tego czy faktycznie wytrenowano ten model bez wielkich nakładów na moce obliczeniowe i chipy.
By dowiedzieć się więcej warto pogrzebać wokół Lianga Wenfenga założyciela funduszu High-Flyer i tego jak ten fundusz od ... dekady działa.
🧵o chińskim AI

"Rozważanie logiki biznesowej w kontekście przyszłych zysków z AI jest jak dyskusja o General Electric i Coca-Coli, gdy Ma Huateng (założyciel Tencentu) rozpoczynał swoją działalność. To walka w przyszłej wojnie generałami z poprzedniej" - to słowa Lianga Wenfenga z połowy 2023.

Udzielił wtedy jednego z najbardziej szczegółowych wywiadów, w którym nie tylko zapewniał, że DeepSeek idzie po AGI: nie wiadomo jeszcze kiedy "2, 5 czy 10 lat" ale "za naszego życia".
Przede wszystkim jednak zdradzał kulisy High-Flyer, finansowania i opracowywania DeepSeek.

Ta firma od dawna jest ukrytym gigantem AI. Założona została w 2015. W 2019 High-Flyer utworzyła spółkę zajmującą się AI i niemal od razu sfinansowała superkomputer „Firefly I”. Inwestycja 200 milionów juanów (29 mln USD) opłaciła komputer wyposażony w 1 100 GPU.

Dwa lata później wyłożyli 1 mld juanów (145 mln USD) w „Firefly II” .
A ten system został wyposażony w około 10 tys. kart graficznych NVIDIA A100!!!!
To dało możliwość samodzielnego trenowania LLM na poziomie ChatGPT. I to zanim zrobiły to chińskie BigTechy.

Czyli High-Flyer był jednym z pierwszych użytkowników NVIDIA A100 w Chinach. Jak to możliwe? A obostrzenia USA? Weszły w życie jesienią 2022.
Chiński fundusz na oficjalne zakupy poszedł wcześniej. "W rzeczywistości proces ten przebiegał stopniowo. Od pierwszej karty graficznej,

przez 100 kart w 2015 roku, 1 000 kart w 2019 roku, aż do 10 000. Na początku, przy kilkuset kartach, korzystaliśmy z centrum danych (IDC), ale kiedy skala się powiększyła, nie byli w stanie spełnić naszych wymagań, więc zaczęliśmy budować własną serwerownię" - wyznawał Wenfeng.

Tak silnie wierzyli w AI, że inwestycje zaczęli bardzo wcześnie i trenowali na tych 10 k GPU (oficjalnie!) od 6 lat.
Sam High-Flyer w 2021 osiągnął wartość 100 miliardów juanów i został nazwany jednym z “Four Celestials of Quant”. To oczywiście od 'Czterech Niebiańskich Królów"

w buddyzmie czterech boskich istoty, które są strażnikami czterech kierunków świata (północ, południe, wschód i zachód).
Czy to cała prawda o tych inwestycjach i powstaniu DeepSeek. Wątpię.
Ale więcej mówi niż "jak tanio Chiny to zrobiły i bez mocy obliczeniowych".
End for now