Nowy chatbot z Deepseek wywarł znaczący wpływ na rynku AI, wprowadzając się z intrygującym stwierdzeniem:
Cześć, zostałem stworzony, abyś mógł zapytać o wszystko i uzyskać odpowiedź, która może cię nawet zaskoczyć.
Ten model AI stał się nie tylko potężnym konkurentem, ale także przyczynił się do jednego z największych spadków cen akcji NVIDIA.
Zdjęcie: engame.com
To, co rozróżnia model Deepseek, to jego innowacyjna architektura i metody szkolenia, które obejmują:
Prognozowanie wielofunkcyjne (MTP): Ta technika pozwala modelowi przewidzieć wiele słów jednocześnie poprzez analizę różnych części zdania, znacznie poprawiając zarówno dokładność, jak i wydajność.
Mieszanka ekspertów (MOE): Wykorzystanie 256 sieci neuronowych, z ośmioma aktywowanymi dla każdego zadania przetwarzania tokenu, ta architektura przyspiesza szkolenie AI i zwiększa wydajność.
Utrzymująca uwaga wielowłócona (MLA): Koncentrując się na najważniejszych częściach zdania i wielokrotnie wyodrębniając kluczowe szczegóły, MLA zmniejsza szansę na brak kluczowych informacji, umożliwiając AI uchwycenie ważnych niuansów.
Deepseek, wybitny chiński startup, twierdzi, że opracował konkurencyjny model sztucznej inteligencji przy minimalnych kosztach, stwierdzając, że wydali tylko 6 milionów dolarów na szkolenie Deepseek V3 przy użyciu zaledwie 2048 procesorów graficznych.
Zdjęcie: engame.com
Jednak analitycy z semianalizy ujawnili, że Deepseek prowadzi rozległą infrastrukturę obliczeniową, obejmującą około 50 000 GPU Nvidia Hopper, w tym 10 000 jednostek H800, 10 000 H100 i dodatkowe GPU H20. Zasoby te są rozpowszechniane na wiele centrów danych i wykorzystywane do szkolenia AI, badań i modelowania finansowego.
Całkowita inwestycja Spółki w serwerach wynosi około 1,6 mld USD, a wydatki operacyjne szacowane są na 944 mln USD.
Deepseek jest spółką zależną chińskiego funduszu hedgingowego High-Flyer, która ustanowiła startup jako oddzielny dział zorientowany na sztuczną inteligencję w 2023 r. W przeciwieństwie do większości startupów, które opierają się na dostawcach chmury, Deepseek jest właścicielem centrów danych, umożliwiając pełną kontrolę nad optymalizacją modelu AI i szybszą implementację innowacji. Firma pozostaje finansowana, zwiększając swoją elastyczność i szybkość podejmowania decyzji.
Zdjęcie: engame.com
Ponadto niektórzy badacze Deepseek zarabiają ponad 1,3 miliona dolarów rocznie, przyciągając najlepsze talenty wiodących chińskich uniwersytetów (firma nie zatrudniał zagranicznych specjalistów).
Pomimo tych inwestycji roszczenie Deepseek o szkolenie najnowszego modelu za jedyne 6 milionów dolarów wydaje się nierealne. Liczba ta uwzględnia tylko użycie GPU podczas wstępnego treningu i wyklucza wydatki badawcze, udoskonalanie modelu, przetwarzanie danych i ogólne koszty infrastruktury.
Od samego początku Deepseek zainwestował ponad 500 milionów dolarów w rozwój AI. Jego kompaktowa struktura pozwala na aktywne i skuteczne wdrożenie innowacji AI, w przeciwieństwie do większych, bardziej biurokratycznych firm.
Zdjęcie: engame.com
Przykład Deepseek pokazuje, że dobrze finansowana niezależna firma AI może konkurować z liderami branży. Jednak eksperci zauważają, że sukces firmy wynika głównie z znacznych inwestycji, przełomów technicznych i silnego zespołu, a nie „rewolucyjnego budżetu” dla opracowywania modelu AI.
Mimo to koszty Deepseek pozostają niższe niż koszty jego konkurentów. Na przykład Deepseek wydał 5 milionów dolarów na R1, podczas gdy szkolak Chatgpt4o kosztował 100 milionów dolarów.
