Новый чат -бот из DeepSeek оказал значительное влияние на рынок искусственного интеллекта, представляя себя интригующим утверждением:
Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас.
Эта модель ИИ стала не только грозным конкурентом, но и способствовала одному из крупнейших падений цен на акции Nvidia.
Изображение: Ensigame.com
Что отличает модель Deepseek, так это ее инновационная архитектура и методы обучения, которые включают в себя:
Multi-Token Prediction (MTP): этот метод позволяет модели прогнозировать несколько слов одновременно, анализируя различные части предложения, значительно повышая как точность, так и эффективность.
Смесь экспертов (MOE): используя 256 нейронных сетей, с восемью активированными для каждой задачи обработки токенов, эта архитектура ускоряет обучение ИИ и повышает производительность.
Многополосное скрытое внимание (MLA): сосредоточив внимание на наиболее значимых частях предложения и неоднократно извлекая ключевые детали, MLA снижает вероятность отсутствия важной информации, позволяя ИИ захватить важные нюансы.
DeepSeek, известный китайский стартап, утверждает, что разработал конкурентную модель ИИ с минимальными затратами, заявив, что они потратили всего 6 миллионов долларов на обучение DeepSeek V3, используя только 2048 графических процессоров.
Изображение: Ensigame.com
Тем не менее, аналитики полуанализа показали, что DeepSeek управляет обширной вычислительной инфраструктурой, включающей около 50 000 графических процессоров NVIDIA, в том числе 10 000 единиц H800, 10 000 H100 и дополнительных графических процессоров H20. Эти ресурсы распространяются по нескольким центрам обработки данных и используются для обучения, исследований и финансового моделирования искусственного интеллекта.
Общие инвестиции компании в серверы составляют приблизительно 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.
DeepSeek является дочерней компанией китайского хедж-фонда High-Flyer, который установил стартап как отдельное подразделение, ориентированное на AI, в 2023 году. В отличие от большинства стартапов, которые полагаются на облачных провайдеров, Deepseek владеет своими центрами обработки данных, позволяя полный контроль над оптимизацией модели ИИ и более быстрым внедрением инноваций. Компания остается самофинансированной, повышая свою гибкость и скорость принятия решений.
Изображение: Ensigame.com
Более того, некоторые исследователи в DeepSeek зарабатывают более 1,3 миллиона долларов в год, привлекая лучших талантов от ведущих китайских университетов (компания не нанимает иностранных специалистов).
Несмотря на эти инвестиции, утверждение Deepseek о обучении своей последней модели всего за 6 миллионов долларов кажется нереальным. На этом рисунке учитывается только использование графических процессоров во время предварительного обучения и исключает расходы на исследования, уточнение модели, обработку данных и общие затраты на инфраструктуру.
С момента своего создания DeepSeek инвестировала более 500 миллионов долларов в разработку ИИ. Его компактная структура обеспечивает активную и эффективную реализацию инноваций ИИ, в отличие от более крупных, более бюрократических компаний.
Изображение: Ensigame.com
Пример DeepSeek показывает, что хорошо финансируемая независимая компания ИИ может конкурировать с лидерами отрасли. Тем не менее, эксперты отмечают, что успех компании в значительной степени связан с значительными инвестициями, техническими прорывами и сильной командой, а не «революционным бюджетом» для разработки модели искусственного интеллекта.
Тем не менее, затраты DeepSeek остаются ниже, чем у его конкурентов. Например, Deepseek потратил 5 миллионов долларов на R1, а Chatgpt4o стоил 100 миллионов долларов на обучение.
