Le nouveau chatbot de Deepseek a eu un impact significatif sur le marché de l'IA, se présentant avec la déclaration intrigante:
Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre.
Ce modèle d'IA est non seulement devenu un formidable concurrent, mais a également contribué à l'une des plus grandes baisses de cours des actions de Nvidia.
Image: esigame.com
Ce qui distingue le modèle de Deepseek, c'est son architecture innovante et ses méthodes de formation, qui comprennent:
Prédiction multi-token (MTP): Cette technique permet au modèle de prédire plusieurs mots à la fois en analysant différentes parties d'une phrase, améliorant considérablement à la fois la précision et l'efficacité.
Mélange d'experts (MOE): en utilisant 256 réseaux de neurones, avec huit activés pour chaque tâche de traitement de jeton, cette architecture accélère la formation d'IA et améliore les performances.
Attention latente multi-tête (MLA): En se concentrant sur les parties les plus importantes d'une phrase et en extraction des détails clés à plusieurs reprises, MLA réduit les chances de manquer des informations cruciales, permettant à l'IA de capturer des nuances importantes.
Deepseek, une startup chinoise de premier plan, prétend avoir développé un modèle d'IA compétitif à un coût minimal, déclarant qu'ils ont dépensé seulement 6 millions de dollars pour la formation de Deepseek V3 en utilisant seulement 2048 processeurs graphiques.
Image: esigame.com
Cependant, les analystes de semi-analyse ont révélé que Deepseek exploite une vaste infrastructure de calcul, comprenant environ 50 000 GPU de trémie NVIDIA, dont 10 000 unités H800, 10 000 H100 et des GPU H20 supplémentaires. Ces ressources sont réparties sur plusieurs centres de données et utilisées pour la formation, la recherche et la modélisation financière de l'IA.
L'investissement total de la société dans les serveurs est d'environ 1,6 milliard de dollars, avec des dépenses opérationnelles estimées à 944 millions de dollars.
Deepseek est une filiale du High-Flyer de fonds spéculatifs chinois, qui a établi la startup comme une division distincte axée sur l'IA en 2023. Contrairement à la plupart des startups qui reposent sur les fournisseurs de cloud, Deepseek possède ses centres de données, permettant un contrôle total sur l'optimisation du modèle IA et une mise en œuvre plus rapide de l'innovation. L'entreprise reste autofinancée, améliorant sa flexibilité et sa vitesse de prise de décision.
Image: esigame.com
De plus, certains chercheurs de Deepseek gagnent plus de 1,3 million de dollars par an, attirant les meilleurs talents des principales universités chinoises (la société n'embauche pas de spécialistes étrangers).
Malgré ces investissements, la prétention de Deepseek de former son dernier modèle pour seulement 6 millions de dollars semble irréaliste. Ce chiffre ne représente que l'utilisation du GPU pendant la pré-formation et exclut les dépenses de recherche, le raffinement du modèle, le traitement des données et les coûts globaux des infrastructures.
Depuis sa création, Deepseek a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure compacte permet une mise en œuvre active et efficace des innovations d'IA, contrairement aux entreprises plus grandes et plus bureaucratiques.
Image: esigame.com
L'exemple de Deepseek montre qu'une entreprise d'IA indépendante bien financée peut rivaliser avec les leaders de l'industrie. Cependant, les experts notent que le succès de l'entreprise est largement dû à des investissements importants, à des percées techniques et à une équipe solide, plutôt qu'à un "budget révolutionnaire" pour le développement du modèle d'IA.
Pourtant, les coûts de Deepseek restent inférieurs à ceux de ses concurrents. Par exemple, Deepseek a dépensé 5 millions de dollars pour R1, tandis que ChatGpt4o a coûté 100 millions de dollars pour s'entraîner.
