DeepSeekの新しいチャットボットは、AI市場に大きな影響を与え、興味深い声明を紹介しています。
こんにちは、私はあなたが何でも尋ねて、あなたを驚かせるかもしれない答えを得ることができるように作成されました。
このAIモデルは、手ごわい競合他社になるだけでなく、Nvidiaの最大の株価下落の1つにも貢献しています。
画像：Ensigame.com
Deepseekのモデルを区別するのは、次のことを含む革新的なアーキテクチャとトレーニング方法です。
マルチトークン予測（MTP）：この手法により、文のさまざまな部分を分析することにより、モデルが一度に複数の単語を予測できるようになり、精度と効率の両方が大幅に向上します。
専門家（MOE）の混合：256個のニューラルネットワークを利用し、トークン処理タスクごとに8つのアクティブ化されたこのアーキテクチャは、AIトレーニングを高速化し、パフォーマンスを向上させます。
マルチヘッド潜在的注意（MLA）：文の最も重要な部分に焦点を合わせ、重要な詳細を繰り返し抽出することにより、MLAは重要な情報を欠いている可能性を減らし、AIが重要なニュアンスをキャプチャできるようにします。
中国の著名な新興企業であるDeepseekは、わずか2048グラフィックスプロセッサを使用してDeepseek V3のトレーニングにわずか600万ドルを費やしたと述べていると述べています。
画像：Ensigame.com
しかし、Semianalysisのアナリストは、DeepSeekが10,000 H800ユニット、10,000 H100、追加のH20 GPUを含む約50,000のNVIDIAホッパーGPUを含む膨大な計算インフラストラクチャを運営していることを明らかにしました。これらのリソースは、複数のデータセンターに広がり、AIトレーニング、研究、財務モデリングに使用されます。
同社のサーバーへの総投資は約16億ドルで、運用費用は9億4,400万ドルと推定されています。
Deepseekは、2023年にStartupを別のAI中心部として設立した中国のヘッジファンドの高級家の子会社です。クラウドプロバイダーに依存するほとんどのスタートアップとは異なり、DeepSeekはデータセンターを所有し、AIモデルの最適化とより速いイノベーション実装を完全に制御できます。同社は自己資金のままであり、柔軟性と意思決定速度を向上させています。
画像：Ensigame.com
さらに、Deepseekの一部の研究者は、年間130万ドル以上を稼ぎ、中国の主要な大学から最高の才能を引き付けます（同社は外国人の専門家を雇いません）。
これらの投資にもかかわらず、わずか600万ドルで最新のモデルをトレーニングするというDeepseekの主張は非現実的に思えます。この数字は、トレーニング前のGPUの使用のみを占め、研究費用、モデルの改良、データ処理、および全体的なインフラストラクチャコストを除外します。
Deepseekは設立以来、AI開発に5億ドル以上を投資してきました。そのコンパクトな構造は、より大きな官僚的企業とは異なり、AIイノベーションの積極的かつ効果的な実装を可能にします。
画像：Ensigame.com
Deepseekの例は、資金提供された独立したAI会社が業界のリーダーと競争できることを示しています。ただし、専門家は、同社の成功は、AIモデル開発の「革新的な予算」ではなく、大幅な投資、技術的なブレークスルー、および強力なチームによるものであることに注目しています。
それでも、DeepSeekのコストは競合他社のコストよりも低いままです。たとえば、DeepseekはR1に500万ドルを費やしましたが、ChatGpt4oは1億ドルのトレーニングに費用がかかりました。
