O novo chatbot da Deepseek causou um impacto significativo no mercado de IA, apresentando -se com a declaração intrigante:
Olá, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que pode até surpreendê -lo.
Esse modelo de IA não apenas se tornou um concorrente formidável, mas também contribuiu para uma das maiores quedas de preços das ações da NVIDIA.
Imagem: Ensigame.com
O que distingue o modelo de Deepseek é seus métodos inovadores de arquitetura e treinamento, que incluem:
Previsão com vários toques (MTP): Essa técnica permite que o modelo preveja várias palavras ao mesmo tempo analisando diferentes partes de uma frase, melhorando significativamente a precisão e a eficiência.
Mistura de especialistas (MOE): Utilizando 256 redes neurais, com oito ativados para cada tarefa de processamento de token, essa arquitetura acelera o treinamento de IA e aprimora o desempenho.
Atenção latente de várias cabeças (MLA): Ao focar nas partes mais significativas de uma frase e extrair detalhes-chave repetidamente, o MLA reduz a chance de perder informações cruciais, permitindo que a IA capture nuances importantes.
A Deepseek, uma startup chinesa proeminente, afirma ter desenvolvido um modelo competitivo de IA a um custo mínimo, afirmando que gastaram apenas US $ 6 milhões no treinamento do Deepseek V3 usando apenas 2048 processadores gráficos.
Imagem: Ensigame.com
No entanto, analistas da semiânica revelaram que o DeepSeek opera uma vasta infraestrutura computacional, compreendendo cerca de 50.000 GPUs NVIDIA Hopper, incluindo 10.000 unidades H800, 10.000 H100s e GPUs H20 adicionais. Esses recursos estão espalhados por vários data centers e usados para treinamento, pesquisa e modelagem financeira de IA.
O investimento total da empresa em servidores é de aproximadamente US $ 1,6 bilhão, com despesas operacionais estimadas em US $ 944 milhões.
A Deepseek é uma subsidiária do fundo de hedge chinês High-Flyer, que estabeleceu a startup como uma divisão separada de IA em 2023. Diferentemente da maioria das startups que dependem de provedores de nuvem, a DeepSeek possui seus data centers, permitindo controle total sobre o otimização do modelo de IA e uma implementação mais rápida. A empresa permanece autofinanciada, aumentando sua flexibilidade e velocidade de tomada de decisão.
Imagem: Ensigame.com
Além disso, alguns pesquisadores da Deepseek ganham mais de US $ 1,3 milhão anualmente, atraindo os principais talentos das principais universidades chinesas (a empresa não contrata especialistas estrangeiros).
Apesar desses investimentos, a reivindicação da Deepseek de treinar seu modelo mais recente por apenas US $ 6 milhões parece irrealista. Este número é responsável apenas pelo uso da GPU durante o pré-treinamento e exclui despesas de pesquisa, refinamento de modelos, processamento de dados e custos gerais de infraestrutura.
Desde a sua criação, a Deepseek investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura compacta permite a implementação ativa e eficaz das inovações de IA, diferentemente das empresas maiores e mais burocráticas.
Imagem: Ensigame.com
O exemplo de Deepseek mostra que uma empresa independente de IA bem financiada pode competir com os líderes do setor. No entanto, os especialistas observam que o sucesso da empresa se deve em grande parte a investimentos significativos, avanços técnicos e uma equipe forte, em vez de um "orçamento revolucionário" para o desenvolvimento do modelo de IA.
Ainda assim, os custos da Deepseek permanecem inferiores aos de seus concorrentes. Por exemplo, a Deepseek gastou US $ 5 milhões em R1, enquanto o ChatGPT4O custou US $ 100 milhões para treinar.
