DeepSeek revela mHC, mas enfrenta obstáculos de revisão por pares

Em um momento em que há problemas com os custos crescentes de desenvolvimento e manutenção de IA e a quantidade limitada de hardware disponível, a DeepSeek apresentou um novo plano para desenvolver e escalar inteligência artificial (IA).

A startup chinesa acredita que pode criar modelos de IA significativamente melhores sem necessariamente adicionar mais chips e, portanto, aumentar o consumo de energia. Embora o conceito mHC proposto tenha atraído a atenção significativa de muitos pesquisadores do assunto, é geralmente considerado ainda estar em estágios iniciais.

Será necessária mais pesquisa para determinar os benefícios da abordagem no desenvolvimento de sistemas de IA maiores. Um artigo técnico detalhando o conceito mHC foi lançado na semana passada e é co-autoria de Liang Wenfeng, fundador e CEO da DeepSeek.

DeepSeek repensa o design da rede para escalar a IA

Um dos principais componentes do trabalho é uma reavaliação de como a informação é transferida entre as várias camadas de uma rede neural multicamadas.

Cada camada em uma rede neural transmite uma forma de informação processada para a próxima camada no modelo, criando o que foi denominado de ‘Rede de Aprendizado Residual’ (ResNet). Desenvolvido pela Microsoft Research de Kaiming He e outros há aproximadamente dez anos, o ResNet forneceu a base fundamental para muitos dos sistemas de IA mais avançados de hoje.

Um conceito desenvolvido pela DeepSeek foi criado após a ByteDance introduzir Hyper-Connections em 2024. As Hyper-Connections permitem que a informação viaje por múltiplas rotas através de uma rede, em vez de apenas um caminho principal, o que pode aumentar a velocidade de aprendizado e a riqueza da experiência.

No entanto, embora possam ser benéficos, eles também podem levar a ocorrências problemáticas de treinamento, onde os modelos experimentam instabilidade de treinamento ou falha completa.

De acordo com Song Linqi (City University of Hong Kong), a pesquisa da DeepSeek é uma progressão de uma ideia existente, uma continuação de como a DeepSeek olha para o trabalho de outras empresas, em vez de inventar algo do zero.

O ResNet é comparado a uma rodovia de uma faixa, enquanto as Hyper-Connections se assemelham a uma rodovia de múltiplas faixas; no entanto, Song alertou que ter múltiplas faixas sem regras adequadas pode levar a mais colisões.

O professor Guo Song da Universidade de Ciência e Tecnologia de Hong Kong acredita que este artigo de pesquisa pode indicar uma mudança no comportamento de pesquisa para pesquisa em IA. Em vez de continuar a fazer pequenas modificações nos designs de modelos existentes, ele sente que a pesquisa pode evoluir para o desenvolvimento de novos modelos baseados em construções teóricas.

Pesquisadores testam mHC, mas levantam preocupações práticas

Embora haja entusiasmo sobre a recente conquista alcançada nos testes de mHC para aprendizado profundo, os especialistas enfatizaram que a pesquisa ainda não está concluída. Os testes fornecidos pela DeepSeek utilizaram apenas quatro caminhos de dados ao testar modelos com 27 bilhões de parâmetros.

“Os experimentos validaram modelos até 27 bilhões de parâmetros, mas como seria o desempenho em modelos de fronteira de hoje que são uma ordem de magnitude maiores?”

Professor Guo Song.

Os modelos de IA disponíveis hoje são maiores e tipicamente têm centenas de bilhões de parâmetros em comparação com os 30 bilhões de parâmetros que eram o padrão há apenas alguns anos.

Guo ecoou esses sentimentos e afirmou que ainda não se pode concluir se o mHC será capaz de realizar trabalhos na fronteira da tecnologia de IA. Ele também afirmou que a infraestrutura necessária para o funcionamento do mHC pode ser avançada demais para ser utilizada por instituições de pesquisa menores e por empresas em dispositivos móveis.

De acordo com Cryptopolitan, a popularidade da DeepSeek veio de seu lançamento do modelo de linguagem grande DeepSeek V3, e o lançamento subsequente de seu modelo de raciocínio DeepSeek-R1 apenas algumas semanas depois.

Ao comparar os resultados dos modelos com os de seus concorrentes durante os testes de benchmark, ambos os modelos foram capazes de alcançar ou superar os resultados de seus concorrentes, apesar de terem sido lançados usando apenas uma fração dos dados de treinamento utilizados pelos outros modelos de linguagem concorrentes.