Os custos ocultos do treinamento de modelos de IA

Construir e apoiar modelos de IA modernos requer investimentos significativos, que podem ultrapassar centenas de milhões de dólares. As estimativas indicam que esses custos podem atingir um bilhão de dólares no futuro próximo. 

Essa despesa deve-se principalmente ao poder de computação, onde entidades como as GPUs da Nvidia são usadas, que podem custar cerca de US$ 30.000 cada e podem exigir milhares delas para serem eficientes. Os pesquisadores afirmaram que a qualidade e a quantidade do conjunto de dados de treinamento usado no desenvolvimento desses modelos são muito importantes. 

Líderes da indústria revelam custos assustadores do desenvolvimento de IA

De acordo com James Betker da OpenAI, o desempenho de um modelo é uma função dos dados de treinamento, em vez do design ou da arquitetura do modelo. Sua afirmação é que os modelos treinados em grandes conjuntos de dados alcançarão os mesmos resultados. Portanto, os dados são a chave para o avanço da tecnologia de IA.

Dario Amodei, CEO da empresa de IA Anthropic AI, compartilhou suas percepções sobre os aspectos financeiros desses desafios no podcast In Good Company. Ele afirmou que o treinamento dos modelos atuais, como o ChatGPT-4, tem um custo estimado de cerca de US$ 100 milhões, e o treinamento para modelos futuros pode exigir de US$ 10 a 100 bilhões nos próximos anos.

Os modelos de IA generativa, e os criados por grandes empresas, são, em sua essência, modelos estatísticos. Portanto, eles usam muitos exemplos para prever os resultados mais prováveis. Kyle Lo, do Allen Institute for AI (AI2), diz que o ganho de desempenho pode ser atribuído principalmente aos dados, especialmente quando o ambiente de treinamento é consistente. 

A centralização de dados levanta preocupações éticas e de acessibilidade

O alto custo de obtenção de dados de boa qualidade está tornando o desenvolvimento de IA o domínio de poucas grandes empresas no mundo desenvolvido. Essa agregação de recursos também é uma fonte de preocupação quanto à disponibilidade da tecnologia de IA e à possibilidade de uso indevido. 

A OpenAI sozinha gastou centenas de milhões de dólares em licenças de dados, e a Meta considerou comprar editoras para acesso a dados. O mercado de dados de treinamento de IA deve se expandir, e os corretores de dados provavelmente se beneficiarão dessa oportunidade. 

Problemas surgem de práticas questionáveis de aquisição de dados. De acordo com os relatórios, muitas empresas capturaram grandes volumes de conteúdo sem a autorização dos proprietários desse conteúdo, e algumas empresas usam dados de diferentes plataformas e não remuneram os usuários. Como relatamos anteriormente, a OpenAI usou seu modelo de transcrição de áudio Whisper para transcrever mais de um milhão de horas de vídeos do YouTube para ajustar o GPT-4.

Organizações trabalham para criar conjuntos de dados de treinamento de IA de acesso aberto

À medida que a corrida pela aquisição de dados apresenta alguns problemas, são necessários esforços de partes independentes para tornar os conjuntos de dados de treinamento abertos ao público. Algumas organizações, como a EleutherAI e a Hugging Face, estão criando grandes conjuntos de dados disponíveis ao público para o desenvolvimento de IA.

O Wall Street Journal destacou recentemente duas estratégias potenciais para resolver os problemas de aquisição de dados: geração de dados generativa e aprendizado por currículo. Dados sintéticos são criados usando os próprios modelos de IA, enquanto o aprendizado por currículo tenta fornecer aos modelos dados de alta qualidade de maneira estruturada para que possam fazer conexões mesmo com menos dados. No entanto, ambos os métodos ainda estão em estágios de desenvolvimento e sua eficácia ainda não foi testada.