Os custos ocultos dos modelos de treinamento de IA

A construção e a manutenção de modelos modernos de IA exigem investimentos significativos, que podem ultrapassar centenas de milhões de dólares. Estimativas indicam que esses custos podem chegar a um bilhão de dólares em um futuro próximo. 

Esse gasto se deve principalmente ao poder computacional, onde são utilizadas unidades como as GPUs da Nvidia, que podem custar cerca de US$ 30.000 cada e exigir milhares de dólares adicionais para serem eficientes. Pesquisadores afirmaram que a qualidade e a quantidade do conjunto de dados de treinamento usado no desenvolvimento desses modelos são muito importantes. 

Líderes do setor revelam custos exorbitantes do desenvolvimento de IA

Segundo James Betker, da OpenAI, o desempenho de um modelo é função dos dados de treinamento, e não do design ou da arquitetura do modelo. Ele afirma que modelos treinados com grandes conjuntos de dados alcançarão os mesmos resultados. Portanto, os dados são a chave para o avanço da tecnologia de IA. 

Dario Amodei, CEO da empresa de IA Anthropic AI, compartilhou suas percepções sobre os aspectos financeiros desses desafios no podcast In Good Company. Ele afirmou que o treinamento dos modelos atuais, como o ChatGPT-4, está estimado em cerca de US$ 100 milhões, e o treinamento de modelos futuros pode exigir entre US$ 10 bilhões e US$ 100 bilhões nos próximos anos.

Os modelos generativos de IA, e aqueles criados por grandes empresas, são, em sua essência, modelos estatísticos. Portanto, utilizam muitos exemplos para prever os resultados mais prováveis. Kyle Lo, do Allen Institute for AI (AI2), afirma que o ganho de desempenho pode ser atribuído principalmente aos dados, especialmente quando o ambiente de treinamento é consistente. 

A centralização de dados levanta preocupações éticas e de acessibilidade

O alto custo de obtenção de dados de boa qualidade está fazendo com que o desenvolvimento da IA ​​seja privilégio de poucas grandes empresas no mundo desenvolvido. Essa concentração de recursos também é motivo de preocupação quanto à disponibilidade da tecnologia de IA e à possibilidade de uso indevido. 

Só a OpenAI já gastou centenas de milhões de dólares em licenças de dados, e a Meta considerou adquirir editoras para obter acesso a dados. O mercado de dados para treinamento de IA deve se expandir, e os corretores de dados provavelmente se beneficiarão dessa oportunidade. 

Os problemas surgem de práticas questionáveis ​​de aquisição de dados. De acordo com os relatórios, muitas empresas capturaram grandes volumes de conteúdo sem a autorização dos proprietários desse conteúdo, e algumas empresas coletam dados de diferentes plataformas sem remunerar os usuários. Como relatamos anteriormente, a OpenAI usou seu modelo de transcrição de áudio Whisper para transcrever mais de um milhão de horas de vídeos do YouTube para aprimorar o GPT-4.

Organizações trabalham para criar conjuntos de dados de treinamento de IA de acesso aberto

À medida que a corrida pela aquisição de dados apresenta alguns problemas, são necessários esforços de entidadesdent para disponibilizar conjuntos de dados de treinamento de forma aberta. Algumas organizações, como a EleutherAI e a Hugging Face, estão criando grandes conjuntos de dados que estão disponíveis ao público para o desenvolvimento de IA.

O Wall Street Journal destacou recentemente duas estratégias potenciais para solucionar problemas de aquisição de dados: geração de dados sintéticos e aprendizagem curricular. Os dados sintéticos são criados usando os próprios modelos de IA, enquanto a aprendizagem curricular busca fornecer aos modelos dados de alta qualidade de forma estruturada, para que possam estabelecer conexões mesmo com menos dados. No entanto, ambos os métodos ainda estão em fase de desenvolvimento e sua eficácia ainda não foi comprovada.