Gigantes da tecnologia do Vale do Silício deixam de lado a segurança da IA ​​em prol de ganhos de produto

O Vale do Silício era o local onde os principais especialistas mundiais em inteligência artificial se reuniam para realizar pesquisas inovadoras, mas especialistas alertam que as coisas mudaram e agora a IA está totalmente voltada para o produto. Pesquisadores e especialistas em IA também acreditam que, desde o lançamento do ChatGPT pela OpenAI no final de 2022, a indústria de tecnologia priorizou a comercialização em detrimento da pesquisa, criando produtos de IA prontos para o consumidor.

Analistas do Morgan Stanley previram que a indústria de IA tem potencial para atingir US$ 1 trilhão em receita anual até 2028. Especialistas do setor afirmaram estar preocupados com a segurança, visto que as principais empresas estão investindo em inteligência artificial geral (AGI).

A pesquisa em IA volta a visar o lucro, enquanto o Vale do Silício prioriza produtos em detrimento da segurança

Geoffrey Hinton afirma que as empresas de IA deveriam ser obrigadas a usar um terço de seus recursos computacionais em pesquisas de segurança, porque a IA se tornará mais inteligente do que nós nos próximos 20 anos e precisamos começar a nos preocupar com o que acontecerá então. pic.twitter.com/ocT3Scmyxg

– Tsarathustra (@tsarnick) 25 de outubro de 2024

A OpenAI, fundada em 2015 como um laboratório de pesquisa sem fins lucrativos, está agora em meio a um esforço para se transformar em uma entidade com fins lucrativos, de acordo com seu CEO, Sam Altman. Jan Leike, ex-chefe de alinhamento da OpenAI, cuja equipe se concentrava na segurança da IA, renunciou no ano passado e afirmou que, nos últimos anos, “a cultura e os processos de segurança ficaram em segundo plano em relação a produtos atraentes”.

James White, diretor de tecnologia da startup de cibersegurança Calypso, argumentou que as empresas de tecnologia estão recorrendo cada vez mais a atalhos quando se trata de testar rigorosamente seus modelos de IA antes de lançá-los ao público. Ele observou que os modelos de IA mais recentes estão sacrificando a segurança em prol da qualidade, ou seja, melhores respostas dos chatbots de IA. 

“Os modelos estão ficando melhores, mas também estão mais propensos a serem bons em coisas ruins. É mais fácil enganá-los para que façam coisas ruins.”

– James White, Diretor de Tecnologia da Calypso.

Em março, o Google pareceu priorizar seu produto em detrimento da segurança após lançar seu mais recente modelo de IA, o Gemini 2.5, afirmando ser o modelo de IA mais inteligente da empresa. A empresa demorou semanas para divulgar o cartão de informações do Gemini 2.5, o que significa que não compartilhou informações sobre o funcionamento do modelo de IA, suas limitações ou potenciais perigos no momento do lançamento.

A empresa reconheceu em 2 de abril que avalia seus modelos mais avançados quanto a possíveis riscos antes do lançamento. Posteriormente, o Google atualizou a postagem no blog e omitiu a expressão "antes do lançamento".

A empresa publicou uma ficha técnica incompleta do modelo em 16 de abril e a atualizou em 28 de abril, mais de um mês após o lançamento do modelo de IA, para incluir informações sobre as avaliações das capacidades perigosas do Gemini2.5.

Empresas de tecnologia de IA estão mudando o foco da pesquisa para produtos geradores de receita

Ex-funcionários da Meta disseram que não ficaram surpresos quando Joelle Pineau, vice-presidente da Metadent chefe da divisão FAIR da empresa, anunciou no mês passado que deixaria o cargo em 30 de maio. Eles mencionaram que interpretaram a decisão como uma consolidação da mudança da empresa, que passou a priorizar o desenvolvimento de produtos práticos em detrimento da pesquisa em IA.

Pineau lidera a FAIR desde 2023 e, segundo funcionários da Meta, pequenas equipes de pesquisa poderiam trabalhar em diversas tecnologias de ponta, que podem ou não se concretizar. A mudança começou quando a empresa de tecnologia demitiu 21.000 funcionários, ou quase um quarto de sua força de trabalho, no final de 2022. Ex-funcionários familiarizados com o assunto disseram que os pesquisadores da FAIR foram orientados a trabalhar mais de perto com as equipes de produto como parte das medidas de redução de custos.

Duas pessoas familiarizadas com o assunto disseram que, no início deste ano, uma das diretoras da FAIR, Kim Hazelwood, deixou a empresa como parte do plano da Meta de cortar 5% de sua força de trabalho. Essas pessoas observaram que o lançamento do ChatGPT pela OpenAI criou um senso de urgência na Meta para investir mais recursos em modelos de linguagem de grande escala (LLMs).

As fontes também revelaram que Chris Cox, Diretor de Produtos da Meta, tem supervisionado o FAIR para criar uma ponte entre a pesquisa e o grupo GenAI, focado em produtos. Acrescentaram que, sob a liderança de Cox, o GenAI tem absorvido mais recursos computacionais e membros da equipe do FAIR devido ao seu status elevado na empresa. 

No mês passado, a Meta lançou ferramentas de segurança para desenvolvedores criarem aplicativos com os modelos de IA Llama 4 da empresa. A Meta afirmou que as ferramentas ajudam a mitigar as chances de o Llama 4 vazar informações confidenciais acidentalmente ou produzir conteúdo prejudicial.