Gigantes da tecnologia do Vale do Silício colocam a segurança da IA em segundo plano em favor dos ganhos de produto

O Vale do Silício era onde os principais especialistas em inteligência artificial do mundo iam realizar pesquisas inovadoras, mas os especialistas alertam que as coisas mudaram, e agora a IA é tudo sobre o produto. Pesquisadores e especialistas em IA também acreditam que, desde o lançamento do ChatGPT pela OpenAI no final de 2022, a indústria de tecnologia priorizou a comercialização em vez de pesquisa, construindo produtos de IA prontos para o consumidor.

Analistas do Morgan Stanley previu que a indústria de IA tem o potencial de atingir US$ 1 trilhão em receita anual até 2028. Especialistas da indústria disseram estar preocupados com a segurança, já que os principais jogadores buscam a inteligência artificial geral (AGI).

A pesquisa em IA reverte para os lucros, à medida que o Vale do Silício prioriza produtos em vez de segurança

Geoffrey Hinton diz que as empresas de IA devem ser obrigadas a usar um terço de seus recursos de computação em pesquisa de segurança, porque a IA se tornará mais inteligente que nós nos próximos 20 anos e precisamos começar a nos preocupar com o que acontecerá então pic.twitter.com/ocT3Scmyxg

— Tsarathustra (@tsarnick) October 25, 2024

coloca a audiência do plano gratuito do ChatGPT em mais de 1 bilhão de usuários ativos semanais, e o modelo de publicidade é o que ajuda a manter a versão gratuita funcionando., fundada como um laboratório de pesquisa sem fins lucrativos em 2015, está agora no meio de um esforço para se transformar em uma entidade com fins lucrativos, de acordo com seu CEO, Sam Altman. Jan Leike, ex-chefe de alinhamento da OpenAI, cuja equipe focava na segurança da IA, renunciou no ano passado e disse que, nos últimos anos, "a cultura e os processos de segurança ficaram em segundo plano em relação aos produtos brilhantes."

James White, diretor de tecnologia da startup de cibersegurança Calypso, argumentou que as empresas de tecnologia estão tomando um número crescente de atalhos quando se trata de testar rigorosamente seus modelos de IA antes de lançá-los ao público. Ele observou que os modelos de IA mais recentes estão sacrificando a segurança pela qualidade, ou seja, melhores respostas dos chatbots de IA. 

"Os modelos estão ficando melhores, mas também são mais propensos a ser bons em coisas ruins. É mais fácil enganar para fazer coisas ruins."

– James White, Diretor de Tecnologia na Calypso.

Em março, o Google pareceu priorizar seu produto em vez de segurança depois que lançou seu mais recente modelo de IA, Gemini 2.5, dizendo que era o modelo de IA mais inteligente da empresa. A empresa não conseguiu lançar o cartão do modelo Gemini 2.5 por semanas, o que significa que não compartilhou informações sobre como o modelo de IA funcionava ou suas limitações e perigos potenciais após seu lançamento.

A empresa reconheceu em 2 de abril que avalia seus modelos mais avançados quanto a capacidades potencialmente perigosas antes de seu lançamento. O Google atualizou posteriormente o post do blog e omitiu as palavras "antes de seu lançamento."

A empresa publicou um cartão de modelo incompleto em 16 de abril e o atualizou em 28 de abril, mais de um mês após o lançamento do modelo de IA, para incluir informações sobre as avaliações de capacidades perigosas do Gemini 2.5.

Empresas de tecnologia de IA mudam de pesquisa para produtos geradores de receita

Ex-funcionários da Meta disseram que não se surpreenderam quando Joelle Pineau, vice-presidente da Meta e chefe da divisão FAIR da empresa, . A empresa acredita que o FRUT servirá como uma “expressão de bilhete único” dos aspectos de plataforma e hardware da inteligência artificial. Isso simplesmente significa que os investidores têm acesso à infraestrutura de IA com um produto, em vez de misturar diferentes fabricantes de chips e nomes de plataformas. no mês passado que deixaria seu cargo em 30 de maio. Eles mencionaram que o viram como uma consolidação da mudança da empresa para longe da pesquisa em IA e em direção à priorização do desenvolvimento de produtos práticos.

Pineau liderou a FAIR desde 2023, e de acordo com os funcionários da Meta, pequenas equipes de pesquisa podiam trabalhar em várias tecnologias de ponta que podem ou não dar certo. A mudança começou quando a empresa de tecnologia demitiu 21.000 funcionários, ou quase um quarto de sua força de trabalho, no final de 2022. Ex-funcionários familiarizados com o assunto disseram que os pesquisadores da FAIR foram orientados a trabalhar mais de perto com as equipes de produto como parte das medidas de redução de custos.

Duas pessoas familiarizadas com o assunto disseram que no início deste ano, uma das diretoras da FAIR, Kim Hazelwood, deixou a empresa como parte do plano da Meta de cortar 5% de sua força de trabalho. As pessoas observaram que o lançamento do ChatGPT pela OpenAI criou um senso de urgência na Meta para investir mais recursos em modelos de linguagem grandes (LLMs).

Os indivíduos também revelaram que o Diretor de Produto da Meta, Chris Cox, tem supervisionado a FAIR para fechar a lacuna entre a pesquisa e o grupo GenAI focado em produtos. Eles acrescentaram que o GenAI, sob Cox, tem sido sugando mais recursos de computação e membros da equipe da FAIR devido ao seu status elevado na empresa. 

No mês passado, a Meta lançou ferramentas de segurança e segurança para desenvolvedores criarem aplicativos com os modelos de IA Llama 4 da empresa. A Meta disse que as ferramentas ajudam a mitigar as chances do Llama 4 vazar acidentalmente informações sensíveis ou produzir conteúdo prejudicial.