O CEO da Anthropic recomenda cautela em relação à segurança dos modelos de IA

Dario Amodei, CEO da Anthropic, mencionou recentemente que as empresas de inteligência artificial devem se submeter a testes obrigatórios. Isso também se aplica à sua própria empresa, a Anthropic. O objetivo é garantir que essas tecnologias sejam seguras para o público em geral antes de serem lançadas. 

Amodei respondia a uma pergunta em uma cúpula sobre segurança de IA realizada recentemente em São Francisco pelos Departamentos de Comércio e Estado dos EUA. Em sua resposta, o CEO afirmou: "Acho que precisamos, sem dúvida, tornar os testes obrigatórios, mas também precisamos ter muito cuidado com a forma como os realizamos."

Essas observações seguem um comunicado dos Institutos de Segurança de IA do Reino Unido e dos EUA, que contém os resultados de seus testes com o modelo Claude 3.5 Sonnet, da Anthropic. Esses testes foram conduzidos em diversas categorias, incluindo aplicações biológicas e de cibersegurança. Anteriormente, tanto a OpenAI quanto a Anthropic concordaram em submeter seus modelos a agências governamentais.

Grandes empresas como a Anthropic seguem diretrizes de segurança autoimpostas

Amodei mencionou que grandes empresas concordaram voluntariamente com certas diretrizes autoimpostas. Isso inclui a estrutura de preparação da OpenAI e a política de escalonamento responsável da Anthropic. No entanto, ele acrescentou que ainda é necessário mais trabalho para garantir a segurança.

“Não há nada que realmente verifique ou garanta que as empresas estejam seguindo esses planos à risca. Elas apenas disseram que vão”, disse Amodei. Ele acrescentou ainda: “Acho que a atenção do público e o fato de os funcionários se importarem criaram alguma pressão, mas, no fim das contas, acredito que não será suficiente”

Amodei acredita que sistemas de IA poderosos têm a capacidade de superar os humanos mais inteligentes. Ele também acha que tais sistemas poderão estar disponíveis até 2026. Ele acrescenta que as empresas de IA ainda estão testando certos danos catastróficos e ameaças biológicas, nenhuma das quais é real atualmente. No entanto, esses testes hipotéticos podem se tornar realidade muito antes disso.

Ele também alertou que os requisitos para testar sistemas de IA devem ser flexíveis, considerando que a tecnologia está em constante evolução. Em suas palavras, trata-se de um "problema sociopolítico" muito difícil de resolver.