Anthropic lança programa de recompensa por bugs de US$ 15.000 para fortalecer a segurança da IA

A Anthropic, uma startup de IA apoiada pela Amazon, lançou um programa de recompensa por bugs e pagará até 15.000 dólares por cada relatório que identifique vulnerabilidades críticas em seus sistemas de inteligência artificial. A iniciativa é um dos esforços mais extensos de qualquer empresa que trabalha com modelos de linguagem avançados para testar a segurança através da multidão.

De acordo com a empresa, a recompensa visa ataques de "jailbreak universal", métodos que contornam as medidas de segurança da IA em áreas como armas biológicas e ciberameaças. Antes de disponibilizar ao público o seu próximo sistema de mitigação de segurança de nova geração, a Anthropic planeia permitir que hackers éticos o testem para prevenir possíveis abusos.

Estamos ampliando nosso programa de recompensas por bugs. Esta nova iniciativa foca em encontrar jailbreaks universais no nosso sistema de segurança de próxima geração.

Oferecemos recompensas por vulnerabilidades inovadoras em uma ampla gama de domínios, incluindo cibersegurança. https://t.co/OHNhrjUnwm

— Anthropic (@AnthropicAI) Agosto 8, 2024

Começando como uma iniciativa apenas por convite, feita em colaboração com a HackerOne, o programa de recompensa por bugs da Anthropic procura as competências dos investigadores de cibersegurança na identificação e correção de vulnerabilidades nos seus sistemas de IA. A empresa planeia abri-lo mais amplamente no futuro, potencialmente oferecendo um modelo de cooperação em toda a indústria sobre a segurança da IA.

Isto ocorre enquanto a Autoridade de Concorrência e Mercados (CMA) do Reino Unido investiga o investimento de 4 mil milhões de dólares da Amazon na Anthropic devido a potenciais questões de concorrência. Neste contexto de maior escrutínio regulatório, focar-se na segurança pode melhorar a reputação da Anthropic e diferenciá-la dos concorrentes.

A Anthropic estabelece novos padrões de segurança em IA

Embora a OpenAI e a Google também tenham programas de recompensa por bugs, estes concentram-se principalmente em vulnerabilidades de software tradicionais, em vez daquelas específicas para inteligência artificial. A Meta tem sido criticada por adotar o que alguns consideram uma abordagem relativamente fechada em relação à investigação para garantir o desenvolvimento seguro de máquinas cada vez mais inteligentes. Ao direcionar explicitamente estes problemas e convidar ao exame externo dos mesmos, a Anthropic estabelece um precedente de abertura dentro do setor.

No entanto, há dúvidas sobre se as recompensas por bugs sozinhas podem abordar eficazmente todo o espectro de preocupações relacionadas com a segurança de sistemas avançados de aprendizagem automática. Embora valiosas para identificar e corrigir falhas específicas, podem não conseguir lidar com desafios mais amplos em torno do alinhamento da IA e da segurança a longo prazo. Poderia ser necessária uma estratégia mais holística que envolva testes extensivos, melhor interpretabilidade e potencialmente novas estruturas de governação para garantir que os sistemas de IA permaneçam alinhados com os valores humanos à medida que se tornam mais poderosos.