A Anthropic lança um programa de recompensas por bugs no valor de US$ 15.000 para fortalecer a segurança da IA

A Anthropic, uma startup de IA apoiada pela Amazon, lançou um programa de recompensas por bugs e pagará até US$ 15.000 por cada relatório quedentvulnerabilidades críticas em seus sistemas de inteligência artificial. A iniciativa é um dos maiores esforços já realizados por uma empresa que trabalha com modelos de linguagem avançados para terceirizar testes de segurança.

Segundo a empresa, a recompensa visa ataques de "jailbreak universal", métodos que podem contornar as medidas de segurança de IA em áreas como armas biológicas e ameaças cibernéticas. Antes de disponibilizar seu sistema de mitigação de segurança de última geração ao público, a Anthropic planeja permitir que hackers éticos o testem para evitar possíveis usos indevidos.

Estamos expandindo nosso programa de recompensas por bugs. Esta nova iniciativa tem como foco encontrar vulnerabilidades universais em nosso sistema de segurança de última geração.

Oferecemos recompensas por novas vulnerabilidades em uma ampla gama de domínios, incluindo segurança cibernética. https://t.co/OHNhrjUnwm

— Antrópico (@AnthropicAI) 8 de agosto de 2024

Iniciado como uma iniciativa apenas para convidados, realizada em colaboração com a HackerOne, o programa de recompensas por bugs da Anthropic busca pesquisadores de cibersegurança com habilidades paradente corrigir vulnerabilidades em seus sistemas de IA. A empresa planeja abrir o programa para um público mais amplo no futuro, potencialmente oferecendo um modelo de cooperação em segurança de IA para toda a indústria.

Isso ocorre em um momento em que a Autoridade de Concorrência e Mercados do Reino Unido (CMA) investiga o investimento de US$ 4 bilhões da Amazon na Anthropic devido a possíveis problemas de concorrência. Nesse contexto de maior escrutínio regulatório, focar na segurança pode melhorar a reputação da Anthropic e diferenciá-la dos concorrentes.

A Anthropic estabelece novos padrões de segurança para IA

Embora a OpenAI e o Google também tenham programas de recompensas por bugs, eles se concentram principalmente em vulnerabilidades de software tradicionais, em vez de vulnerabilidades específicas da inteligência artificial. A Meta tem sido criticada por adotar o que alguns consideram uma abordagem relativamente fechada em relação à pesquisa para garantir o desenvolvimento seguro de máquinas cada vez mais inteligentes. Ao visar explicitamente esses problemas e convidar o público a examiná-los, a Anthropic estabelece umdent de abertura no setor.

No entanto, existem dúvidas sobre se os programas de recompensas por bugs, por si só, conseguem abordar eficazmente todo o espectro de preocupações relacionadas à segurança de sistemas avançados de aprendizado de máquina. Embora valiosos paradente corrigir falhas específicas, eles podem não ser suficientes para lidar com os desafios mais amplos em torno do alinhamento da IA ​​com os valores humanos e da segurança a longo prazo. Uma estratégia mais holística, envolvendo testes extensivos, melhor interpretabilidade e, potencialmente, novas estruturas de governança, pode ser necessária para garantir que os sistemas de IA permaneçam alinhados com os valores humanos à medida que se tornam mais poderosos.