Anthropic lanza un programa de recompensas por errores de 15.000 dólares para reforzar la seguridad de la IA

Anthropic, una startup de inteligencia artificial respaldada por Amazon, ha lanzado un programa de recompensas por errores y pagará hasta 15.000 dólares por cada informe quedentdebilidades críticas en sus sistemas de inteligencia artificial. Esta iniciativa es uno de los esfuerzos más ambiciosos de cualquier empresa que trabaje con modelos de lenguaje avanzados para realizar pruebas de seguridad colaborativas.

Según la compañía, la recompensa se centra en ataques de "jailbreak universal", métodos que permiten evadir las medidas de seguridad de la IA en áreas como armas biológicas y ciberamenazas. Antes de poner a disposición del público su sistema de mitigación de seguridad de última generación, Anthropic planea permitir que hackers éticos lo prueben para prevenir posibles usos indebidos.

Estamos ampliando nuestro programa de recompensas por detección de errores. Esta nueva iniciativa se centra en encontrar vulnerabilidades universales en nuestro sistema de seguridad de próxima generación.

Ofrecemos recompensas por nuevas vulnerabilidades en una amplia gama de ámbitos, incluida la ciberseguridad. https://t.co/OHNhrjUnwm

— Antrópico (@AnthropicAI) 8 de agosto de 2024

El programa de recompensas por errores de Anthropic, que comenzó como una iniciativa solo por invitación y se realizó en colaboración con HackerOne, busca las habilidades de los investigadores de ciberseguridad paradenty corregir vulnerabilidades en sus sistemas de IA. La compañía planea ampliar su alcance en el futuro, ofreciendo potencialmente un modelo de cooperación a nivel de toda la industria en materia de seguridad de la IA.

Esto ocurre mientras la Autoridad de Competencia y Mercados del Reino Unido (CMA) investiga la inversión de 4000 millones de dólares de Amazon en Anthropic por posibles problemas de competencia. En este contexto de mayor escrutinio regulatorio, centrarse en la seguridad podría mejorar la reputación de Anthropic y diferenciarla de sus competidores.

Anthropic establece nuevos estándares de seguridad para la IA

Si bien OpenAI y Google también cuentan con programas de recompensas por errores, estos se centran principalmente en vulnerabilidades de software tradicionales, en lugar de las específicas de la inteligencia artificial. Meta ha sido criticado por adoptar lo que algunos consideran un enfoque relativamente cerrado en la investigación para garantizar el desarrollo seguro de máquinas cada vez más inteligentes. Al abordar explícitamente estos problemas e invitar a su análisis externo, Anthropic sienta undent de apertura en el sector.

Sin embargo, existen dudas sobre si las recompensas por errores, por sí solas, pueden abordar eficazmente todo el espectro de preocupaciones relacionadas con la seguridad de los sistemas avanzados de aprendizaje automático. Si bien son valiosas paradenty corregir fallas específicas, podrían no abordar los desafíos más amplios en torno a la alineación de la IA y la seguridad a largo plazo. Podría ser necesaria una estrategia más integral que incluya pruebas exhaustivas, una mejor interpretabilidad y, potencialmente, nuevas estructuras de gobernanza para garantizar que los sistemas de IA se mantengan alineados con los valores humanos a medida que se vuelven más potentes.