Anthropic lanza un programa de recompensas por errores de $15.000 para fortalecer la seguridad de la IA
Chris Murithi
2 min de lectura
- Anthropic lanza una recompensa de 15.000 dólares por vulnerabilidades de seguridad en IA.
- Se invita a hackers éticos a abordar ataques de 'jailbreak universal' en IA.
- Anthropic establece nuevos estándares de transparencia en la seguridad de la IA.
Anthropic, una startup de IA respaldada por Amazon, ha lanzado un programa de recompensas por errores y pagará hasta $15.000 por cada informe que identifique debilidades críticas en sus sistemas de inteligencia artificial. La iniciativa es uno de los esfuerzos más extensos de cualquier empresa que trabaje con modelos de lenguaje avanzados para externalizar las pruebas de seguridad.
Según la empresa, la recompensa se dirige a ataques de
Estamos ampliando nuestro programa de recompensas por errores. Esta nueva iniciativa se centra en encontrar jailbreaks universales en nuestro sistema de seguridad de próxima generación.
— Anthropic (@AnthropicAI) Agosto 8, 2024
Ofrecemos recompensas por vulnerabilidades novedosas en una amplia gama de dominios, incluida la ciberseguridad. https://t.co/OHNhrjUnwm
Comenzando como una iniciativa solo por invitación realizada en colaboración con HackerOne, el programa de recompensas por errores de Anthropic busca las habilidades de los investigadores de ciberseguridad para identificar y corregir vulnerabilidades en sus sistemas de IA. La empresa planea abrirlo más ampliamente en el futuro, potencialmente ofreciendo un modelo de cooperación en toda la industria sobre la seguridad de la IA.
Esto ocurre mientras la Autoridad de Competencia y Mercados (CMA) del Reino Unido investiga la inversión de Amazon de $4 mil millones en Anthropic por posibles problemas de competencia. En este contexto de mayor escrutinio regulatorio, centrarse en la seguridad podría mejorar la reputación de Anthropic y distinguirla de sus rivales.
Anthropic establece nuevos estándares de seguridad de IA
Mientras que OpenAI y Google también tienen programas de recompensas por errores, se centran principalmente en vulnerabilidades de software tradicionales en lugar de aquellas específicas de la inteligencia artificial. Meta ha sido criticada por adoptar lo que algunos consideran un enfoque relativamente cerrado hacia la investigación para garantizar el desarrollo seguro de máquinas cada vez más inteligentes. Al apuntar explícitamente a tales problemas e invitar a un examen externo de los mismos, Anthropic establece un precedente de apertura dentro del sector.
Sin embargo, hay dudas sobre si las recompensas por errores por sí solas pueden abordar efectivamente todo el espectro de preocupaciones relacionadas con la seguridad de los sistemas avanzados de aprendizaje automático. Si bien son valiosas para identificar y parchear defectos específicos, pueden no abordar los desafíos más amplios en torno a la alineación de la IA y la seguridad a largo plazo. Podría ser necesaria una estrategia más holística que involucre pruebas extensas, mejor interpretabilidad y potencialmente nuevas estructuras de gobernanza para garantizar que los sistemas de IA permanezcan alineados con los valores humanos a medida que se vuelven más poderosos.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Chris Murithi
Chris es escritor y analista técnico especializado en criptomonedas y tecnología. Es graduado en Matemáticas y Ciencias de la Computación de la Universidad de Nairobi. Ha trabajado como redactor de contenidos en On-Chain Media y Coin Edition, y actualmente trabaja en Cryptopolitan.
