- Anthropic se disculpó y eliminó una política oculta de Claude Fable 5 que reducía silenciosamente el rendimiento en algunas consultas avanzadas de investigación con IA tras una amplia crítica.
- Los investigadores advirtieron que las restricciones podrían concentrar las capacidades de IA entre unas pocas empresas y ralentizar el progreso científico independiente.
- La controversia surgió mientras Anthropic se prepara para una posible oferta pública inicial (IPO) con una valoración cercana a los 965.000 millones de dólares, lo que pone bajo escrutinio su relación con la comunidad investigadora.
Anthropic se disculpó y retiró la política que habría restringido en secreto el rendimiento de Claude Fable 5 para los desarrolladores de IA. Los científicos advirtieron que esta política restrictiva podría hacer que las funcionalidades avanzadas de la IA fueran accesibles solo para un puñado de empresas, obstaculizando el crecimiento de la ciencia a nivel mundial.
La decisión de Anthropic, que se produjo el 10 de junio, tiene implicaciones mucho más significativas que las acciones tomadas por una sola empresa. Dada su valoración de casi 965.000 millones de dólares y su próxima oferta pública inicial (IPO), el incidente puso de manifiesto una contradicción crucial dentro del sector de la IA: cómo las empresas que desarrollan los mejores modelos gestionan sus necesidades competitivas junto con una cultura de investigación abierta que impulsa la innovación en todo el mundo.
Las restricciones ocultas de Claude Fable 5 de Anthropic provocan indignación en la industria
Con el lanzamiento de Claude Fable 5 el 9 de junio, Anthropic hizo público cuatro categorías de protecciones, incluyendo ciberseguridad, biología, química e investigación de IA. Tres de esas categorías actuaban de manera similar. Cada vez que se detectaba una consulta sensible, el sistema la rechazaba por completo o derivaba al usuario a Claude Opus 4.8, su antigua oferta principal, con una alerta abierta.
Sin embargo, la cuarta categoría difería de las demás. Ante consultas sobre IA emergente, Fable 5 comprometía la calidad de su salida sin que el usuario lo supiera. Según el informe de Fortune sobre el anuncio, la empresa describió intervenciones para obstaculizar el rendimiento del sistema sin revelar nada al respecto. Los detalles completos se pueden encontrar en la tarjeta del sistema de 319 páginas de Anthropic.
Según Anthropic, la probabilidad de que esta restricción entrara en vigor era de aproximadamente el 0,03 %. Pero el principio alarmó a los investigadores mucho más que el porcentaje.
“Hicimos el intercambio incorrecto y nos disculpamos por no encontrar el equilibrio adecuado”, explicó Anthropic según se informa.
Los críticos dicen que las restricciones de Claude Fable 5 amenazaron la investigación independiente de IA
Esta crítica provino de personas que rara vez están de acuerdo. Los partidarios del código abierto, los investigadores de seguridad que trabajan con IA e incluso los ex empleados de Anthropic se opusieron en cuestión de horas tras la publicación de la tarjeta del sistema.
Will Brown, responsable de investigación de Prime Intellect, una startup de IA, declaró que la política parecía que la empresa “estaba empezando a subir la escalera detrás de ellos”. Añadió que hay un número creciente de empresas que evalúan la seguridad y fiabilidad de los sistemas de vanguardia. La degradación encubierta del rendimiento podría sabotear potencialmente su proceso de verificación.
Nathan Lambert, un investigador de modelos abiertos que anteriormente dirigió el trabajo en el Instituto Allen para la IA, fue aún más contundente en su declaración. Dijo en X que la política “pinta claramente a Anthropic como anti-ciencia, y por tanto anti-progreso y anti-seguridad.”
Jeremy Howard, cofundador de AnswerDotAI, enmarcó el problema como una captura de poder competitivo. Los propios investigadores de Anthropic aún podrían utilizar el modelo sin restricciones internamente, argumentó Howard, lo que significa que la frontera seguiría avanzando mientras los investigadores externos se quedarían atrás. Declaró que “la frontera de la IA avanza y el desequilibrio de poder aumenta.”
Incluso el personal ex de Anthropic se pronunció. Behnam Neyshabur, que anteriormente codirigió la iniciativa de científicos de IA de la empresa, publicó que restringir estas capacidades “ralentiza fundamentalmente el progreso científico y tecnológico y es netamente negativo para la humanidad.”
¿Cómo podría afectar al IPO de Anthropic?
El incidente ocurrió en un período muy delicado para Anthropic. La empresa documentos confidenciales de la oferta pública inicial presentados el 1, recaudando 65 mil millones de dólares con una valoración implícita de 965 mil millones de dólares. La valoración en este caso depende significativamente de la confianza de los clientes empresariales y de la comunidad de investigación.
Separado de la controversia sobre la investigación de IA, el lanzamiento de Fable 5 enfrentó críticas por otro lado. Los robustos filtros de biología empleados por el modelo le impedían responder preguntas sobre membranas celulares y mitocondrias, que suelen ser temas enseñados en la escuela secundaria. Según informes, era imposible hacer que el modelo describiera cómo funcionan las vacunas de ARNm y qué causa la fiebre del heno, aunque no tenía problemas para discutir la TNT y los riesgos de contraseñas.
Microsoft también ha restringido a su personal el uso de Fable 5 debido a problemas de retención de datos relacionados con las nuevas políticas de retención de la clase Mythos introducidas por Anthropic. El período de retención para las entradas y salidas se establece en 30 días con fines de confianza y seguridad, con el contenido marcado retenido hasta por dos años.
¿Qué sigue?
Con la política enmendada, Anthropic dijo que Fable 5 hará visibles sus salvaguardas de desarrollo de IA. En caso de que el sistema descubra que el usuario está realizando investigación de IA de vanguardia, puede denegar su solicitud o cambiar a un sistema diferente y notificar al usuario en ambos casos.
Anthropic reconoció un intercambio. Dado que la salvaguarda ahora es visible, la empresa no tiene más remedio que emplearla de manera más amplia. Esto significa que se bloquearán consultas más inocuas. La empresa dijo que está trabajando para mejorar la precisión del clasificador. Este caso puso de manifiesto un problema de magnitud aún mayor. En la medida en que aumentan las capacidades de los modelos de IA, los costos de entrenamiento aumentan y la tentación de limitar el acceso de las partes competidoras a estas herramientas también aumenta. Si la rápida reversión de Anthropic establece un precedente o simplemente retrasa el próximo intento de restricción encubierta dependerá de cómo responda el resto de la industria.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Preguntas frecuentes
¿En qué consistió la política encubierta de investigación con IA de Anthropic?
Anthropic diseñó Claude Fable 5 para degradar de forma invisible la calidad de sus respuestas cuando detectaba que los usuarios trabajaban en tareas de desarrollo de IA de vanguardia, a diferencia de otras salvaguardas que rechazaban o redirigían visiblemente las solicitudes. La empresa revocó esta política tras la fuerte reacción negativa y afirmó que las futuras salvaguardas en este ámbito serán visibles para los usuarios.
¿Por qué se opusieron los investigadores a las restricciones?
Los críticos argumentaron que la política permitiría a los propios investigadores de Anthropic utilizar modelos sin restricciones, mientras que los científicos externos recibían resultados degradados, concentrando las capacidades de IA en unos pocos laboratorios grandes y potencialmente socavando a las empresas de evaluación de seguridad de terceros que prueban modelos de vanguardia.
¿Cómo respondió Anthropic al rechazo?
Anthropic se disculpó, diciendo "hicimos el mal intercambio", y cambió la política para que las salvaguardas del desarrollo de IA ahora sean visibles para los usuarios, lo que significa que el modelo o bien rechazará abiertamente las solicitudes o redirigirá a los usuarios a un modelo menos capaz en lugar de debilitar silenciosamente sus respuestas.
Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Ashish Kumar
Ashish Kumar es periodista especializado en criptomonedas y finanzas con ocho años de experiencia en redacciones. Cubre lo que ocurre en los mercados de criptomonedas, la regulación, DeFi y los ecosistemas de exchanges. Ha trabajado en Coingape, Todayq y Newsroompost. Ashish posee un PGDP en Periodismo Inglés del IIMC. También ha entrevistado a figuras del sector como Arthur Hayes, Yat Siu, Austin Federa y más.
