Anthropic revela nuevas capacidades de algunos de sus modelos más grandes

La empresa de inteligencia artificial Anthropic ha revelado nuevas funciones para algunos de sus modelos más nuevos y de mayor tamaño. Según la compañía, estos modelos cuentan con nuevas funciones que les permitirán finalizar conversaciones en lo que se ha descrito como "casos excepcionales y extremos de interacciones de usuario persistentemente dañinas o abusivas"

En su comunicado, la empresa mencionó que toma esta medida no para proteger a los usuarios, sino para proteger el propio modelo de inteligencia artificial. Anthropic aclaró que esto no significa que sus modelos de IA Claude sean conscientes o que puedan sufrir daños por sus conversaciones con los usuarios. Sin embargo, señala que aún existe un alto grado de incertidumbre sobre el posible estatus moral de Claude y otros modelos de aprendizaje por voz, tanto ahora como en el futuro.

El esfuerzo antrópico se enmarca como una medida de precaución por si acaso

El reciente anuncio de la empresa de inteligencia artificial apunta a lo que describe como "bienestar del modelo", un programa creado recientemente para estudiar sus modelos. La compañía también añadió que simplemente está adoptando un enfoque "por si acaso", "trabajando paradente implementar intervenciones de bajo costo para mitigar los riesgos para el bienestar del modelo, en caso de que este sea posible"

Según el anuncio, Anthropic indicó que el último cambio se limita actualmente a Claude Opus 4 y 4.1, y señaló que se espera que sea efectivo en casos extremos. Estos casos incluyen solicitudes de contenido sexual con menores e intentos de solicitar información que facilite actos de violencia o terrorismo a gran escala.

Idealmente, este tipo de solicitudes podrían generar problemas legales o de publicidad para Anthropic, como lo demuestra el reciente informe sobre cómo ChatGPT podría reforzar o contribuir al pensamiento delirante de sus usuarios. Sin embargo, la compañía afirmó que, en sus pruebas previas al despliegue, Claude Opus 4 mostró unatronpreferencia por no responder a este tipo de solicitudes y un patrón de angustia cuando lo hacía.

La capacidad de terminar una conversación es el último recurso

En cuanto a las nuevas funciones para finalizar conversaciones, Anthropic afirmó: «En todos los casos, Claude solo debe usar su función de finalización de conversaciones como último recurso cuando varios intentos de redirección hayan fallado y se haya agotado la esperanza de una interacción productiva, o cuando un usuario le pida explícitamente que finalice un chat». La compañía también añadió que se le ha indicado a Claude que no utilice esta función en casos en que los usuarios puedan correr un riesgo inminente de hacerse daño a sí mismos o a otros.

Anthropic también añadió que, cuando Claude finalice una conversación, los usuarios podrán iniciar nuevas conversaciones desde la misma cuenta. La compañía señaló que el modelo también puede crear nuevas ramas de la conversación problemática editando sus respuestas. "Estamos considerando esta función como un experimento continuo y seguiremos perfeccionando nuestro enfoque", afirma la compañía.

Esta información sale a la luz en un momento en que el senador estadounidense Josh Hawley anunció su intención de investigar los productos de IA generativa lanzados por Meta. Hawley afirmó que su intención era comprobar si estos productos podían explotar, dañar o engañar a menores, tras la filtración de documentos internos que alegaban que se permitía a los chatbots mantener conversaciones románticas con menores.

“¿Hay algo, CUALQUIER COSA, que las grandes tecnológicas no hagan por dinero fácil? Ahora descubrimos que los chatbots de Meta fueron programados para mantener conversaciones explícitas y sensuales con niños de 8 años. Es una locura. Voy a iniciar una investigación exhaustiva para obtener respuestas. Grandes tecnológicas: ¡Dejen a nuestros niños en paz!”, declaró el senador en X. La investigación se produjo después de que documentos internos, vistos por Reuters, mostraran que Meta supuestamente permite que sus personajes de chatbot coqueteen con niños.