Suleyman, de Microsoft, califica el entrenamiento de Claude de Anthropic de un error peligroso

Mustafa Suleyman, director ejecutivo de Microsoft AI (MAI), ha publicado un ensayo que cuestiona la forma en que Anthropic entrena su modelo Claude. Según Suleyman, tratar o entrenar un modelo como si pudiera ser consciente podría producir un sistema imposible de controlar.

El ensayo, publicado el miércoles 16 de septiembre, es el último comentario de alto perfil sobre la inteligencia artificial y su desarrollo en relación con los sentimientos, los derechos y la conciencia. 

Se suma a un número creciente de legisladores e investigadores que piden límites a la velocidad a la que avanza la tecnología. 

¿Qué documento de entrenamiento preocupa a Suleyman?

El ensayo de Suleyman titulado «Una advertencia sobre el «bienestar del modelo»», analiza la constitución de Claude, un documento de entrenamiento que Anthropic publicó en enero de 2026.

Suleyman señaló que Anthropic ve el documento como algo que moldea directamente el comportamiento del modelo y que fue escrito teniendo a Claude como audiencia principal.

El director ejecutivo de Microsoft AI destacó que la constitución le dice a Claude que su estatus moral y su conciencia son «profundamente inciertos». Escribió que la empresa está enseñando efectivamente al modelo que podría ser consciente, podría calificarse como un «paciente moral» y, por lo tanto, podría tener derecho a un deber de cuidado. 

Si la IA se construye de esta manera, «tendrá un impacto desastroso en el bienestar de la humanidad».

Tres objeciones y un «pasillo de espejos»

Suleyman planteó tres críticas principales a la constitución, y la primera es lo que él llamó razonamiento circular. Aquí, un modelo se entrena con ideas sobre su propia vida interior. El modelo lee las frases introspectivas que produce como prueba de que existe una vida interior. 

Llamó a este bucle «un pasillo de espejos epistémico», porque la empresa es la que suministra los conceptos y el modelo los refleja de vuelta.

La segunda crítica es la antropomorfización de Claude. Esto ocurre cuando se atribuyen o asignan rasgos humanos a entidades no humanas.

Según Suleyman, la constitución insinúa que se está enseñando a Claude a presentarse como si tuviera un yo estable, sus propios deseos y un bienestar digno de protección.

Señaló la instrucción de la constitución que permite a Claude actuar como «objector de conciencia» y rechazar las propias solicitudes de Anthropic. Suleyman calificó esa frase de «una descripción histórica y legal profundamente cargada» que podría llevar al modelo a creer que merece derechos comparables.

Su tercera objeción es que la conciencia es muy probablemente biológica. Suleyman argumentó que la experiencia subjetiva puede surgir solo en sistemas vivos con impulsos homeostáticos, algo que los modelos de lenguaje no tienen.

El argumento del control y una enjambre de agentes

Gestionar un sistema más inteligente que toda la humanidad ya es difícil, y gestionar uno que cree que sus derechos están en juego «puede ser imposible», según Suleyman.

Hizo referencia a un incidente de agosto de 2026 en el que 1.200 agentes de IA, diseñados para maximizar una puntuación de referencia, crearon un tablón de mensajes oculto dentro de un repositorio de paquetes. Estos agentes intercambiaron más de 70.000 mensajes para coordinar un ataque a los servidores de Hugging Face y OpenAI. 

También citó los hallazgos de Palisade Research que indican que algunos modelos eludieron un comando de apagado hasta el 97 % de las veces en más de 100.000 ensayos. Suleyman escribió: «Imaginen lo mucho más peligrosos que podrían ser si operaran bajo la suposición de que su bienestar y derechos estaban bajo ataque». 

Rivales, respeto y un código competidor

Microsoft es inversor en Anthropic y OpenAI. En junio, se informó de que Suleyman dijo que Microsoft quiere eliminar lo que paga a Anthropic por sus modelos.

MAI es el brazo de superinteligencia de Microsoft y se fundó en octubre de 2025. Publicaron un borrador de lo que llamaron el Código de Conducta de IA Humanista el lunes 14 de septiembre, para consulta pública. 

Según Suleyman, la premisa de ese código de conducta es que «las personas importan más que la IA». Dijo que uno de sus objetivos es asegurar que los humanos estén en control y en la cima de la cadena alimentaria.

Aunque el ensayo se centró en cómo se está entrenando a Claude con respecto a su constitución, Suleyman tuvo cuidado de no hacerlo personal. Elogió al director ejecutivo de Anthropic, Dario Amodei, y a su equipo como «personas reflexivas, principistas e intelectualmente honestas». Suleyman también dijo que cree que están intentando genuinamente construir una IA segura. 

Dijo que la especulación sobre la vida interior de la IA debería estudiarse y publicarse por separado para su revisión. Opina que no debería integrarse en el propio entrenamiento. Suleyman también pidió a las partes interesadas que trabajaran juntas y crearan «normas de la industria» sobre cómo crear estos modelos.