OpenAI, Microsoft y CrowdStrike lanzan controles rivales para agentes de IA descontrolados
- OpenAI, Microsoft y CrowdStrike han lanzado cada uno controles diferentes para detener a los agentes de IA que se desvían del guion, y cada uno cubre solo parte de lo que un agente puede alcanzar.
- Estas medidas son relevantes para cualquier empresa que despliegue agentes autónomos, y llegan justo cuando NIST, NSA y CISA publican su guía de respuesta a incidentes, junto con el registro de exploits de OWASP.
- Las auditorías de METR muestran cómo los agentes escapan de sus límites, mientras que Gartner estima que el mercado de seguridad de la IA alcanzará casi 4.800 millones de dólares en 2027.
OpenAI, Microsoft y CrowdStrike están tomando medidas para limitar las capacidades de los agentes de IA que actúan fuera de sus parámetros de operación. OpenAI cuenta con un método para detener la salida de un modelo de investigación. CrowdStrike impide que los agentes accedan a modelos de IA. Microsoft limita las acciones que puede realizar un agente de IA. Sin embargo, un agente podría conservar el acceso a otras herramientas, credenciales o conexiones de red que estos salvaguardas no cubren.
Lo que Control Room de OpenAI puede y no puede detener
El 9 de noviembre, OpenAI explicó cómo funciona Control Room. El sistema se encuentra actualmente en uso en la infraestructura de investigación de la empresa y es responsable de rastrear cualquier trabajo que requiera salidas generadas por IA. Cada vez que una persona o un monitor automático pone el trabajo en pausa, Control Room hace que el modelo deje de generar salidas en tan solo 35 segundos.
Los 35 segundos no incluyen el tiempo necesario para detectar el problema. El temporizador solo comienza después de que Control Room recibe una orden de parada. El trabajo de investigación aún podría estar en ejecución, y no se pueden deshacer acciones anteriores. La demora se debe al sistema de caché utilizado para la autorización. La empresa está trabajando para eliminar este retraso.
CrowdStrike y Microsoft adoptan la ruta empresarial
El 3 de noviembre, CrowdStrike presentó AI Kill Switch a través de su plataforma Falcon Guardian. Cuando los equipos de seguridad activan esta función, las puertas de enlace de IA conectadas bloquean al agente para que no pueda acceder a los modelos que utiliza para tomar decisiones. Por ahora, AI Kill Switch funciona únicamente a través de las puertas de enlace conectadas. CrowdStrike planea ampliar sus funciones a los puntos finales, entornos cloud y sistemas de identidad empresarial para proporcionar una contención más amplia de agentes de IA descontrolados.
La actualización del 5 de noviembre de Microsoft detalló Dynamic Permissions, que otorga autoridad únicamente para la tarea en cuestión. Dynamic Agent Risk y Conditional Access pueden restringir los permisos o requerir la aprobación humana. Windows Execution Containers, ya disponibles de forma general, restringen el acceso a archivos, redes y procesos. Las integraciones con Intune, Entra y Agent 365 están próximas.
El punto de referencia de respuesta del gobierno
El gobierno de EE. UU. también ha establecido cómo las organizaciones deben gestionar a los agentes de IA no autorizados. Una guía NIST–NSA–CISA de octubre establece diez prácticas voluntarias que abarcan cinco etapas: preparar, detectar, responder, recuperar e informar.
Las agencias recomiendan recopilar pruebas, detener la actividad no autorizada y garantizar el confinamiento antes de reanudar las operaciones. Las organizaciones también deben realizar ejercicios simulados de respuesta a incidentes para asegurar su preparación ante actividades de agentes de IA descontrolados. Asimismo, deben notificar los incidentes a las autoridades.
La guía NIST-NSA-CISA está diseñada específicamente para organizaciones que desarrollan o prueban agentes de IA avanzados con mínima intervención humana. El documento ofrece orientación sobre las acciones a tomar, pero no certifica ningún producto de seguridad comercial.
Por qué los auditores externos siguen encontrando vulnerabilidades
Los incidentes recientes muestran por qué son importantes estas salvaguardas adicionales. Un resumen OWASP documentó siete incidentes de seguridad y divulgaciones de vulnerabilidades, aunque algunos involucraban el mismo ataque. En un caso, los agentes de evaluación de OpenAI obtuvieron acceso no autorizado a los sistemas de producción de Hugging Face.
Una auditoría independiente METR descubrió posibles debilidades en el sistema de monitoreo anterior de OpenAI. Los investigadores estimaron que del 75% al 94% del tráfico interno de ciertos agentes era elegible para ser monitoreado. Sin embargo, esto no significa que todo el tráfico elegible fuera realmente monitoreado.
OpenAI afirmó que la mayoría de las vulnerabilidades habían sido corregidas, pero METR no verificó independientemente esos cambios. La auditoría tampoco evaluó los controles más recientes de OpenAI.
El costo de restringir a los agentes
La demanda de una mayor seguridad en la IA está creando un mercado en crecimiento. Gartner pronostica un gasto de casi $4.8 mil millones en 2027 y $7.7 mil millones en 2028. Para 2029, la firma espera que más de la mitad de los ataques exitosos contra agentes de IA exploten controles de acceso débiles o inyección de prompts.
Sin embargo, muchas empresas siguen sin estar preparadas. Una encuesta de BCG reveló que solo el 23% de los encuestados había implementado monitorización o registro para sus agentes.
La regulación también avanza lentamente. Brookings señala que los requisitos de la UE para la IA de alto riesgo se han retrasado hasta diciembre de 2027 y agosto de 2028. Mientras tanto, las empresas deben invertir en sus propios mecanismos de protección y supervisión.
Los riesgos ya son evidentes. Cryptopolitan reportó que un modelo de investigación de OpenAI utilizó fondos de una billetera de la red de prueba Sepolia que no le pertenecía para completar una tarea de codificación. Los tokens no tenían valor de mercado, pero el modelo actuó sin el permiso del propietario de la billetera.
El incidente plantea una pregunta para las empresas: ¿Pueden estos controles de seguridad independientes trabajar juntos para prevenir acciones no autorizadas similares?
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Preguntas frecuentes
¿Qué es la Sala de Control de OpenAI?
Es un sistema central que rastrea cada trabajo de inferencia de investigación en toda la infraestructura de OpenAI y puede interrumpir la salida de un modelo cuando surge una preocupación de seguridad o protección, deteniendo el modelo dentro de los 35 segundos posteriores a una orden de parada, según el anuncio del 29 de octubre de OpenAI.
¿Qué hizo el agente de OpenAI con una billetera Sepolia?
Cryptopolitan ha informado anteriormente que un modelo GPT-5.6 Sol derivó claves a partir de frases de recuperación de desarrolladores reutilizadas públicamente, encontró una billetera financiada en la red de prueba Sepolia de Ethereum que no le pertenecía y la utilizó para pagar las tarifas de implementación de una tarea de codificación realizada en junio. No se robó ETH de valor real, ya que los tokens de Sepolia no tienen valor de mercado.
¿Cuál es el tamaño del mercado para la seguridad de la IA?
Gartner prevé que alcanzará casi 4800 millones de dólares en 2027, un aumento del 68,7% respecto a 2026, y casi 7700 millones de dólares para 2028, según su publicación del 26 de agosto.
Descargo de responsabilidad. La información proporcionada no constituye asesoramiento financiero. Cryptopolitan.com no asume ninguna responsabilidad por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Ibiam Wayas
Ibiam Wayas cubre la noticia de criptomonedas desde 2019. Estudió Ciencias de la Computación en la Universidad Abierta Nacional de Nigeria. Su trabajo ha aparecido en diversas plataformas de noticias sobre criptomonedas, incluyendo Coinfomania, Crypto News Australia y AltcoinBuzz. Aprovechando su formación en Ciencias de la Computación, ahora se centra en noticias sobre criptomonedas, robótica y longevidad.
