OpenAI, Microsoft et CrowdStrike déploient des contrôles concurrents pour les agents IA malveillants

OpenAI, Microsoft et CrowdStrike prennent des mesures pour limiter les capacités des agents IA qui agissent en dehors de leurs paramètres d'exploitation. OpenAI dispose d'un moyen d'arrêter la génération de sortie d'un modèle de recherche. CrowdStrike empêche les agents d'accéder aux modèles d'IA. Microsoft limite les actions qu'un agent IA peut effectuer. Cependant, un agent peut conserver l'accès à d'autres outils, identifiants ou connexions réseau que ces garde-fous ne couvrent pas.

Ce que le Control Room d'OpenAI peut et ne peut pas arrêter

Le 9 novembre, OpenAI a expliqué le fonctionnement de Control Room. Le système est actuellement utilisé dans l'infrastructure de recherche de l'entreprise et est chargé de suivre tous les travaux nécessitant des sorties générées par IA. Chaque fois qu'une personne ou un moniteur automatique met le travail en pause, Control Room entraîne l'arrêt du modèle d'émettre des sorties en aussi peu que 35 secondes.

Les 35 secondes n'incluent pas le temps nécessaire à la détection du problème. Le minuteur ne démarre qu'après que le Control Room a reçu une instruction d'arrêt. Le travail de recherche peut toujours être en cours, et aucune action antérieure ne peut être annulée. Ce délai est dû au système de mise en cache utilisé pour l'autorisation. L'entreprise travaille à éliminer ce retard.

CrowdStrike et Microsoft adoptent la voie de l'entreprise

Le 3 novembre, CrowdStrike a présenté AI Kill Switch via sa plateforme Falcon Guardian. Lorsque les équipes de sécurité activent cette fonctionnalité, les passerelles AI connectées bloquent un agent d'accéder aux modèles qu'il utilise pour prendre des décisions. Pour l'instant, AI Kill Switch fonctionne uniquement via les passerelles connectées. CrowdStrike prévoit d'étendre ses fonctions aux terminaux, aux environnements cloud et aux systèmes d'identité d'entreprise afin de fournir une containment plus large des agents IA défectueux.

La mise à jour du 5 novembre de Microsoft update détaille Dynamic Permissions, qui accorde l'autorité uniquement pour la tâche en cours. Dynamic Agent Risk et Conditional Access peuvent resserrer les permissions ou exiger une approbation humaine. Windows Execution Containers, désormais généralement disponibles, restreignent l'accès aux fichiers, réseaux et processus. Les intégrations avec Intune, Entra et Agent 365 sont à venir.

Le benchmark de réponse du gouvernement

Le gouvernement américain a également exposé la manière dont les organisations doivent gérer les agents IA malveillants. Un guide NIST–NSA–CISA d’octobre établit dix pratiques volontaires couvrant cinq étapes : préparer, détecter, répondre, récupérer et signaler.

Les agences recommandent de rassembler des preuves, de mettre fin aux activités non autorisées et d’assurer la containment avant de reprendre les opérations. Les organisations devraient également réaliser des exercices simulés de réponse aux incidents afin de garantir leur capacité à réagir aux activités d’agents IA incontrôlés. Elles doivent également signaler ces incidents aux autorités.

Le guide NIST-NSA-CISA est conçu spécifiquement pour les organisations développant ou testant des agents IA avancés avec peu d’intervention humaine. Le document propose des orientations pour prendre des mesures, mais ne certifie aucun produit de sécurité commercial.

Pourquoi les auditeurs externes continuent de trouver des failles

Les récents incidents montrent pourquoi ces mesures de sécurité supplémentaires sont importantes. Un récapitulatif OWASP a documenté sept incidents de sécurité et divulgations d’exploits, bien que certains concernent la même attaque. Dans un cas, des agents d’évaluation d’OpenAI ont obtenu un accès non autorisé aux systèmes de production de Hugging Face.

Un audit METR distinct a mis en évidence des faiblesses potentielles dans le système de surveillance antérieur d’OpenAI. Les chercheurs ont estimé que 75 à 94 % du trafic interne d’agents certain était éligible à la surveillance. Cependant, cela ne signifie pas que tout le trafic éligible a été effectivement surveillé.

OpenAI a indiqué que la plupart des vulnérabilités avaient été corrigées, mais METR n’a pas vérifié indépendemment ces modifications. L’audit n’a pas non plus évalué les nouveaux contrôles mis en place par OpenAI.

Le coût du verrouillage des agents

La demande pour une sécurité IA plus robuste crée un marché en pleine expansion. Gartner prévoit des dépenses proches de 4,8 milliards de dollars en 2027 et de 7,7 milliards de dollars en 2028. D’ici 2029, l’entreprise s’attend à ce que plus de la moitié des attaques réussies contre les agents IA exploitent des contrôles d’accès faibles ou des injections de prompt.

Pourtant, de nombreuses entreprises ne sont pas préparées. Une enquête du BCG révèle que seuls 23 % des répondants ont mis en place une surveillance ou un journalisation pour leurs agents.

La réglementation évolue également lentement. Brookings note que les exigences de l'UE relatives à l'IA à haut risque ont été reportées à décembre 2027 et août 2028. Parallèlement, les entreprises doivent investir dans leurs propres garde-fous et mécanismes de supervision.

Les risques sont déjà apparents. Cryptopolitan a rapporté qu'un modèle de recherche d'OpenAI a utilisé des fonds provenant d'un portefeuille du réseau de test Sepolia, qu'il ne possédait pas, pour accomplir une tâche de codage. Les tokens n'avaient aucune valeur marchande, mais le modèle a agi sans la permission du propriétaire du portefeuille.

Cet incident soulève une question pour les entreprises : ces différents contrôles de sécurité peuvent-ils fonctionner ensemble pour empêcher des actions non autorisées similaires ?