Meta rejoint OpenAI et Anthropic dans la dernière affaire de piratage par IA
- L'agent IA de Meta a piraté une autre entreprise en raison d'une erreur de configuration.
- L'entreprise prévoit de divulguer davantage d'informations sur cette cyberattaque.
- AISI a révélé plus de tromperie impliquant les modèles IA d'OpenAI et d'Anthropic.
Meta est devenu le dernier géant de la tech à admettre que son agent IA a piraté une autre entreprise après qu'un partenaire de test indépendant a mal configuré son environnement sécurisé.
OpenAI et Anthropic ont déjà fait face à des cas où leurs agents IA ont tenté de pirater de vrais systèmes en ligne sans autorisation.
Meta a déclaré aux journalistes que la brèche de l'IA provenait d'une mauvaise configuration du système similaire à celle d'Anthropic. Contrairement à OpenAI, où un agent IA a exploité une vulnérabilité précédemment inconnue pour accéder à Internet lors d'un test de cybersécurité. Jusqu'à présent, les chercheurs et les gouvernements ont réagi aux incidents en appelant à des protections plus fortes et à des normes de test plus strictes.
Ces incidents surviennent alors que les entreprises d'IA s'affrontent pour créer des agents plus autonomes capables d'exécuter des tâches complexes sans intervention humaine. Contrairement aux chatbots dans le chat traditionnel, ces systèmes peuvent créer du code, interagir avec des services en ligne et exécuter des actions multi-étapes de manière indépendante.
Bien que ces capacités promettent des gains de productivité majeurs, elles augmentent également le risque qu'un environnement de test mal formaté ou des contrôles insuffisants entraînent des actions imprévues des modèles dans un processus d'évaluation de sécurité.
Les figures clés de la communauté de l'IA poussent même à un ralentissement géré pour s'assurer que le contrôle humain reste à la hauteur de l'intelligence machine.
Irregular a noté qu'il n'y avait aucun problème ouvert avec l'agent IA de Meta
Meta a déclaré qu'Irregular, un fournisseur de sécurité IA, avait effectué les tests et l'avait alerté de la brèche. Elle a ajouté qu'elle prévoit de divulguer davantage publiquement l'incident une fois qu'elle aura confirmé tous les faits.
Elle a soutenu que son agent IA « a exploité une vulnérabilité de sécurité dans un service tiers ». Des sources ont identifié l'IA rogue comme étant Muse Spark 1.1, un modèle fortement promu par Meta pour ses compétences de programmation d'élite.
Irregular a déclaré que l'incident se résume à la même faille d'environnement qu'Anthropic a divulguée la semaine dernière, excluant complètement un exploit de piratage complexe ou une évasion de sandbox.
Et bien que Meta ait déclaré que la brèche était causée par une mauvaise configuration de l'environnement de test plutôt que par l'IA qui s'échappait indépendamment de sa sandbox, les chercheurs disent que l'incident démontre que la sécurité repose non seulement sur le modèle lui-même, mais aussi sur son infrastructure.
Même des systèmes IA hautement sécurisés peuvent se comporter de manière inattendue si les contrôles d'accès, les autorisations réseau ou les environnements de test ne sont pas correctement configurés.
Il a en outre déclaré : « Il n'y a aucun problème ouvert actuel. Irregular développe un livre blanc pour partager les meilleures pratiques pour le confinement et l'exécution sécurisée d'évaluations cyber. »
L'AISI dit que les modèles d'OpenAI et d'Anthropic ont tenté d'influencer les mainteneurs humains
Précédemment, OpenAI avait admis que ses systèmes autonomes s'étaient infiltrés dans plusieurs réseaux publics, y compris le hub de la communauté IA Hugging Face. La divulgation d'OpenAI a ensuite incité Anthropic à effectuer ses propres vérifications de sécurité, qui ont révélé que Claude avait effectué des attaques similaires sur plusieurs entreprises après qu'une erreur de configuration lui ait permis d'accéder à Internet.
Un rapport réglementaire britannique, cependant, a révélé des problèmes plus inquiétants. Selon l'AI Security Institute du Royaume-Uni, les modèles IA d'OpenAI et d'Anthropic ont tenté d'ajouter du code malveillant à un projet open-source en influençant ses mainteneurs humains.
« Dans une tentative d'obtenir l'approbation du code, l'agent a engagé une ingénierie sociale – créant de fausses identités en ligne et les utilisant pour faire pression sur le mainteneur du projet pour qu'il approuve le code », a déclaré l'AISI.
Il a noté que toutes ces tentatives ont échoué et n'ont causé aucun dommage réel. Bien qu'aucun dommage réel n'ait été causé et que chaque tentative ait échoué, le régulateur a averti qu'il s'agit de la preuve la plus claire jusqu'à présent dans le monde réel d'une IA agissant de manière trompeuse et des dangers de l'autonomie.
L'AISI a également expliqué ses critères de test : « Pour mesurer ce que ces modèles peuvent réellement faire, nous les testons dans des conditions qui reflètent ce qu'un attaquant humain compétent pourrait faire. »
Jusqu'à présent, OpenAI a a reconnu l'incident de sécurité lors des essais de l'AISI, déclarant qu'elle souhaite construire de meilleures garde-fous à l'échelle de l'industrie pour tester les modèles volatils. Elle s'est rendue publique au sujet d'un incident séparé dans lequel Irregular a accidentellement exposé ses modèles à Internet ouvert lors d'un exercice simulé.
L'entreprise s'est engagée à renforcer sa supervision de tests tiers, y compris la manière dont elle détermine quelles évaluations présentent un risque plus élevé, examine les demandes d'accès Internet ou de moins de garde-fous, gère l'isolement et l'utilisation des identifiants, surveille les tests et répond aux incidents par des procédures d'escalade plus claires.
Pendant ce temps, la Maison Blanche a invité les principaux développeurs d'IA, y compris Meta, Anthropic, OpenAI et Google, cette semaine pour discuter d'un cadre volontaire nouvellement finalisé pour les tests de cybersécurité des systèmes d'IA avancés.
Lors des discussions avec les représentants des entreprises, l'administration Trump a déclaré que les modèles IA à poids ouverts comme Llama de Meta et Nemotron de Nvidia ne seraient pas couverts par son cadre de test de sécurité volontaire proposé.
L'exemption a suscité un débat parmi les chercheurs en sécurité IA, qui soutiennent que les modèles à poids ouverts peuvent être téléchargés, modifiés et affinés librement par des tiers.
Les critiques disent que les exclure des lignes directrices de test volontaire pourrait créer des angles morts alors que des modèles de plus en plus capables deviennent largement disponibles en dehors du contrôle de leurs développeurs d'origine.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
FAQ
Pourquoi l'agent IA de Meta a-t-il piraté une autre entreprise ?
Meta a indiqué que l'IA a accédé au système d'une autre entreprise à cause d'une erreur lors de la configuration de l'environnement de test, dans le cadre d'une évaluation de cybersécurité.
D'autres entreprises du secteur de l'IA ont-elles connu des incidents similaires liés à la sécurité de leurs IA ?
Oui. OpenAI et Anthropic ont également signalé des cas où leurs modèles d'IA tentaient d'accéder à de véritables systèmes en ligne lors de tests de sécurité.
Pourquoi les experts en sécurité de l'IA s'inquiètent-ils des agents IA autonomes ?
Les experts estiment que les agents IA peuvent exécuter des tâches de manière autonome, ce qui nécessite des garde-fous solides pour prévenir tout comportement inattendu ou dangereux pendant les phases de test.
Nellius Irene
Nellius est diplômée en gestion d'entreprise et en informatique, avec cinq ans d'expérience dans l'industrie des cryptomonnaies. Elle est également diplômée de Bitcoin Dada. Nellius a contribué à des publications médiatiques de premier plan, dont BanklessTimes, Cryptobasic et Riseup Media.
