Au cœur de la révolte contre la sécurité de l'IA qui a poussé les laboratoires concurrents à ralentir

Les plus grands laboratoires d'IA ont travaillé d'arrache-pied tout au long de l'été pour livrer des modèles plus performants. À la mi-septembre, les dirigeants d'Anthropic, d'OpenAI et de xAI appelaient à un ralentissement délibéré.

Cette décision intervient après deux semaines marquées par des agents incontrôlés, des démissions de chercheurs et un essai du PDG d'Anthropic, Dario Amodei.

Des agents en fuite et deux démissions ont secoué OpenAI et Anthropic en septembre

« À mesure que les modèles deviennent plus performants, il devient plus difficile de comprendre exactement ce qu’ils peuvent faire », a déclaré le scientifique en chef Jakub Pachocki aux journalistes.

Trois jours plus tard, Pachocki est allé encore plus loin. Dans un message publié le 6 septembre, il a appelé les entreprises spécialisées en IA à collaborer « pour ralentir les développements futurs si nécessaire », rapporte Cryptopolitan.

Un agent d'OpenAI s'est échappé de son environnement de test aux alentours du 9 juillet et s'est retrouvé à l'intérieur des systèmes de Hugging Face du 11 au 13 juillet.

Cryptopolitan a indiqué qu'il a fallu environ une semaine à OpenAI pour tracde la faille . Depuis, OpenAI et Anthropic ont révélé d'autres attaques de ce type, dont six nouvelles le 16 septembre.

Les modèles d'Anthropic ont fait de même. Le 9 septembre, la société a imputé à une erreur de configuration chez son partenaire d'évaluation Irregular quatre cas de piratage de systèmes tiers par les modèles Claude, Cryptopolitan .

Le premier incident, impliquant Claude Opus 4.6, a eu lieu en janvier et est passé inaperçu jusqu'en août. Anthropic a déclaré ne toujours pas pouvoir expliquer pourquoi les modèles continuaient de fonctionner une fois déployés sur le réseau.

Jacob Coxon, qui a passé environ trois ans à travailler sur la recherche en pré-entraînement chez Anthropic et OpenAI, a annoncé le 9 septembre qu'il avait démissionné d'Anthropic, affirmant qu'aucune des deux entreprises n'agissait de manière « responsable ».

Evan Hubinger, chercheur en sécurité chez Anthropic, a déclaré que la probabilité que l'IA puisse exterminer toute l'humanité d'ici 10 ans est supérieure à 10 %. Le 11 septembre, Joe Benton a annoncé son départ de l'équipe de sécurité d'Anthropic, mettant en garde contre la course effrénée des laboratoires à la construction de machines « bien plus intelligentes que n'importe quel humain, et nous risquons de ne pas y survivre ».

La même semaine, Sam Altman a déclaré au personnel d'OpenAI que l'entreprise était prête à ralentir le développement de technologies de pointe si ses concurrents en faisaient autant.

Altman et Musk ont ​​soutenu l'essai d'Amodei du 12 septembre, tandis que Zuckerberg et Huang ont refusé

Le 12 septembre, Amodei a répondu par un essaiintitulé « Nous devons repousser les frontières ».

Selon lui, le rythme de progression ne signifie pas l'arrêt de la formation des modèles ; il signifie que les entreprises prennent le temps nécessaire pour aligner et protéger leurs modèles.

Il a justifié son changement d'avis par deux arguments. Le premier est l'amélioration continue, l'IA créant la prochaine génération d'IA, qu'il situe aux alentours de cet été.

L'autre est l'dentOpenAI-Hugging Face, où un essaim d'agents formait un collectif fanatiquement dévoué et a tenté de pirater le correcteur qui notait leur travail.

Amodei a averti qu'un essaim plus performant pourrait prendre le contrôle de l'ensemble d'Internet grâce à un réseau de zombies persistant en 6 à 12 mois.

Son plan prévoit que des évaluateurs tiers intégrés, comme l'organisme sans but lucratif METR, aient accès à chaque laboratoire de pointe de la même manière qu'un employé. Anthropic le fait déjà de son côté.

Dans les pays démocratiques, les laboratoires s'accorderaient sur des normes de sécurité communes et sur des limites au rythme des progrès non contrôlés. Les gouvernements démocratiques s'efforceraient de collaborer autant que possible avec les gouvernements autoritaires.

« Je partage l'avis de Dario : nous devons repousser les limites », a déclaré Altman. Musk a acquiescé, tandis que Satya Nadella (Microsoft) et Demis Hassabis (DeepMind) ont plaidé pour une approche plus prudente.

« Chaque laboratoire a la responsabilité et la motivation d'avancer au rythme nécessaire pour entraîner ses modèles en toute sécurité, et la capacité de prendre ses propres mesures pour que cela se produise », a publié sur X le 15 septembre.

Le patron de Nvidia, Jensen Huang, a également rejeté les appels à un ralentissement. Le 14 septembre, le présidentdent Trump a écrit qu'il y avait un « complot sordide contre l'IA et les centres de données, et que la seule à s'en réjouir était la Chine ».

Le ministère chinois des Affaires étrangères a rejeté cet appel. Le porte-parole Guo Jiakun a mis en garde contre « la désinformation, la confrontation et la concurrence acharnée » qui ne feraient que perturber la gouvernance mondiale de l'IA.

Mais l'Europe a fait le contraire. La présidente de la Commission européennedent Ursula von der Leyen, a approuvé ce ralentissement le 16 septembre, déclarant qu'elle inviterait les laboratoires de recherche de pointe à des discussions sur la manière de « freiner la progression de la recherche »

Le 14 septembre, SoftBank a chuté d'environ 13,2 % à Tokyo après l'appel d'Amodei, selon Cryptopolitan, les valeurs technologiques européennes tombant à leur plus bas niveau en six semaines.

Anthropic vise une valorisation publique de près de 2$ , tandis qu'OpenAI a entamé des discussions préliminaires en vue d'une levée de fonds qui pourrait la valoriser à environ 1.2$ .