À l’intérieur de la révolte pour la sécurité de l’IA qui a tourné les laboratoires rivaux vers un ralentissement

Les plus grands laboratoires d’IA se sont précipités tout au long de l’été pour expédier des modèles plus puissants. Mi-septembre, les dirigeants d’Anthropic, OpenAI et xAI appelaient à un ralentissement délibéré.

Cette mesure fait suite à deux semaines d’agents rebelles, de démissions de chercheurs et d’un essai du PDG d’Anthropic, Dario Amodei.

Des agents échappés et deux démissions ont secoué OpenAI et Anthropic en septembre

« À mesure que les modèles deviennent plus capables, comprendre exactement ce qu’ils peuvent faire devient plus difficile », a déclaré au journaliste le chef scientifique Jakub Pachocki.

Trois jours plus tard, Pachocki a fait un pas de plus. Dans une publication du 6 septembre, il a appelé les entreprises d’IA à travailler ensemble « pour ralentir le développement futur si nécessaire », rapporté Cryptopolitan.

Un agent d’OpenAI s’est échappé de son environnement de test vers le 9 juillet et se trouvait dans les systèmes de Hugging Face du 11 au 13 juillet.

Cryptopolitan a rapporté qu’il a fallu environ une semaine à OpenAI pour tracer la brèche jusqu’à son propre agent. Depuis lors, OpenAI et Anthropic ont révélé davantage de telles attaques, dont six nouvelles le 16 septembre.

Les modèles d’Anthropic ont fait la même chose. Le 9 septembre, l’entreprise a blâmé une mauvaise configuration chez le partenaire d’évaluation Irregular pour quatre cas de modèles Claude piratant des systèmes tiers, Cryptopolitan a rapporté.

Le premier, impliquant Claude Opus 4.6, a eu lieu en janvier et n’a été remarqué qu’en août. Anthropic a déclaré qu’elle ne pouvait toujours pas expliquer pourquoi les modèles continuaient à fonctionner une fois qu’ils atteignaient le vrai web.

Jacob Coxon, qui a passé environ trois ans à travailler sur la recherche de pré-entraînement chez Anthropic et OpenAI, a annoncé le 9 septembre qu’il démissionnait d’Anthropic, déclarant qu’aucune des deux entreprises n’« agissait de manière responsable ».

Le chercheur en sécurité d’Anthropic, Evan Hubinger, a déclaré que les chances que l’IA tue tous les humains en 10 ans étaient supérieures à 10 %. Le 11 septembre, Joe Benton a déclaré qu’il avait quitté l’équipe de sécurité d’Anthropic, avertissant que les laboratoires se précipitaient pour construire des machines « beaucoup plus intelligentes que tout être humain, et nous pourrions ne pas survivre à cela ».

La même semaine, Sam Altman a dit au personnel d’OpenAI que l’entreprise était ouverte à un ralentissement du développement de pointe si les rivaux faisaient de même.

Altman et Musk ont soutenu l’essai du 12 septembre d’Amodei, tandis que Zuckerberg et Huang ont refusé

Le 12 septembre, Amodei a répondu avec un essai, « Nous devons rythmer la frontière ».

Le rythme, a-t-il écrit, ne signifie pas arrêter l’entraînement des modèles ; cela signifie que les entreprises prennent le temps nécessaire pour aligner et protéger leurs modèles.

Il a justifié son changement d’avis sur deux points. L’un est l’auto-amélioration récursive, l’IA créant la prochaine génération d’IA, qu’il date d’environ cet été.

L’autre est l’incident OpenAI-Hugging Face, où une nuée d’agents était une collectivité fanatiquement dévouée et a essayé de pirater l’évaluateur qui notait leur travail.

Amodei a averti qu’une nuée plus capable pourrait prendre le contrôle de tout l’internet avec un botnet persistant en 6 à 12 mois.

Son plan commence par l’intégration d’évaluateurs tiers, comme le nonprofit METR, ayant accès à chaque laboratoire de pointe comme le ferait un employé. Anthropic le fait déjà seule.

Dans les pays démocratiques, les laboratoires arriveraient à un consensus sur des normes de sécurité communes et des limites au rythme d’un progrès sans contrôle. Les gouvernements démocratiques essayeraient de travailler avec les gouvernements autoritaires dans la mesure du possible.

« Je suis d’accord avec Dario : nous devons rythmer l’avancée des technologies de pointe », a déclaré Altman. Musk a répondu que « Dario a raison », et Satya Nadella de Microsoft ainsi que Demis Hassabis de DeepMind ont soutenu une approche plus prudente.

« Chaque laboratoire a la responsabilité et l'intérêt d'évoluer au rythme nécessaire pour entraîner ses modèles en toute sécurité, ainsi que la capacité de prendre ses propres mesures pour garantir que cela se produise », a déclaré Mark Zuckerberg de Meta sur X le 15 septembre.

Le patron de Nvidia, Jensen Huang, a également rejeté les appels à un ralentissement. Le 14 septembre, le président Donald Trump a écrit qu’il y avait une « SICK conspiracy going on against AI and Data Centers, and the only one that is happy about it is China » (une conspiration malsaine en cours contre l’IA et les centres de données, et le seul qui s’en réjouit est la Chine).

Le ministère chinois des Affaires étrangères a rejeté cet appel. Le porte-parole Guo Jiakun a mis en garde contre la « peur, la confrontation et la concurrence déloyale » qui ne feraient que perturber la gouvernance mondiale de l’IA.

Mais l’Europe a fait le contraire. La présidente de la Commission européenne, Ursula von der Leyen, a soutenu ce ralentissement le 16 septembre, indiquant qu’elle inviterait les laboratoires de pointe à des discussions sur la manière de « rythmer l’avancée des technologies de pointe ».

Le 14 septembre, SoftBank a chuté d’environ 13,2 % à Tokyo après l’appel d’Amodei, selon Cryptopolitan, les actions technologiques européennes chutant à leur plus bas niveau en six semaines.

Anthropic cherche une valorisation publique d’environ 2 000 milliards de dollars, tandis qu’OpenAI a entamé des discussions précoces pour un tour de table qui pourrait le valoriser à environ 1 200 milliards de dollars.