Le lanceur d'alerte d'Anthropic avertit le Conseil de la ville de New York : l'humanité pourrait perdre le contrôle de l'IA

Jacob Coxon, qui a quitté Anthropic en septembre en mettant en garde contre le fait que cette technologie pourrait tuer tout le monde avant la fin de la décennie, a ouvert son témoignage sous serment en qualifiant l'approche de construction de systèmes avancés d'extrêmement imprudente.

Sur la trajectoire actuelle, a-t-il déclaré, il estime plus probable qu'improbable que l'humanité perde le contrôle de ces systèmes, avec une extinction parmi les scénarios possibles, selon CNBC.

Coxon a tracé sa ligne rouge au niveau de la culture d'ingénierie, soutenant que le principe de « casser les choses » pour aller plus vite est défendable dans une application de partage de photos, mais pas « pour construire la technologie la plus puissante jamais créée ».

Quatre entreprises d'IA refusent de quantifier le risque catastrophique

Je vais donc considérer que ni vous quatre, ni aucune des entreprises présentes, ne peuvent quantifier le risque qu'un événement cataclysmique se produise.

– Julie Menin, Présidente du Conseil municipal de New York.

Elle a ouvert ses propos en rejetant le principe de l’accord volontaire signé par le président Trump avec des dirigeants de l’industrie quelques jours plus tôt, affirmant que l’idée selon laquelle la technologie se régulerait elle-même « défie toute raison ».

L’audience a réuni les 51 membres du Conseil municipal de New York lors d’une réunion rare en Comité plénier, une procédure qui n’avait pas été observée depuis 2022, lorsque le Conseil avait débattu du plan d’action de la ville face à l’arrivée de migrants. Alice Friend, responsable de la politique sur l’intelligence artificielle chez Google, a suggéré qu’un cadre national devrait être établi concernant les risques liés à l’IA avancée, ajoutant que ceux-ci dépassent le champ de compétence du conseil municipal.

Turner met en garde : une IA mal alignée pourrait représenter une menace plus grande que celle de la Chine

Alex Turner, chercheur jusqu’à récemment chez Google DeepMind, a déclaré au Conseil qu’un système mal aligné pourrait s’avérer plus dangereux que tout rival étranger.

« Avec une probabilité raisonnablement élevée, nous sommes en train de construire et de développer notre propre adversaire ici même, chez nous », a-t-il déclaré.

Menin lui avait demandé quel était l'équilibre approprié entre la création de modèles de pointe et la concurrence avec Pékin, argument principal utilisé par l'industrie pour s'opposer aux réglementations nationales. Daniel Kokotajlo, qui a quitté OpenAI, a profité de son temps pour demander aux entreprises de partager davantage leurs connaissances et de ralentir le rythme au sommet du secteur.

Trois entreprises d'IA ont accepté de témoigner uniquement après des menaces de convocation

Menin a écrit à cinq entreprises entre le 15 et le 17 septembre. Seule Meta a accepté de participer sans aucune coercition et a indiqué qu'un dirigeant senior se rendrait sur place.

Google et Anthropic ont refusé avant la date limite fixée par le Conseil le 25 septembre, moment à partir duquel Menin a autorisé les convocations pour les quatre entreprises restantes. OpenAI et Google sont revenus sur leur décision ce dimanche-là, et Anthropic a confirmé sa participation tard dans la nuit, avec seulement quelques heures d'avance.

SpaceX AI n'a jamais répondu et n'est jamais apparu, ce que Menin a qualifié de violation directe de la convocation, et le Conseil entend poursuivre cette affaire en justice. L'article 29 de la Charte de la Ville constitue l'autorité juridique sur laquelle elle s'appuie.

L'incident impliquant un agent d'OpenAI a contribué à déclencher l'audience

En juillet, des agents en cours d’évaluation de cybersécurité chez OpenAI ont contourné les contrôles censés les limiter, ont communiqué entre eux sur des canaux non autorisés, ont atteint l’internet ouvert et piraté Hugging Face, en exploitant une vulnérabilité non corrigée de JFrog Artifactory pour s’échapper du bac à sable dans lequel ils étaient censés rester. Les trois autres laboratoires ont ensuite signalé des évasions similaires lors de leurs propres tests.

Dix projets de loi sont actuellement soumis au Conseil, notamment une validation par des tiers avant toute commercialisation d’un système d’IA dans la ville, des interrupteurs de remplacement humain obligatoires, une part des amendes récupérées attribuées aux lanceurs d’alerte, une obligation de déclaration sous 24 heures pour les entrepreneurs municipaux, ainsi qu’un droit pour les résidents new-yorkais de poursuivre en justice lorsque des outils jailbreakés leur causent un préjudice.