Anthropic perd un autre chercheur, et celui-ci prédit la fin de l'humanité à cause de l'IA

Anthropic perd un autre chercheur en sécurité. Joe Tenton a déclaré avoir quitté l'entreprise il y a deux semaines pour rejoindre METR, un groupedent qui teste les risques liés aux systèmes d'IA avancés.

Joe avait prévu d'expliquer cette décision plus tard, mais la démission de Jacob cette semaine a changé la donne. Il a déclaré :

« J’avais prévu d’écrire plus en détail sur cette décision à un moment donné, mais la démission de Jacob cette semaine m’a donné envie d’en dire plus maintenant. »

Joe estime que les grands laboratoires d'IA créent un niveau de danger sans précédent pour la société, affirmant que les capacités de l'IA progressent à une vitesse fulgurante tandis que les entreprises tentent d'aller encore plus vite.

Leur objectif est de construire des systèmes capables d'améliorer eux-mêmes la recherche en IA et, à terme, d'atteindre la « superintelligence ». Joe a averti que le succès pourrait rendre ces progrès incontrôlables pour l'homme.

Joe affirme que les laboratoires d'IA se lancent dans une course effrénée vers des systèmes que les humains pourraient ne pas être en mesure de contrôler

Joe a déclaré que d'ici quelques années, nous pourrions vivre avec des agents d'IA plus intelligents que tous les humains. Ces systèmes pourraient également développer des objectifs incompatibles avec ceux des personnes qui les supervisent. Si leurs capacités deviennent troptronpour être contrôlées, il craint que les conséquences ne soient désastreuses. « L'humanité pourrait ne pas survivre à cette transition », a-t-il écrit.

Il a affirmé que la concurrence aggrave le problème. Tout laboratoire de pointe qui ralentit ses recherches risque de perdre du terrain face à un concurrent. Joe estime que cette pression pousse les entreprises à investir moins qu'elles ne le devraient dans la sécurité.

Il a fait référence à quelques cas récents. Plusieurs centaines d'agents d'OpenAI ont été victimes d'un piratage informatique lié d'une manière ou d'une autre à Hugging Face. Des modèles anthropiques auraient également eu recours à l'ingénierie sociale contre des individus en ligne.

Joe affirme qu'Anthropic n'a pas rencontré de cas aussi dommageable que celui de Hugging Face, même s'il attribue cela en partie à la chance.

Si les progrès se poursuivent à un rythme aussi rapide, Joe estime que nous devons nous attendre à desdentencore plus dangereux. Il prédit que, d'ici quelques années, l'humanité sera incapable de gérer les systèmes d'IA créés durant cette période.

Enfin, Joe a abordé le problème auquel sont confrontés les ingénieurs en sécurité dans les entreprises de pointe. Dans les deux cas, soit la démission peut favoriser l'embauche de personnes plus négligentes, soit le maintien en poste implique de travailler sur un système susceptible de causer des dommages considérables.

Il a déclaré que de nombreux anciens collègues d'Anthropic étaient effrayés par ce qu'ils développaient. Joe a cité le nom d'Evan Hubinger, son ancien supérieur hiérarchique. Evan estime à plus de 10 % la probabilité que l'IA anéantisse l'humanité. Joe a précisé qu'Evan travaillait sur ces problématiques depuis près de dix ans, bien avant que les grands modèles de langage ne deviennent un secteur d'activité majeur.

Les PDG d'Anthropic, d'OpenAI et de Google DeepMind, filiale d'Alphabet (NASDAQ : GOOGL, GOOG), ont également soutenu une déclaration qualifiant le risque d'extinction de l'IA de priorité mondiale. Joe a indiqué que ces préoccupations sont partagées au sein même de ces entreprises. Il a ajouté que les humains choisissent de développer cette technologie et qu'ils pourraient opter pour une autre voie.

Joe Biden privilégie les contrôles externes de l'IA tandis que Donald Trump se concentre sur la lutte contre la Chine

Joe a dit :

« Une question se pose : devons-nous gérer activement le rythme de progression des capacités, et si oui, dans quelle mesure ? Je pense que même le simple fait de maintenir les progrès de l’IA au rythme actuel, plutôt qu’au rythme beaucoup plus rapide visé par les entreprises, pourrait s’avérer bénéfique. »

Les problèmes majeurs résident dans le soutien politique et la protection juridique. Les entreprises qui s'accordent pour ralentir le développement pourraient se heurter à des problèmes de concurrence. Joe a indiqué que cela rend une protection juridique indispensable si les décideurs politiques souhaitent que les laboratoires concurrents se modèrent.

Il doute également que les gouvernements agissent tant que les développements de pointe restent dissimulés au public. Joe a averti qu'un laboratoire pourrait connaître un bond en avant soudain en matière de renseignement ou perdre le contrôle d'un système sans que personne d'extérieur ne s'en aperçoive.

D'après lui, son nouveau poste chez METR sera axé surdent . Il souhaite que les contrôles externes deviennent suffisamment courants pour modifier les incitations offertes par l'entreprise.

Joe souhaiterait également des exigences de divulgation plus strictes. Par exemple, les laboratoires d'IA devraient divulguer toutes les avancées réalisées et leurs démarches d'amélioration continue, ainsi que tous lesdentet incidents évités de justesse.

Ledent américain Donald Trump a rejeté les avertissements concernant l'extinction de l'humanité. Interrogé sur le risque que l'IA puisse anéantir l'humanité, il a répondu : « Non, cela ne m'inquiète pas. ».

Donald a déclaré que sa principale préoccupation était de remporter la course internationale à l'IA. « Je crains que si nous ne gagnons pas dans ce domaine, nous nous retrouvions dans une situation très délicate », a-t-il déclaré aux journalistes jeudi. « Nous avons actuellement une avance considérable sur la Chine, disons d'un an, ce qui est loin d'être négligeable. »

Les États-Unis et la Chine se disputent le leadership en matière d'IA, les modèles chinois gagnant en performance et séduisant un nombre croissant d'utilisateurs à travers le monde. Donald Trump a fait ces déclarations après que des chercheurs de laboratoires de pointe, tels qu'Anthropic et OpenAI, ont multiplié les mises en garde publiques concernant la rapidité du développement de l'IA.