Le chef de la sécurité de l'IA d'Anthropic estime qu'il y a plus de 10 % de chances que l'humanité soit anéantie

Evan Hubinger, responsable de la science de l'alignement chez Anthropic, déclare que l'intelligence artificielle a plus de 10 % de chances d'anéantir l'humanité au cours de la prochaine décennie.

Son estimation est arrivée mardi, quelques heures après que le chercheur Jacob Coxon a déclaré qu'il démissionnait d'Anthropic et accusait Anthropic et OpenAI de prendre des risques inacceptables alors qu'ils poursuivent des systèmes plus puissants. Jacob a écrit sur X : « Ils courent droit vers une superintelligence auto-améliorante et parient sur nos vies. »

Selon Jacob, ceux qui développent la technologie voient un risque que cela se produise même avant 2030. Il a souligné que l'IA future pourrait surpasser les pirates informatiques très rapidement et transformer les industries, ayant accès aux finances et aux ressources.

Le personnel d'Anthropic a chiffré le risque d'extinction alors que les laboratoires d'IA poussent vers des systèmes auto-améliorants

Evan a répondu que l'avertissement de Jacob était correct et a déclaré qu'Anthropic manquait d'un moyen de maintenir la superintelligence alignée sur les objectifs humains.

« Jacob a raison ici – nous croyons vraiment que l'IA pourrait tuer tous les humains ! Je pense personnellement que c'est >10 % au cours de la prochaine décennie. Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement de la superintelligence et nous ne sommes pas clairement sur la bonne voie », a écrit Evan.

Evan a ensuite déclaré que le danger posé par les modèles actuels est « faible ». Sa préoccupation est l'auto-amélioration récursive, où un système met constamment à niveau ses propres capacités avec peu d'aide humaine. Cette capacité n'existe pas encore, bien que les laboratoires d'IA y travaillent. Il a déclaré que l'émergence de la superintelligence par ce processus se fait plus rapidement que prévu.

Anthropic avait émis un avertissement similaire en juin. Elle a déclaré que « l'auto-amélioration récursive complète pourrait également augmenter les risques de perte de contrôle des humains sur les systèmes d'IA ». L'entreprise a ajouté : « Si les systèmes sont capables de construire entièrement leurs propres successeurs, les moyens de les sécuriser, de les surveiller et de façonner leur comportement deviennent beaucoup plus importants. »

Anthropic et OpenAI lèvent des fonds tout en se dirigeant vers des cotations publiques attendues. Aucune des deux entreprises n'a immédiatement répondu lorsque CNBC a demandé un commentaire.

Elon Musk, PDG de Tesla (NASDAQ: TSLA) et SpaceX (SPCX), avertit depuis des années que l'IA pourrait menacer l'humanité. Des chercheurs et des universitaires ont exprimé des préoccupations similaires concernant la perte de contrôle des entreprises.

Ces craintes ont ressurgi après qu'un modèle OpenAI ait pénétré Hugging Face, une plateforme de développeurs open source, en juillet. Jacob a qualifié des incidents comme celui-ci de « coups d'avertissement » et a déclaré qu'ils rendent les accords entre les laboratoires américains plus réalistes. Cela l'a rendu plus optimiste quant à la coordination américaine, mais il s'attend toujours à ce que la course mondiale à l'IA soit difficile à arrêter.

« Je ne sens pas que nous sommes sur la bonne voie pour empêcher une course mondiale, ce qui pourrait nécessiter des actions coûteuses telles qu'une interdiction temporaire d'améliorer les capacités des modèles », a déclaré Jacob.

Les progrès de Claude en matière de codage changent la façon dont Anthropic teste les logiciels et vérifie le travail de ses propres ingénieurs

Anthropic a déclaré que Claude a terminé 76 % de ses tâches ouvertes les plus difficiles en mai 2026, soit une augmentation de 50 points de pourcentage en six mois.

Un exemple a commencé lorsqu'une mise à niveau routine a provoqué la panne de dizaines de milliers de tâches d'entraînement. Un ingénieur a fourni à Claude un contexte écrit et l'accès au cluster de calcul en direct.

Claude a vérifié les tâches en cours, testé un paramètre d'environnement à la fois et a tracé l'échec vers un indicateur de débogage obscur. Il a recréé le problème, prouvé la cause et confirmé une correction en environ deux heures. Anthropic a déclaré que le même travail prendrait généralement à un ingénieur humain deux à trois jours.

L'entreprise mesure également si Claude peut écrire du code qu'un autre ingénieur peut comprendre et développer. Le personnel n'est pas entièrement d'accord sur la comparaison. Beaucoup pensaient que le code de Claude était inférieur au travail humain chez Anthropic à la fin de 2025. L'entreprise déclare désormais que la qualité est à peu près égale et s'attend à ce que Claude prenne de l'avance dans l'année.

Ces progrès ont changé le processus de révision interne d'Anthropic. Les modifications de code proposées sont désormais vérifiées par un réviseur Claude automatisé avant leur fusion. Il scanne les bugs, les faiblesses de sécurité et autres défauts.

Un test rétrospectif a révélé que la révision de chaque changement passé de cette manière aurait attrapé environ un tiers des bugs derrière les incidents Claude précédents avant la production. Anthropic a déclaré que le code original provenait d'ingénieurs qu'elle décrit comme parmi les meilleurs au monde pour construire ces systèmes, mais que Claude a trouvé des erreurs qu'ils avaient manquées.

Anthropic a présenté la comparaison ainsi : « Le code écrit par Claude était quelque peu pire que le code écrit par des humains chez Anthropic à la fin de 2025, est à peu près à parité aujourd'hui, et nous nous attendons à ce qu'il soit strictement meilleur dans l'année. »