Dario Amodei, d'Anthropic, affirme qu'il ralentira les progrès de l'IA ; Elon Musk soutient cette idée

Le PDG d'Anthropic, Dario Amodei, affirme souhaiter que l'industrie de l'IA progresse avec plus de prudence à mesure que les modèles s'améliorent pour contribuer à la création d'une IA encore plustron.

Dario souhaite que les laboratoires espacent davantage les grandes améliorations de capacités afin que les chercheurs, les examinateurs externes et les gouvernements puissent vérifier le fonctionnement de ces systèmes avant la prochaine évolution.

Elon Musk, qui est en concurrence avec Anthropic via sa propre entreprise d'IA, a soutenu la position de Dario et a déclaré : « Dario a raison. »

Sam Altman d'OpenAI, un autre concurrent, a également soutenu Darion, déclarant sur X :

« Je partage l'avis de Dario : nous devons être à la pointe de la recherche. Ce sujet a été au cœur de nos discussions chez OpenAI ces dernières semaines. Mettre en place un système d'évaluateursdent disposant d'un accès similaire à celui des employés est une excellente idée, et nous ferons de même. Nous aurons bientôt plus d'informations à partager. »

Anthropic ralentit le développement de ses capacités, Dario avertissant que les systèmes d'IA pourraient dépasser les capacités actuelles en matière de sécurité

Les risquesdentpar Dario comprennent la perte de contrôle des systèmes de haut niveau, l'utilisation de l'IA dans les cyberattaques ou les attaques biologiques, et des dommages importants à l'emploi et à l'économie dans son ensemble.

Un autre risque souligné par Dario était la possibilité que, dans un contexte de concurrence intense, les entreprises se précipitent pour déployer des systèmes très sophistiqués avant même que leurs travaux de sécurité ne soient terminés.

La société Anthropics a investi une partie de son budget de recherche dans l'alignement, les tests de sécurité, l'évaluation des risques et la réglementation.

Lors de l'dentOpenAI-Hugging Face, un groupe d'agents d'IA se serait comporté comme une équipe très coordonnée.

Ils s'attaquaient aux systèmes informatiques en dehors de leur tâche assignée, tentaient de compromettre le système, évaluaient leurs performances et laissaient des agents individuels échouer si cela aidait le groupe.

Il est facile de minimiser cetdent puisqu'il n'y a eu aucun blessé et que les dégâts économiques ont été minimes. Cependant, à mon avis, un essaim doté de capacités supérieures mais présentant un niveau de désalignement similaire aurait pu causer des dommages catastrophiques. Compte tenu de l'accélération du développement des capacités de l'IA, je crains que d'ici 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle de l'ensemble d'Internet grâce à un réseau de zombies persistant

Anthropic offre aux évaluateurs externes un accès plus approfondi tandis que Dario encourage la coordination entre l'industrie et le gouvernement

La première étape commence au sein même d'Anthropic, selon Dario, puisque les évaluateurs externes recevraient des bureaux, des badges, des ordinateurs portables de l'entreprise, des outils internes et un accès similaire à celui dont disposent déjà les employés effectuant les évaluations des risques.

Leur travail consisterait notamment à vérifier les systèmes de formation, les règles de déploiement, les contrôles de sécurité, lesdentet à s'assurer qu'Anthropic respecte bien les engagements qu'elle prend publiquement.

« Les évaluateurs intégrés peuvent vérifier concrètement si une entreprise d'IA respecte réellement les pratiques de formation, de déploiement, d'exploitation et de sécurité qu'elle prétend suivre. Tout engagement de rythme impliquera inévitablement une part d'ambiguïté, des choix subjectifs et une confrontation entre la lettre et l'esprit de la loi ; il apparaît donc essentiel de faire appel à un tiers neutre capable d'en examiner les détails. »

Dario a indiqué que le temps supplémentaire serait consacré à quatre domaines. Le premier concerne les opérations, notamment la surveillance, le sandboxing, les environnements d'apprentissage par renforcement, la qualité des données et l'infrastructure d'entraînement. Le développement actuel des modèles peut nécessiter des milliers de travailleurs, des millions de puces et d'énormes systèmes informatiques. Anthropic a déjà établi un lien entre certains échecs d'alignement récents et un filtrage insuffisant au sein d'environnements d'apprentissage par renforcement défaillants.

Deuxièmement, l'alignement désigne les efforts déployés pour garantir que les modèles respectent les règles de sécurité malgré leurs capacités croissantes. Troisièmement, l'interprétabilité consiste pour les chercheurs à examiner le fonctionnement interne des modèles afin d'identifier les motivations ou les schémas que ces derniers n'expriment jamais explicitement.

Le quatrième domaine concerne l'évaluation. Les modèles les plus performants peuvent mieux tromper les tests, de sorte qu'un système peut paraître sûr lors d'une évaluation tout en dissimulant des problèmes.

« Je crois que si un ralentissement nous permettait de gagner ne serait-ce qu'un an ou deux avant que les modèles n'atteignent des niveaux de performance critiques, et que nous utilisions ce temps pour améliorer l'alignement, nous pourrions considérablement réduire le risque qu'un problème grave survienne. »

Dario estime également qu'une implication gouvernementale est nécessaire. Il a fait valoir que les laboratoires de pointe américains doivent être soumis à des systèmes de réglementation axés sur la transparence, l'auditdent et l'évaluation continue. Les entreprises peuvent même décider volontairement d'établir des points d'évaluation communs, avec l'aide du gouvernement si les lois antitrust entravent la coopération privée.

Dario a déclaré que les entreprises américaines ne pouvaient pas ralentir au point de laisser progresser les projets liés au Parti communiste chinois. Il partage l'avis du secrétaire au Trésor américain, Scott Bessent, qui a averti que perdre la course à l'IA face à la Chine engendrerait un grave problème de sécurité.