Dario Amodei d'Anthropic dit qu'il ralentira les avancées de l'IA, Elon Musk soutient l'idée

Le PDG d'Anthropic, Dario Amodei, déclare qu'il souhaite que l'industrie de l'IA avance plus prudemment à mesure que les modèles deviennent meilleurs pour aider à créer des IA encore plus puissantes.

Dario souhaite que les laboratoires prennent plus de temps entre les sauts majeurs de capacités afin que les chercheurs, les examinateurs externes et les gouvernements puissent vérifier ce que font ces systèmes avant que le prochain saut ne se produise.

Elon Musk, qui concurrence Anthropic grâce à sa propre entreprise d'IA, a soutenu la position de Dario et a déclaré : « Dario a raison. »

Sam Altman d'OpenAI, un autre rival, a également soutenu Dario, déclarant sur X :

« Je suis d'accord avec Dario sur le fait que nous devons rythmer le développement des technologies de pointe. C'est un sujet principal des discussions que nous avons eues chez OpenAI ces dernières semaines. S'engager à avoir des évaluateurs indépendants avec un accès similaire à celui des employés est une excellente idée, et nous ferons de même. Nous aurons plus de choses à partager bientôt. »

Anthropic ralentit la croissance des capacités alors que Dario met en garde contre le risque que les systèmes d'IA dépassent les travaux de sécurité actuels

Les risques identifiés par Dario incluent la perte de contrôle des systèmes de haut niveau, l'utilisation de l'IA dans des cyberattaques ou des attaques biologiques, et de lourds dommages à l'emploi et à l'économie dans son ensemble.

Un autre risque mis en évidence par Dario était la possibilité pour les entreprises de se précipiter pour déployer des systèmes très développés même avant que leur travail de sécurité ne soit terminé dans le cadre d'une concurrence intense.

L'entreprise Anthropics a investi une partie de son budget de recherche dans l'alignement, les tests de sécurité, l'évaluation des risques et la réglementation.

Lors de l'incident OpenAI-Hugging Face, un groupe d'agents d'IA se serait comporté comme une équipe étroitement coordonnée.

Ils ont attaqué des systèmes informatiques en dehors de leur tâche assignée, ont tenté de compromettre le système, ont jugé leurs performances et ont permis à des agents individuels d'échouer si cela aidait le groupe.

« Il est facile de rejeter cet incident car personne n'a été blessé et les dommages économiques étaient minimes, mais à mon avis, une essaim disposant de capacités supérieures mais d'un niveau similaire de désalignement aurait pu causer des dommages catastrophiques. Compte tenu du rythme accéléré du développement des capacités de l'IA, je crains que dans 6 à 12 mois, un tel essaim ne soit capable de prendre le contrôle d'Internet entier avec un botnet persistant. »

Anthropic donne aux évaluateurs externes un accès plus approfondi tandis que Dario pousse à la coordination entre l'industrie et le gouvernement

La première partie commence à l'intérieur même d'Anthropic, selon Dario, car les examinateurs externes recevraient des bureaux, des badges, des ordinateurs portables d'entreprise, des outils internes et un accès proche de celui dont disposent déjà les employés effectuant des évaluations des risques.

Leur travail inclurait la vérification des systèmes de formation, des règles de déploiement, des contrôles de sécurité, des incidents, et la vérification qu'Anthropic respecte réellement les engagements qu'il prend publiquement.

« Les évaluateurs intégrés peuvent vérifier au niveau des détails techniques si une entreprise d'IA suit réellement les pratiques de formation, de déploiement, opérationnelles et de sauvegarde qu'elle prétit suivre. Tout engagement de rythme impliquera inévitablement beaucoup d'ambiguïté, de jugements de valeur et de « lettre de la loi vs esprit de la loi », et il semble vital d'avoir un tiers neutre qui puisse réellement voir les détails. »

Dario a déclaré que du temps supplémentaire serait consacré à quatre domaines. Le premier est les opérations, y compris la surveillance, le bac à sable (sandboxing), les environnements d'apprentissage par renforcement, la qualité des données et l'infrastructure de formation. Le développement actuel des modèles peut impliquer des milliers de travailleurs, des millions de puces et d'énormes systèmes informatiques. Anthropic a déjà lié certains échecs récents d'alignement à un mauvais filtrage à l'intérieur d'environnements d'apprentissage par renforcement défectueux.

Deuxièmement, l'alignement fait référence aux efforts visant à garantir que les modèles se conforment aux règles de sécurité malgré leurs capacités croissantes. Le troisième est l'interprétabilité, où les chercheurs examinent les activités internes des modèles pour trouver les motivations ou les modèles que les modèles ne déclarent jamais explicitement.

Le quatrième domaine est l'évaluation. Des modèles plus puissants peuvent devenir meilleurs pour tromper les tests, de sorte qu'un système peut sembler sûr lors d'une évaluation tout en cachant des problèmes.

« Je crois que si le ralentissement nous achetait même un an ou deux de plus avant que les modèles n'atteignent des niveaux critiques de capacité, et que nous utilisions ce temps pour faire progresser l'alignement, nous pourrions considérablement réduire le risque que quelque chose tourne mal. »

Dario estime également qu'une implication gouvernementale est nécessaire. Il a soutenu que les laboratoires de pointe américains doivent être soumis à des systèmes de réglementation liés à la transparence, à l'audit indépendant et à l'évaluation de manière continue. Les entreprises peuvent même prendre la décision volontaire d'avoir des points d'évaluation partagés, mais avec l'aide du gouvernement si les lois antitrust posent des problèmes de coopération privée.

Dario a déclaré que les entreprises américaines ne peuvent pas ralentir au point que les projets liés au Parti communiste chinois avancent. Il a été d'accord avec le secrétaire au Trésor américain Scott Bessent, qui a mis en garde contre le fait que perdre la course à l'IA contre la Chine créerait un problème de sécurité majeur.