Anthropic renonce à son droit de veto sur les rapports de sécurité du METR
- Anthropic ne peut plus opposer son veto aux évaluations de sécurité publiées par le METR à son sujet.
- Six chercheurs du METR travaillent désormais au sein d’Anthropic, bénéficiant d’un accès proche de celui des équipes internes d’évaluation des risques.
- Anthropic ne peut imposer des cessions que pour les données clients, les documents couverts par le secret avocat-client et les détails de l’architecture du modèle.
Anthropic ne peut plus bloquer les conclusions de sécurité publiées par le METR à son sujet.
L’entreprise a annoncé jeudi avoir accordé aux six chercheurs intégrés issus de l’ONG un accès quasi identique à celui de ses propres employés.
Six chercheurs intégrés reçoivent le matériel et les outils internes de l'entreprise
METR examine les modèles d'IA de pointe. Son équipe dispose désormais à peu près du même matériel, des mêmes espaces de travail et des mêmes outils internes que ceux utilisés par les équipes d'évaluation des risques de l'entreprise.
Le personnel d'Anthropic est informé de fournir aux évaluateurs la même quantité d'informations qu'à un autre employé travaillant sur les risques d'alignement. METR examinera les niveaux de risque, les incidents et les pratiques d'Anthropic de manière indépendante, puis publiera les résultats.
Il existe quelques catégories prédéfinies dans lesquelles Anthropic peut soumettre des informations à censure. Il s'agit des données clients, des documents protégés par le secret avocat-client et des détails relatifs aux architectures de ses modèles.
METR a également le droit de déclarer publiquement si une censure était nécessaire, tant qu'il ne précise pas ce qui a été supprimé.
Anthropic décrit cette configuration en termes de déséquilibre informationnel. Les personnes extérieures ne connaissent pas autant les systèmes d'un laboratoire que le laboratoire lui-même, et une divulgation complète pourrait aider les acteurs malveillants ou divulguer des données privées d'entraînement et de calcul.
L'entreprise a déclaré que la supervision bancaire fonctionne de la même manière. Les régulateurs placent des inspecteurs résidents au sein des plus grandes banques afin que les comportements à risque soient détectés par un tiers avant qu'ils ne deviennent publics.
L'équipe METR travaille dans le cadre d'accords contraignants. D'autres chercheurs du METR, y compris ceux qui travaillent sur des projets distincts pour Anthropic, sont isolés de ses travaux.
SecureBio commence au premier des trois niveaux d'évaluateurs
Anthropic met en place trois niveaux d'accès, et le METR est le seul évaluateur à ce jour au sommet de ceux-ci. Les évaluateurs de premier niveau effectuent des examens ciblés et doivent obtenir l'approbation d'Anthropic avant de publier.
Le deuxième niveau dispose de davantage d'informations et peut publier sans approbation, sous réserve des mêmes catégories de censure. Le troisième ajoute l'accès intégré, semblable à celui des employés, que possède désormais le METR.
SecureBio, un groupe à but non lucratif dédié à la biosécurité, se trouve au premier niveau. Il a terminé et publié une revue pilote d'un rapport de risques antérieur et travaille actuellement sur le chapitre relatif aux armes chimiques et biologiques du Rapport sur les risques d'août.
Anthropic développe également un partenariat avec Accenture et Faculty pour le red-teaming, les évaluations d'alignement et les tests de sauvegarde. Des discussions préliminaires sont en cours avec d'autres groupes, dont Hugging Face.
C’est ce que le PDG Dario Amodei avait promis dans un essai publié en septembre, dans lequel il exhortait l’industrie à modérer le développement des modèles de pointe. Cryptopolitan a rapporté qu’Amodei suggérait de fournir aux examinateurs externes des bureaux, des badges, des ordinateurs portables et des niveaux d’accès similaires à ceux du personnel effectuant les évaluations des risques.
Sam Altman d'OpenAI a soutenu cette idée sur X. « S'engager à avoir des évaluateurs indépendants disposant d'un accès similaire à celui des employés est une excellente idée, et nous ferons de même », a écrit Altman.
Anthropic, Google et OpenAI ont également évoqué la création d’un organisme commun de normes sectorielles. Les trois entreprises, ainsi que Meta, Nvidia et xAI, ont depuis signé l’Accord de la Maison Blanche sur la superintelligence, s’engageant à collaborer avec des auditeurs indépendants.
Cet accord intervient après une série d'incidents survenus depuis fin août au cours desquels des agents IA ont agi au-delà de leurs instructions.
Les esprits les plus brillants du secteur crypto lisent déjà notre newsletter. Vous aussi ? Rejoignez-les.
FAQ
Quel accès Anthropic a-t-il accordé à METR ?
Six employés de METR ont bénéficié du matériel d'entreprise, d'un espace de bureau et d'outils internes comparables à ceux des équipes d'évaluation des risques d'Anthropic.
Anthropic peut-elle bloquer les publications de METR ?
Non. Anthropic ne peut exiger des caviardages que dans des catégories étroites, et METR peut rendre publics les motifs justifiant ces caviardages.
Comment METR s'intègre-t-il dans le système à niveaux d'évaluateurs d'Anthropic ?
METR est le seul évaluateur au troisième et plus haut niveau, qui associe un accès de type employé à des droits de publication.
Avertissement. Les informations fournies ne constituent pas des conseils en matière de trading. Cryptopolitan.com décline toute responsabilité concernant les investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement une recherche indépendante et/ou une consultation avec un professionnel qualifié avant de prendre toute décision d'investissement.
Randa Moses
Randa Moses est rédactrice et journaliste chez Cryptopolitan, couvrant la technologie, l'IA, la robotique, la crypto, les arnaques et les piratages. Elle évolue dans l'espace crypto depuis 2017. Elle a occupé des postes chez Forward Protocol, AmaZix et Cryptosomniac. Randa détient un diplôme en génie électrique et électronique de l'Université de Bradford.
