OpenAI lance une équipe « superalignement » pour relever frontalement les risques liés à la superintelligence

Le PDG de OpenAI, Sam Altman, s'est lancé dans une campagne mondiale pour sensibiliser aux dangers potentiels de la superintelligence artificielle, où les machines surpassent l'intelligence humaine et pourraient devenir incontrôlables.

En réponse à ces préoccupations, OpenAI a récemment annoncé la formation d'une équipe dédiée chargée de développer des méthodes pour adresser les risques associés à la superintelligence, qui pourrait émerger au cours de cette décennie.

L'entreprise souligne que la gestion efficace de la superintelligence nécessite la création de nouvelles institutions de gouvernance et la résolution du défi critique d'aligner la superintelligence sur les valeurs et les intentions humaines.

OpenAI reconnaît que l'alignement de l'IA générale (Artificial General Intelligence) pose des risques significatifs pour l'humanité et pourrait nécessiter un effort collectif de toute l'humanité, comme indiqué dans un article de blog publié l'année dernière.

Surnommée « Superalignment », la nouvelle équipe comprend des chercheurs et ingénieurs de premier plan en apprentissage automatique. Ilya Sutskever, cofondateur et scientifique en chef d'OpenAI, et Jan Leike, responsable de l'alignement, guident cette entreprise.

Pour relever les défis techniques fondamentaux de l'alignement de la superintelligence, OpenAI s'est engagé à consacrer 20 % de ses ressources informatiques acquises jusqu'à présent au problème de l'alignement. L'entreprise prévoit de résoudre ces défis dans les quatre prochaines années.

L'objectif principal de l'équipe Superalignment est de développer un chercheur en alignement automatisé de niveau humain. Cela implique de créer des systèmes d'IA capables d'aligner efficacement les systèmes d'IA superintelligents, surpassant les humains en vitesse et en précision.

Pour atteindre cette étape, l'équipe se concentrera sur le développement d'une méthode d'entraînement évolutive qui utilise des systèmes d'IA pour évaluer d'autres systèmes d'IA. Ils valideront leur modèle résultant en automatisant la recherche de comportements potentiellement problématiques. Le pipeline d'alignement subira également des tests de stress rigoureux en entraînant délibérément des modèles désalignés pour évaluer leur détectabilité.

Les efforts d'OpenAI pour adresser les risques liés à la superintelligence marquent une étape significative vers le développement responsable et aligné de l'IA. En réunissant une équipe de chercheurs de premier plan et en engageant des ressources informatiques substantielles, l'entreprise démontre son engagement à atténuer proactivement les risques potentiels associés à l'avènement de la superintelligence. Alors qu'ils s'engagent dans ce voyage ambitieux, OpenAI établit un précédent pour la collaboration et l'unité dans la sauvegarde de l'avenir de l'humanité à l'ère de l'IA.