OpenAI lance une équipe de « superalignement » pour s'attaquer de front aux risques liés à la superintelligence

OpenAI, Sam Altman, a lancé une campagne mondiale pour sensibiliser le public aux dangers potentiels de la superintelligence artificielle, où les machines surpassent l'intelligence humaine et pourraient devenir incontrôlables.

En réponse à ces préoccupations, OpenAI a récemment annoncé la création d'une équipe dédiée chargée de développer des méthodes pour faire face aux risques associés à la superintelligence, qui pourrait émerger au cours de cette décennie.

L'entreprise souligne que la gestion efficace de la superintelligence nécessite la mise en place de nouvelles institutions de gouvernance et la résolution du défi crucial que représente l'alignement de la superintelligence sur les valeurs et les intentions humaines.

OpenAI reconnaît que l'alignement de l'AGI (Intelligence Artificielle Générale) présente des risques importants pour l'humanité et pourrait nécessiter un effort collectif de toute l'humanité, comme indiqué dans un article de blog publié l'année dernière.

Baptisée « Superalignement », cette nouvelle équipe réunit des chercheurs et ingénieurs de haut niveau en apprentissage automatique. Ilya Sutskever, cofondateur et directeur scientifique d’OpenAI, et Jan Leike, responsable de l’alignement, pilotent ce projet.

Pour relever les principaux défis techniques liés à l'alignement des superintelligences, OpenAI s'est engagée à consacrer 20 % de ses ressources de calcul acquises à ce jour à ce problème. L'entreprise prévoit de résoudre ces défis d'ici quatre ans.

L'objectif principal de l'équipe Superalignment est de développer un outil de recherche automatisé en alignement capable d'atteindre le niveau humain. Cela implique de créer des systèmes d'IA capables d'aligner efficacement des systèmes d'IA superintelligents, surpassant ainsi les humains en termes de rapidité et de précision.

Pour atteindre cet objectif, l'équipe se concentrera sur le développement d'une méthode d'entraînement évolutive qui utilise des systèmes d'IA pour évaluer d'autres systèmes d'IA. Elle validera le modèle obtenu en automatisant la recherche de comportements potentiellementmatic . Le processus d'alignement sera également soumis à des tests de résistance rigoureux, consistant à entraîner délibérément des modèles mal alignés afin d'évaluer leur détectabilité.

Les efforts d'OpenAI pour contrer les risques liés à la superintelligence constituent une avancée majeure vers un développement de l'IA responsable et harmonieux. En réunissant une équipe de chercheurs de haut niveau et en mobilisant d'importantes ressources de calcul, l'entreprise démontre sa volonté d'atténuer proactivement les risques potentiels associés à l'avènement de la superintelligence. En s'engageant dans cette aventure ambitieuse, OpenAI fait figure dedent en matière de collaboration et d'unité pour préserver l'avenir de l'humanité à l'ère de l'IA.