- Jan Leike, responsable de l'équipe Superalignment d'OpenAI, a soulevé de sérieuses questions concernant l'évolution des pratiques de sécurité de l'entreprise.
- Leike a quitté l'entreprise quelques heures après le départ du cofondateur Ilya Sutskever.
- L'équipe Superalignment serait démantelée par l'entreprise, laissant ses modèles d'IA sous une surveillance moindre.
Après le départ du cofondateur Ilya Sutskever plus tôt cette semaine, Jan Leike, un chercheur de premier plan, a annoncé vendredi matin que « la culture et les processus de sécurité ont été relégués au second plan au profit de produits brillants » dans l'entreprise.
Jan Leike a déclaré dans une série de posts sur la plateforme sociale X qu'il a rejoint la startup basée à San Francisco car il croyait que ce serait le meilleur endroit pour mener des recherches sur l'IA.
Leike a dirigé l'équipe « Superalignment » d'OpenAI avec un cofondateur qui a également démissionné cette semaine.
L'équipe Superalignment d'OpenAI n'est plus intacte
L'équipe Superalignment de Leike a été formée en juillet dernier à OpenAI pour relever les principaux défis techniques dans le déploiement de mesures de sécurité à mesure que l'entreprise fait progresser l'IA capable de raisonner comme un humain.
Les déclarations de Leike sont intervenues après un rapport de WIRED Chich affirmant qu'OpenAI avait complètement dissous l'équipe Superslignment, qui était chargée de s'attaquer aux risques à long terme associés à l'IA.
À lire également : Le chef scientifique d'OpenAI, Ilya Sutskever, prend congé
Sutskever et Leike n'étaient pas les seuls employés à quitter l'entreprise. Au moins cinq autres des travailleurs les plus soucieux de la sécurité chez OpenAI ont quitté l'entreprise ou ont été renvoyés depuis novembre dernier, lorsque le conseil d'administration a tenté de limoger le PDG Sam Altman, seulement pour le voir jouer ses atouts pour récupérer sa position.
OpenAI devrait devenir une entreprise AGI axée sur la sécurité
Leike a pointé du doigt la caractéristique la plus controversée de la technologie sur plusieurs plateformes – une image prospective de robots qui sont soit aussi intelligents que les humains, soit au moins capables d'effectuer de nombreuses tâches aussi bien – écrivant qu'OpenAI doit se transformer en une entreprise AGI axée sur la sécurité.
En réponse aux posts de Leike, Sam Altman, PDG d'Open AI, a exprimé sa gratitude pour les services de Leike à l'entreprise et a exprimé sa tristesse face à son départ.
Altman a déclaré dans un post sur X que Leike a raison et qu'il écrirait un long post sur le sujet dans les jours à venir. Il a également déclaré que,
« Nous avons encore beaucoup à faire ; nous nous engageons à le faire. »
Leike a quitté l'équipe superalignment d'OpenAI, et John Schulman, un cofondateur de l'entreprise, a pris la relève.
Mais il y a un vide au sein de l'équipe. De plus, Schulman est déjà surchargé par son travail à temps plein garantissant la sécurité des produits existants d'OpenAI. Quelle quantité de travail de sécurité supplémentaire, axé sur l'avenir, OpenAI peut-elle produire ? Il ne semble pas y avoir de réponse satisfaisante à cela.
Jan Leike a des différences idéologiques avec la direction
Comme le suggère déjà le nom de l'organisation, OpenAI, initialement destinée à partager ses modèles librement avec le public, l'entreprise dit maintenant que rendre de tels modèles puissants disponibles à quiconque pourrait être nuisible, donc les modèles sont devenus une connaissance propriétaire.
Leike a déclaré dans un post qu'il était en désaccord avec la direction d'OpenAI sur les priorités qu'ils ont imposées à l'entreprise depuis un certain temps, jusqu'à ce qu'ils atteignent enfin un point de bascule.
J'ai rejoint l'entreprise car je pensais qu'OpenAI serait le meilleur endroit au monde pour mener cette recherche.
— Jan Leike (@janleike) Mai 17, 2024
Cependant, je suis en désaccord avec la direction d'OpenAI concernant les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture.
Le dernier jour de Leike dans l'entreprise était jeudi, après quoi il a démissionné et n'a pas adouci sa démission avec des adieux chaleureux ou la moindre indication de confiance envers la direction d'OpenAI. Sur X, il a publié : « J'ai démissionné. »
Un follower de Leike a déclaré dans un commentaire qu'il est ravi que Leike ne fasse plus partie de leur équipe. Les idéologies woke ne sont pas en phase avec l'humanité. Plus cela s'éloigne de l'alignement, plus cela est intégré dans l'IA.
À lire également : OpenAI sécurise le contenu de Reddit pour l'amélioration de ChatGPT
Le follower a déclaré qu'il exigerait également une définition de l'alignement de la part de tous les aligneurs. Il faisait référence à une recommandation dans laquelle Leike demandait aux autres employés d'OpenAI qu'il pense pouvoir impulser le changement culturel nécessaire au sein de l'entreprise.
La principale entreprise d'IA au monde semble modifier sa trajectoire concernant les mesures de sécurité souvent soulignées par les experts, et le départ des principaux experts en sécurité de l'entreprise semble le confirmer.
Article de Cryptopolitan par Aamir Sheikh
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Aamir Sheikh
Aamir est journaliste technologique avec près de six ans d'expérience dans les secteurs de la cryptomonnaie et de la technologie. Il est diplômé de l'université MAJ avec un MBA en finance et marketing. Il travaille désormais pour Cryptopolitan, où il rend compte des dernières évolutions des marchés de la cryptomonnaie et des prévisions de prix.
