Après que le co-fondateur Ilya Sutskever a quitté l'entreprise plus tôt cette semaine, Jan Leike, un éminent chercheur, a annoncé vendredi matin que « la culture et les processus de sécurité ont cédé le pas aux produits brillants » dans l'entreprise.
Jan Leike a déclaré dans une série de messages sur la plateforme de médias sociaux X qu'il avait rejoint la startup basée à San Francisco parce qu'il pensait que ce serait le meilleur endroit pour mener des recherches sur l'IA.
Leike a dirigé l'équipe « Superalignment » d'OpenAI avec un co-fondateur qui a également démissionné cette semaine.
L'équipe Superalignment d'OpenAI n'est plus intacte
L'équipe Superalignment de Leike a été créée en juillet dernier chez OpenAI pour relever les principaux défis techniques liés au déploiement de mesures de sécurité alors que l'entreprise fait progresser l'IA capable de rationaliser comme un humain.
Les déclarations de Leike sont intervenues après qu'un rapport de WIRED Chich affirmait qu'OpenAI avait complètement dissous l'équipe Superslignment, chargée de gérer les risques à long terme associés à l'IA.
A lire aussi : Le scientifique en chef d'Openai, Ilya Sutskever, fait ses adieux
Sutskever et Leike ne sont pas les seuls employés à quitter l'entreprise. Au moins cinq autres travailleurs d'OpenAI, parmi les plus soucieux de la sécurité, ont quitté l'entreprise ou ont été licenciés depuis novembre dernier, lorsque le conseil d'administration a tenté de licencier le PDG Sam Altman uniquement pour le voir jouer ses cartes pour récupérer son poste.
OpenAI devrait devenir une entreprise AGI axée sur la sécurité
Leike a souligné la caractéristique la plus controversée de la technologie sur plusieurs plates-formes – une image prospective de robots qui sont soit généralement aussi intelligents que les humains, soit au moins capables d'effectuer de nombreuses tâches tout aussi bien – en écrivant qu'OpenAI doit se transformer en une solution axée sur la sécurité. Entreprise AGI.
En réponse aux messages de Leike, Sam Altman, PDG d'Open AI, a exprimé sa gratitude pour les services de Leike à l'entreprise et a exprimé sa tristesse face à son départ.
Altman a déclaré dans un article X que Leike avait raison et qu'il écrirait un long article sur le sujet dans les prochains jours. Il a également dit que,
« Nous avons encore beaucoup à faire ; nous nous engageons à le faire.
Leike a quitté l'équipe de superalignement d'OpenAI et John Schulman, co-fondateur de l'entreprise, a pris la relève.
Mais il y a un vide dans l'équipe. De plus, Schulman est déjà surchargé par son travail à temps plein pour garantir la sécurité des produits existants d'OpenAI. Dans quelle mesure OpenAI peut-il réaliser des travaux de sécurité plus importants et tournés vers l’avenir ? Il ne semble pas y avoir de réponse satisfaisante à cette question.
Jan Leike a des différences idéologiques avec la direction
Comme le nom de l'organisation, OpenAI, l'indique déjà, destinée à l'origine à partager librement ses modèles avec le public, l'entreprise affirme désormais que rendre des modèles aussi puissants accessibles à tous pourrait être nuisible, c'est pourquoi les modèles ont été transformés en connaissances exclusives.
Leike a déclaré dans un article qu'il n'était pas d'accord avec les dirigeants d'OpenAI sur les priorités qu'ils imposaient à l'entreprise depuis un certain temps, jusqu'à ce qu'ils atteignent finalement un point critique.
J'ai rejoint parce que je pensais qu'OpenAI serait le meilleur endroit au monde pour faire cette recherche.
– Jan Leike (@janleike) 17 mai 2024
Cependant, je suis en désaccord avec les dirigeants d'OpenAI sur les priorités fondamentales de l'entreprise depuis un certain temps, jusqu'à ce que nous atteignions finalement un point de rupture.
Le dernier jour de Leike dans l'entreprise était jeudi, après quoi il a démissionné et n'a pas édulcoré sa démission avec des adieux chaleureux ou un soupçon de confiance dans le leadership d'OpenAI. Sur X, il a posté : « J'ai démissionné ».
Un partisan de Leike a déclaré dans un commentaire qu'il était ravi que Leike ne soit plus membre de leur équipe. Les idéologies éveillées ne sont pas conformes à l’humanité. Moins il est aligné, plus il est intégré à l’IA.
Lisez aussi : Contenu Reddit sécurisé OpennAI pour l'amélioration de ChatGPT
Le suiveur a déclaré qu'il exigerait également une defide l'alignement de la part de tous les aligneurs. Il faisait référence à une recommandation dans laquelle Leike demandait à d'autres employés d'OpenAI qu'il pensait qu'ils pouvaient apporter le changement culturel nécessaire au sein de l'entreprise.
Le leader mondial de l'IA semble changer de cap en ce qui concerne les mesures de sécurité souvent soulignées par les experts, et le départ des meilleurs experts en sécurité de l'entreprise le confirme probablement.
Reportage cryptopolitain d'Aamir Sheikh
