Les géants technologiques de la Silicon Valley mettent de côté la sécurité de l'IA au profit des gains produits

La Silicon Valley était l'endroit où les experts mondiaux en intelligence artificielle allaient effectuer des recherches innovantes, mais les experts avertissent que les choses ont changé, et maintenant l'IA concerne tout le produit. Les chercheurs et experts en IA croient également que depuis la sortie de ChatGPT par OpenAI à la fin de 2022, l'industrie technologique a priorisé la commercialisation sur la recherche en construisant des produits d'IA prêts pour les consommateurs.

Les analystes de Morgan Stanley prédit que l'industrie de l'IA a le potentiel d'atteindre 1 billion de dollars de revenus annuels d'ici 2028. Les experts de l'industrie ont déclaré qu'ils s'inquiètent de la sécurité alors que les acteurs de premier plan poursuivent l'intelligence artificielle générale (AGI).

La recherche en IA revient aux profits alors que la Silicon Valley priorise les produits sur la sécurité

Geoffrey Hinton dit que les entreprises d'IA devraient être contraintes d'utiliser un tiers de leurs ressources informatiques pour la recherche sur la sécurité car l'IA deviendra plus intelligente que nous dans les 20 prochaines années et nous devons commencer à nous inquiéter de ce qui se passera alors pic.twitter.com/ocT3Scmyxg

— Tsarathustra (@tsarnick) octobre 25, 2024

OpenAI, fondé comme un laboratoire de recherche à but non lucratif en 2015, est maintenant au milieu d'un effort pour se transformer en entité à but lucratif, selon son PDG, Sam Altman. Jan Leike, ancien chef de l'alignement d'OpenAI, dont l'équipe se concentrait sur la sécurité de l'IA, a démissionné l'année dernière et a déclaré que ces dernières années, « la culture et les processus de sécurité ont été relégués au second plan au profit de produits brillants. »

James White, directeur technologique de la startup de cybersécurité Calypso, a fait valoir que les entreprises technologiques prennent de plus en plus de raccourcis lorsqu’il s’agit de tester rigoureusement leurs modèles d’IA avant de les publier au public. Il a noté que les nouveaux modèles d’IA sacrifient la sécurité pour la qualité, c’est-à-dire de meilleures réponses des chatbots IA. 

« Les modèles s’améliorent, mais ils sont aussi plus susceptibles d’être bons à faire du mal. Il est plus facile de les tromper pour qu’ils fassent du mal. »

– James White, Directeur Technologique chez Calypso.

En mars, Google semblait privilégier son produit sur la sécurité après a publié son dernier modèle d’IA, Gemini 2.5, affirmant qu’il s’agissait du modèle d’IA le plus intelligent de l’entreprise. La société a tardé à publier la fiche technique du modèle Gemini 2.5 pendant des semaines, ce qui signifie qu’elle n’a pas partagé d’informations sur le fonctionnement du modèle d’IA, ses limites et les dangers potentiels lors de sa sortie.

L'entreprise a reconnu le 2 avril qu’elle évalue ses modèles les plus avancés pour des capacités potentiellement dangereuses avant leur publication. Google a ensuite mis à jour l’article de blog et a omis les mots « avant leur publication. »

L’entreprise a publié une fiche technique incomplète le 16 avril et l’a mise à jour le 28 avril, plus d’un mois après la sortie du modèle d’IA, pour inclure des informations sur les évaluations des capacités dangereuses de Gemini 2.5.

Les entreprises technologiques d’IA passent de la recherche à des produits générant des revenus

D’anciens employés de Meta ont déclaré qu’ils n’étaient pas surpris lorsque Joelle Pineau, vice-présidente de Meta et responsable de la division FAIR de l’entreprise, a annoncé le mois dernier qu’elle quitterait son poste le 30 mai. Ils ont mentionné qu’ils considéraient cela comme une consolidation du mouvement de l’entreprise loin de la recherche en IA et vers la priorisation du développement de produits pratiques.

Pineau a dirigé FAIR depuis 2023, et selon les employés de Meta, de petites équipes de recherche pouvaient travailler sur diverses technologies de pointe qui pouvaient ou non aboutir. Le changement a commencé lorsque l’entreprise technologique a licencié 21 000 employés, soit près d’un quart de sa main-d’œuvre, à la fin de 2022. D’anciens employés familiers avec la question ont déclaré que les chercheurs de FAIR ont été invités à travailler plus étroitement avec les équipes produit dans le cadre des mesures de réduction des coûts.

Deux personnes familières avec la question ont déclaré que plus tôt cette année, l’un des directeurs de FAIR, Kim Hazelwood, a quitté l’entreprise dans le cadre du plan de Meta pour réduire de 5 % son effectif. Les personnes ont noté que le lancement de ChatGPT par OpenAI a créé un sentiment d’urgence chez Meta pour investir davantage de ressources dans les grands modèles de langage (LLM).

Les individus ont également révélé que Chris Cox, directeur principal des produits de Meta, supervisait FAIR pour combler l’écart entre la recherche et le groupe GenAI axé sur les produits. Ils ont ajouté que GenAI, sous la direction de Cox, a détourné davantage de ressources informatiques et de membres d’équipe de FAIR en raison de son statut élevé au sein de l’entreprise. 

Le mois dernier, Meta a publié des outils de sécurité et de sécurité pour les développeurs afin de créer des applications avec les modèles d’IA Llama 4 de l’entreprise. Meta a déclaré que ces outils aident à atténuer les risques que Llama 4 ne divulgue accidentellement des informations sensibles ou ne produise du contenu nuisible.