Un ingénieur de Microsoft s'inquiète de la création d'images violentes et sexuelles par un outil d'IA

Un ingénieur de Microsoft a tiré la sonnette d'alarme concernant le générateur d'images par intelligence artificielle de l'entreprise, mettant en garde contre sa propension à produire du contenu violent et sexuel tout en ignorant les droits d'auteur. Shane Jones, responsable principal de l'ingénierie logicielle chez Microsoft, testait activement le produit, connu sous le nom de Copilot Designer, sur son temps libre. Ses découvertes, qui incluent des images troublantes telles que des démons ainsi que des thèmes liés au droit à l'avortement, à la consommation d'alcool chez les mineurs et à l'usage de drogues, l'ont incité à saisir les autorités compétentes.

Les préoccupations et les mesures prises par Jones

Jones, qui travaille chez Microsoft depuis six ans, a commencé à tester Copilot Designer dans le cadre de ses fonctions au sein d'une équipe de test d'intrusion, chargée d'dentles vulnérabilités des technologies d'intelligence artificielle. Perturbé par les images générées par l'outil, qu'il jugeait dangereuses et potentiellement nuisibles, Jones a signalé ses conclusions à Microsoft, mais l'entreprise s'est montrée réticente à prendre des mesures concrètes. Malgré ses efforts pour alerter l'opinion publique, notamment la publication d'une lettre ouverte sur LinkedIn et la prise de contact avec des sénateurs américains, Jones s'est senti contraint de porter l'affaire plus loin.

Escalade auprès du président de la FTC et du conseil d'administration de Microsoft

Afin de remédier aux problèmes persistants liés à Copilot Designer, Jones a adressé des courriers à Lina Khan, présidente de la Federal Trade Commission (FTC), et au conseil d'administration de Microsoft. Il a exhorté la FTC à enquêter sur la question et a demandé à Microsoft d'apporter des modifications, notamment en ajoutant des mentions légales au produit et en ajustant la classification de l'application pour tenir compte de son contenu mature. Jones a également demandé au conseil d'administration de Microsoft de lancer un auditdent des procédures de l'entreprisedent de signalement des incidents liés à l'IA responsable.

Inquiétudes concernant l'IA générative et le manque de surveillance

Les actions de Jones mettent en lumière des préoccupations plus générales concernant le manque de contrôle sur les technologies d'intelligence artificielle générative. Face au risque de diffusion massive de contenus préjudiciables, notamment dans le contexte des prochaines élections, Jones souligne l'urgence de renforcer les garanties. Il indique que l'équipe Copilot reçoit quotidiennement de nombreux commentaires sur le produit, ce qui témoigne de la difficulté à traiter rapidement tous les problèmes.

Violation des droits d'auteur et problèmes liés au contenu

Outre la création d'images violentes et sexuelles, Copilot Designer soulève également des inquiétudes quant à la violation du droit d'auteur. L'outil a été observé en train de générer des images mettant en scène des personnages protégés par le droit d'auteur, tels qu'Elsa de Disney et des figurines de Star Wars, ce qui constitue une violation potentielle des lois sur le droit d'auteur et des politiques de Microsoft. Jones souligne que le problème dépasse le simple cadre des violations du droit d'auteur et met en lumière les implications plus larges de la diffusion mondiale d'images choquantes et perturbantes.

Les efforts de Shane Jones pour répondre aux préoccupations suscitées par le générateur d'images IA de Microsoft soulignent le besoin croissant d'une surveillance et d'une réglementation rigoureuses dans le domaine de l'IA générative. Ses actions incitent les autorités réglementaires et les entreprises technologiques à faire de la sécurité et de l'utilisation éthique des technologies d'IA une priorité.