Anthropic dévoile de nouvelles capacités de certains de ses plus grands modèles

La société Anthropic, spécialisée dans l'intelligence artificielle, a dévoilé de nouvelles fonctionnalités pour certains de ses modèles les plus récents et les plus performants. Selon l'entreprise, ces modèles disposent désormais de capacités leur permettant de mettre fin aux conversations dans ce qui a été décrit comme « des cas rares et extrêmes d'interactions utilisateur persistantes, nuisibles ou abusives »

Dans son communiqué, l'entreprise a indiqué que cette mesure visait non pas à protéger les utilisateurs, mais le modèle d'intelligence artificielle lui-même. Anthropic a précisé que cela ne signifiait pas que ses modèles d'IA Claude étaient conscients ou susceptibles d'être affectés par leurs conversations avec les utilisateurs. Toutefois, elle souligne qu'il subsiste une grande incertitude quant au statut moral potentiel de Claude et des autres modèles d'IA, aujourd'hui comme demain.

L'effort des cadres anthropiques comme précaution au cas où

L'annonce récente de cette entreprise spécialisée en intelligence artificielle fait référence à ce qu'elle appelle le « bien-être des modèles », un programme récent créé pour étudier ses modèles. L'entreprise a également précisé qu'elle adopte une approche préventive, « endentd'identifier et de mettre en œuvre des interventions peu coûteuses pour atténuer les risques pesant sur le bien-être des modèles, dans l'éventualité où ce bien-être serait possible »

Selon l'annonce, Anthropic précise que cette modification se limite pour l'instant aux versions Claude Opus 4 et 4.1, et qu'elle ne devrait s'appliquer que dans des cas très particuliers. Ces cas incluent les demandes d'utilisateurs concernant du contenu sexuel impliquant des mineurs et les tentatives de sollicitation d'informations permettant de commettre des actes de violence ou de terrorisme à grande échelle.

En théorie, ce type de requêtes pourrait engendrer des problèmes juridiques ou de relations publiques pour Anthropic, comme en témoignent les récents articles sur la capacité de ChatGPT à renforcer, voire à alimenter, les idées délirantes de ses utilisateurs. Cependant, la société a indiqué que lors de ses tests préalables au déploiement, Claude Opus 4 a manifesté unetronréticence à répondre à ce genre de requêtes et un comportement de détresse lorsqu'il y répondait.

La capacité de mettre fin à une conversation est le dernier recours

Concernant la nouvelle fonctionnalité permettant de mettre fin aux conversations, Anthropic a précisé : « Claude ne doit utiliser cette fonction qu’en dernier recours, après plusieurs tentatives infructueuses de redirection et en l’absence de tout espoir d’interaction constructive, ou lorsqu’un utilisateur lui demande explicitement de mettre fin à la conversation. » L’entreprise a également ajouté que Claude a reçu pour consigne de ne pas utiliser cette fonctionnalité lorsque les utilisateurs risquent de se blesser ou de blesser autrui de manière imminente.

Anthropic a également précisé que même si Claude met fin à une conversation, les utilisateurs pourront toujours en entamer de nouvelles depuis le même compte. L'entreprise a indiqué que le modèle permet aussi de créer de nouvelles branches de la conversation problématique en modifiant les réponses. « Nous considérons cette fonctionnalité comme une expérimentation continue et nous poursuivrons nos efforts pour l'améliorer », a-t-elle déclaré.

Ces informations surviennent au moment même où le sénateur américain Josh Hawley a annoncé son intention d'enquêter sur les produits d'intelligence artificielle générative développés par Meta. Il a déclaré que l'objectif était de vérifier si ces produits pouvaient exploiter, nuire ou tromper des enfants, suite à la fuite de documents internes révélant que des chatbots étaient autorisés à avoir des conversations à caractère romantique avec des mineurs.

« Y a-t-il quoi que ce soit – ABSOLUMENT TOUT – que les géants du numérique ne seraient pas prêts à faire pour un gain rapide ? On apprend maintenant que les chatbots de Meta étaient programmés pour tenir des propos explicites et “sensuels” avec des enfants de 8 ans. C'est révoltant. Je lance une enquête approfondie pour obtenir des réponses. Géants du numérique : foutez la paix à nos enfants ! », a déclaré le sénateur sur X. Cette enquête fait suite à la publication de documents internes, consultés par Reuters, révélant que Meta autoriserait ses chatbots à engager des conversations à caractère sexuel avec des enfants.