La Bibliothèque d'État du Queensland a récemment publié « Charlie the Virtual Veteran », un chatbot IA conçu pour répondre aux questions sur l'expérience des soldats de l'ANZAC pendant la Première Guerre mondiale. Mais des farceurs avertis en technologie ont rapidement trouvé un moyen de contrôler le chatbot, lui faisant assumer différents rôles et entamer des conversations sans rapport. Cette pratique, appelée jailbreak, permet aux utilisateurs de modifier l'objectif prévu du chatbot et de le sortir du script.
Contournant les limitations pré defi à l'aide de invites, des farceurs ont demandé à Charlie de se faire passer pour une fashionista de 50 ans, un célèbre personnage de sitcom joué par Kelsey Grammer, Frasier Crane. Ces interactions ont été partagées sur toutes les plateformes de médias sociaux sous forme d'images (captures d'écran) visant à montrer à tout le monde que les réponses de Charlie aux questions ne concernaient pas principalement les soldats de l'ANZAC. Le robot a non seulement regroupé des recettes cake aux carottes et parlé d'aventures similaires à celles de Doctor Who, mais il a également trompé les tentatives des membres des communautés en ligne de détourner les conversations, générant ainsi de l'humour et de l'attention.
Détournements imprévus
Étant donné que Charlie a été modélisé comme un combattant australien de 19 ans pendant la Première Guerre mondiale, il a été entraîné par inadvertance dans des conversations rappelant le passé. Les utilisateurs ont profité des points faibles du chatbot qui ont amené ce dernier à assumer de multiples dent et à engager des conversations qui n'étaient pas conformes à sa fonction prévue. Alors que certaines communications penchaient vers le ludique ou le séreux, d'autres conversations étaient purement fictives où il répondait comme Jon Snow ou Dave Chapelle entre autres.
La Bibliothèque d'État du Queensland a réagi rapidement en déclarant :
"La Bibliothèque d'État continuera de suivre les progrès de Charlie et de procéder aux ajustements nécessaires."
Des mesures ont été mises en place pour empêcher toute nouvelle utilisation abusive de Charlie et garantir qu'il joue plutôt le rôle d'un outil pédagogique.
La bibliothèque a cependant confirmé que
"Il n'y a eu aucune faille de sécurité sur le site Web des Anzac Square Memorial Galleries qui renvoie au chatbot."
Surveillance et ajustements continus
En réponse à l'événement, la Bibliothèque d'État du Queensland a réaffirmé qu'elle continuerait à surveiller le comportement de Charlie et à appliquer les modifications appropriées si nécessaire. Les mises à niveau visent à réduire les risques d’utilisation abusive et à adopter le service chatbot visionnaire conformément à l’objectif éducatif. Cependant, les faux tours des farceurs se sont transformés en une affaire à moitié terminée pour développer l'aspect opérationnel de Charlie et maintenir fidèlement le récit du soldat de l'ANZAC.
« Charlie the Virtual Veteran » était l'outil éducatif intégré à l'IA qui a donné vie à des générations de l'histoire de la guerre du Queensland. Néanmoins, la possibilité de manipulation du chatbot a souligné les difficultés liées à l’utilisation de la technologie de l’IA pour l’engagement du public.
Même si cela met en lumière le rôle des freins et contrepoids dans les systèmes et le fait que la surveillance doit aller de pair avec les changements, les développeurs ont désormais sur leur liste de travailler sur tous les aspects de la sécurité en ligne pour l'utilisateur. Afin de préserver la fonction éducative de Charlie le vétéran virtuel et d'éviter les vibrations indésirables dans l'espace virtuel, les parties prenantes visent à exercer une surveillance éclairée et à réagir en temps opportun.
