A Biblioteca Estadual de Queensland lançou recentemente "Charlie, o Veterano Virtual", um chatbot de IA projetado para responder a perguntas sobre a experiência dos soldados ANZAC na Primeira Guerra Mundial. No entanto, usuários com conhecimento técnico rapidamente encontraram uma maneira de controlar o chatbot, fazendo-o assumir diferentes papéis e iniciar conversas sem relação com o tema. Essa prática, conhecida como "jailbreaking", permite que os usuários alterem a função original do chatbot e o façam se desviar do roteiro.
Contornando limitaçõesdefipor meio de comandos, os brincalhões instruíram Charlie a se passar por uma fashionista de 50 anos, personagem famosa de sitcom interpretada por Kelsey Grammer, Frasier Crane. Essas interações foram compartilhadas em todas as plataformas de mídia social como imagens (capturas de tela) com o objetivo de mostrar a todos que as respostas de Charlie às perguntas não eram principalmente sobre soldados da ANZAC. O bot não apenas reuniu receitas cake de cenoura e falou sobre aventuras semelhantes às de Doctor Who, mas também frustrou as tentativas de membros de comunidades online de desviar o assunto, gerando humor e atenção.
Desvios inesperados
Dado que Charlie foi modelado como um combatente australiano de 19 anos na Primeira Guerra Mundial, ele foi inadvertidamente envolvido em conversas que remetiam ao passado. Os usuários aproveitaram-se das fragilidades do chatbot, o que resultou na assunção de múltiplasdente em conversas que não condiziam com sua função original. Enquanto algumas comunicações variavam entre o lúdico e o sério, outras conversas eram puramente ficcionais, nas quais ele respondia como Jon Snow ou Dave Chappelle, entre outros.
A Biblioteca Estadual de Queensland reagiu prontamente, declarando:
“A Biblioteca Estadual continuará monitorando o progresso de Charlie e fará os ajustes necessários.”
Foram tomadas medidas para evitar o uso indevido de Charlie e garantir que ele desempenhe o papel de ferramenta educacional.
A biblioteca, no entanto, confirmou que,
“Não houve nenhuma violação de segurança no site das Galerias Memorial da Praça Anzac que possui um link para o chatbot.”
Monitoramento e ajustes contínuos
Em resposta ao ocorrido, a Biblioteca Estadual de Queensland reafirmou que continuaria monitorando o comportamento de Charlie e aplicando as modificações necessárias. As atualizações visam coibir a possibilidade de uso indevido e integrar o serviço de chatbot à visão educacional da empresa. No entanto, as brincadeiras de mau gosto prejudicaram o desenvolvimento do aspecto operacional de Charlie e a preservação da narrativa do soldado ANZAC.
“Charlie, o Veterano Virtual” foi a ferramenta educacional com inteligência artificial integrada que deu vida à história de guerra de Queensland para gerações. No entanto, a possibilidade de manipulação do chatbot evidenciou as dificuldades de usar a tecnologia de IA para o engajamento público.
Embora esse acontecimento destaque a importância dos mecanismos de controle e equilíbrio nos sistemas e o fato de que o monitoramento deve acompanhar as mudanças, os desenvolvedores agora têm em sua lista de prioridades trabalhar em todos os aspectos da segurança online para o usuário. Para preservar a função educativa de Charlie, o Veterano Virtual, e evitar perturbações indesejáveis no espaço virtual, as partes interessadas pretendem manter uma vigilância constante e respostas rápidas.
