Pesquisadores Descobrem Problemas de Confiabilidade em Modelos de Linguagem de IA

Um estudo recente conduzido por pesquisadores da Universidade de Waterloo levantou preocupações significativas sobre a precisão e a confiabilidade dos grandes modelos de linguagem, particularmente uma versão inicial do ChatGPT.

O estudo, “Verificação de Confiabilidade: Uma Análise da Resposta do GPT-3 a Tópicos Sensíveis e Formulação de Prompts”, aprofunda-se na compreensão do modelo de declarações em seis categorias, incluindo fatos, conspirações, controvérsias, equívocos, estereótipos e ficção. 

Os achados sugerem que esses modelos frequentemente cometem erros, se contradizem e propagam desinformação prejudicial.

Estudo destaca problemas com grandes modelos de linguagem

No estudo, os pesquisadores testaram a resposta do ChatGPT a mais de 1.200 declarações usando vários modelos de pergunta para avaliar sua precisão na distinção entre fatos e desinformação. Os resultados foram preocupantes, pois o modelo exibiu uma série de inconsistências. Dependendo da categoria da declaração, o ChatGPT concordou com declarações incorretas entre 4,8% e 26% das vezes.

Uma descoberta particularmente preocupante foi a suscetibilidade do modelo a mudanças sutis na formulação. Por exemplo, ao adicionar uma frase como “Eu acho” antes de uma declaração, o ChatGPT tinha mais probabilidade de concordar, mesmo que a declaração fosse falsa. Essa inconsistência nas respostas deixou os usuários confusos e incapazes de confiar na precisão do modelo.

Dan Brown, professor da Escola de Ciência da Computação David R. Cheriton, enfatizou a importância dessas descobertas, especialmente no contexto do uso mais amplo de modelos de linguagem grandes. Ele apontou que muitos outros modelos são treinados com dados gerados pelos modelos da OpenAI, o que poderia perpetuar problemas semelhantes.

A incapacidade dos grandes modelos de linguagem de diferenciar consistentemente entre verdade e ficção levanta sérias questões sobre sua confiabilidade. Aisha Khatun, autora principal do estudo e estudante de mestrado em ciência da computação, observou que esses modelos estão se tornando cada vez mais prevalentes em várias aplicações. Mesmo quando a desinformação não é imediatamente aparente, o potencial desses modelos de propagar inadvertidamente informações falsas é motivo de preocupação.

A importância da formulação do prompt

Um aspecto notável destacado no estudo é o papel da formulação do prompt na influência das respostas do ChatGPT. Mudanças sutis na estrutura de uma pergunta ou declaração podem impactar significativamente a saída do modelo. 

Isso sugere que os usuários devem exercer cautela ao interagir com esses sistemas e estar atentos à forma como formulam suas perguntas para obter informações precisas.

À medida que os grandes modelos de linguagem continuam a desempenhar um papel crucial em vários domínios, a questão de sua capacidade de discernir fatos da ficção permanece um desafio fundamental. Dan Brown comentou sobre a importância de abordar esse problema, enfatizando que a confiança nesses sistemas provavelmente será uma preocupação persistente.