Modelos de IA, até mesmo o ChatGPT, falham em responder perguntas de documentos da SEC

Nos últimos meses, vimos modelos de linguagem grande fazerem muitas coisas impressionantes, como resumir e escrever textos, mas eles ainda têm dificuldade em interpretar e responder perguntas de documentos da SEC com precisão, até mesmo o melhor de todos — o ChatGPT. 

Modelos de IA têm dificuldade em responder perguntas de documentos da SEC

Durante um teste realizado por pesquisadores de uma startup chamada Patronus AI, os modelos ou se recusaram a responder com base nos documentos da SEC ou alucinaram números e fatos. 

Até mesmo o modelo mais avançado do ChatGPT, “GPT-4-Turbo”, conseguiu responder corretamente apenas 79% das perguntas, de acordo com a startup. 

“Esse tipo de taxa de desempenho é absolutamente inaceitável. Tem que ser muito, muito maior para funcionar de verdade de forma automatizada e pronta para produção”, disse Anand Kannappan, co-fundador da Patronus AI. 

Nem todos têm a expertise legal e financeira para compreender prontamente as nuances dos documentos da SEC, e mesmo a análise manual de documentos complexos é demorada e trabalhosa. 

Modelos de IA que podem resumir com precisão os pontos principais ou responder perguntas específicas de documentos da SEC e documentos importantes são muito significativos e podem economizar tempo valioso das pessoas para se concentrarem em análise e interpretação mais profundas, particularmente na indústria financeira competitiva. 

No entanto, parece que ainda não estamos perto desse nível de confiabilidade e precisão com os modelos de IA existentes para incentivar o uso em produtos reais.

“Não há margem para erro aceitável, porque, especialmente em indústrias regulamentadas, mesmo que o modelo erre a resposta 1 em 20 vezes, essa ainda não é uma precisão alta o suficiente”, disse Rebecca Qian, co-fundadora da Patronus AI.

Modelos de IA são “Nãodeterminísticos”

De acordo com Kannappan, os LLMs são nãodeterminísticos, o que significa que não há garantia de que gerarão o mesmo resultado todas as vezes a partir da mesma entrada. Portanto, as empresas que procuram incorporar modelos de IA ainda precisariam testar rigorosamente para garantir que forneçam resultados precisos e confiáveis e não se desviem do tópico.

Até que os LLMs se tornem mais confiáveis e confiáveis, pode haver uma taxa de adoção lenta em indústrias onde a qualidade dos dados é mais importante, especialmente nas finanças. 

“Definitivamente achamos que os resultados podem ser bastante promissores”, disse Kannappan. “Os modelos continuarão a melhorar com o tempo. Estamos muito esperançosos de que, a longo prazo, muito disso possa ser automatizado. Mas hoje, você definitivamente precisará ter pelo menos um humano no loop para ajudar a apoiar e orientar qualquer fluxo de trabalho que você tenha.”