Controlando as alucinações da IA: as novas métricas do Galileo Labs para uma IA mais segura e confiável

Com o rápido avanço da IA, as preocupações em torno de suas limitações e implicações éticas ganharam destaque. Um desafio emergente é o fenômeno das alucinações da IA, em que os sistemas de IA geram informações factualmente incorretas, irrelevantes ou sem fundamento na entrada fornecida. Em resposta a essa crescente preocupação, o Galileo Labs introduziu métricas inovadoras com o objetivo de quantificar e mitigar as alucinações da IA. Essas métricas oferecem um caminho promissor para aprimorar a confiabilidade e a segurança de Grandes Modelos de Linguagem (LLMs) e outros sistemas de IA.

A ascensão das alucinações da IA

As tecnologias de IA, particularmente os Modelos de Linguagem de Grande Porte (LLMs), têm alcançado avanços significativos no processamento e geração de linguagem natural. No entanto, esse progresso não ocorreu sem desvantagens. Sistemas de IA, incluindo o ChatGPT, por vezes produzem respostas que soam autoritativas, mas são fundamentalmente incorretas — um fenômeno comumente chamado de "alucinações". O reconhecimento dessas alucinações em IA tornou-se cada vez mais crítico em uma era na qual a IA desempenha um papel central em diversas aplicações.

Em 2023, o Dicionário Cambridge chegou a declarar "alucinar" como a palavra do ano, ressaltando a importância de abordar essa questão. Pesquisadores e profissionais do setor estão agora desenvolvendo ativamente algoritmos e ferramentas para detectar e mitigar essas alucinações de forma eficaz.

Apresentando o índice de alucinações da Galileo Labs

Um participante notável na busca por soluções para as alucinações causadas por IA é o Galileo Labs, que introduziu uma métrica inovadora chamada Índice de Alucinação. Esse índice serve como uma ferramenta para avaliar softwares de aprendizado de máquina populares com base na probabilidade de produzirem alucinações.

A análise da Galileo Labs revela informações intrigantes. Mesmo modelos avançados como o OpenAI GPT-4, considerado um dos melhores em desempenho, são propensos a alucinações em aproximadamente 23% das vezes ao lidar com tarefas básicas de perguntas e respostas. Alguns outros modelos apresentam resultados ainda piores, com uma impressionante propensão a alucinações de 60%. No entanto, compreender essas estatísticas exige uma análise mais detalhada das nuances e das novas métricas empregadas.

Uma abordagem matizada para métricas de alucinação

A Galileo Labs defialucinação como a geração de informações ou dados que são factualmente incorretos, irrelevantes ou sem fundamento na entrada fornecida. É importante ressaltar que a natureza de uma alucinação pode variar dependendo do tipo de tarefa, o que exige uma abordagem específica para cada tarefa na avaliação de sistemas de IA.

Por exemplo, em um cenário de perguntas e respostas onde o contexto é crucial, um modelo de aprendizagem por linguagem (LLM) deve recuperar o contexto relevante e fornecer uma resposta firmemente fundamentada nesse contexto. Para melhorar o desempenho, técnicas como a geração aumentada por recuperação (RAG) fornecem ao LLM informações contextualmente relevantes. Surpreendentemente, o desempenho do GPT-4 piora ligeiramente com a RAG, o que destaca a complexidade de lidar eficazmente com alucinações.

Em contrapartida, para tarefas como a geração de textos longos, é essencial avaliar a veracidade da resposta do analista de conteúdo. Nesse contexto, uma nova métrica denominada "correção"denterros factuais em respostas que não se relacionam a nenhum documento ou contexto específico.

Principais dimensões que influenciam a propensão a alucinações

A Galileo Labsdentdiversas dimensões-chave que influenciam a propensão de uma pessoa com LLM (Liverpool Lymphoma Society) a ter alucinações. Essas dimensões incluem:

1. Tipo de tarefa: A natureza da tarefa — seja ela específica de um domínio ou de propósito geral — afeta a forma como as alucinações se manifestam. Para questões específicas de um domínio, como consultar documentos de uma empresa para responder a uma pergunta, a capacidade do LLM de recuperar e utilizar o contexto necessário desempenha um papel crucial.

2. Tamanho do LLM: O número de parâmetros com os quais um LLM foi treinado pode impactar seu desempenho. Contrariando a noção de que maior é sempre melhor, essa dimensão destaca a necessidade de tamanhos de modelo ideais.

3. Janela de contexto: Em cenários onde o RAG é empregado para aprimorar o contexto, a janela de contexto e as limitações do LLM tornam-se pertinentes. A capacidade do LLM de recuperar informações do meio do texto fornecido, conforme destacado por pesquisas recentes, pode influenciar sua propensão à alucinação.

ChainPoll: Uma metodologia de detecção de alucinações com boa relação custo-benefício

Para agilizar o processo de detecção de alucinações, a Galileo Labs desenvolveu o ChainPoll, uma metodologia inovadora para detecção de alucinações. O ChainPoll utiliza uma abordagem de engenharia de estímulos baseada no custo do pensamento, permitindo explicações precisas ematic a partir de modelos de IA. Essa abordagem auxilia na compreensão das causas das alucinações, facilitando o desenvolvimento de uma IA mais explicável.

A Galileo Labs afirma que o ChainPoll é aproximadamente 20 vezes mais econômico do que as técnicas anteriores de detecção de alucinações. Ele oferece um meio econômico e eficiente de avaliar a qualidade da saída de IA, particularmente em tipos de tarefas comuns, como bate-papo, sumarização e geração, com e sem RAG (Gerador de Alucinações Recorrentes). Além disso, essas métricas exibemtroncorrelações com o feedback humano.

Em direção a uma IA mais segura e confiável

Embora as métricas da Galileo Labs representem um avanço significativo no combate às alucinações da IA, elas ainda estão em desenvolvimento. Alcançar uma correlação de 85% com o feedback humano é louvável, mas deixa espaço para melhorias. As métricas também precisarão ser adaptadas para modelos de aprendizado de máquina multimodais capazes de lidar com diversos tipos de dados, incluindo texto, código, imagens, sons e vídeo.

No entanto, essas métricas fornecem uma ferramenta valiosa para equipes que desenvolvem aplicações LLM. Elas oferecem feedback contínuo durante o desenvolvimento e o monitoramento da produção, permitindo a rápidadentde entradas e saídas que exigem atenção. Isso, por sua vez, reduz o tempo de desenvolvimento necessário para lançar aplicações LLM confiáveis ​​e seguras.

As métricas e metodologias inovadoras da Galileo Labs oferecem uma solução promissora para o problema premente das alucinações causadas pela IA. À medida que as tecnologias de IA continuam a evoluir, garantir a confiabilidade e a precisão dos resultados da IA ​​torna-se fundamental. Embora ainda existam desafios, ferramentas como o Índice de Alucinações e o ChainPoll permitem que desenvolvedores e empresas explorem o potencial da IA ​​de forma mais segura e responsável.

O reconhecimento de alucinações geradas por IA é um passo essencial para o avanço das capacidades da IA ​​além da mera imitação de texto humano. À medida que os sistemas de IA buscam descobrir novas fronteiras, como novos campos da física, essa jornada exigirá abordagens inovadoras para garantir a segurança, a precisão e a implementação ética da IA. As contribuições do Galileo Labs para esse esforço reforçam o compromisso da indústria em expandir os limites da IA, mantendo sua integridade e confiabilidade.