Sistema inovador de IA demonstra potencial na verificação de software livre de erros

Tradicionalmente, a verificação de código de software tem sido um processo trabalhoso que envolve revisões manuais de código ou a execução do código para identificardent. Embora valiosos, esses métodos são suscetíveis a erros humanos e impraticáveis ​​para sistemas complexos.

Apresentamos Baldur, uma solução meticulosamente projetada que aproveita o poder dos Modelos de Linguagem de Grande Porte (LLMs) para gerar demonstraçõesmaticmatic. Ao otimizar os LLMs com base em extenso conteúdomatice na linguagem Isabelle/HOL usada para as demonstrações, Baldur dá um grande passo rumo à automatização do que antes era uma tarefa árdua. O resultado? Um sistema que trabalha em conjunto com provadores de teoremas para verificar a correção do código reduz significativamente a margem de erro.

No cerne do sucesso do Baldur está a parceria com o Thor, a ferramenta responsável pela geraçãomaticde provas. O Thor ostenta uma taxa de sucesso de 57%, mas, quando combinado com o Baldur, os dois alcançam uma precisão notável de 65,7% na geração de provas. Essa dupla dinâmica, inspirada na mitologia nórdica, demonstra o potencial da verificação de software orientada por IA.

Desafios nos Mestrados em Direito

Um dos principais desafios encontrados ao trabalhar com modelos de lógica de aprendizagem (LLMs), como o ChatGPT, é a sua ocasional falta de precisão. Em vez de emitir alertas, eles podem "falhar silenciosamente", fornecendo resultados errôneos que parecem válidos. Resolver esse problema é crucial para garantir a confiabilidade das provas geradas por IA.

O desenvolvimento do Baldur não foi tarefa fácil, levando vários meses e um esforço colaborativo com o Google. Emily First, a autora principal do projeto, utilizou o Minerva, um LLM treinado em um vasto corpus de texto em linguagem natural. Posteriormente, o Minerva foi ajustado em um substancial conjunto de dados de 118 GB dematicmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmatic.

A abordagem do Baldur para correção de erros é engenhosa. Quando odentde teoremas identifica um erro em uma prova gerada, ele envia essa informação de volta para o Baldur, permitindo que o sistema aprenda com seus erros. Esse processo iterativo aprimora a precisão e a confiabilidade das provas, tornando-o uma ferramenta altamente eficaz para verificação de código.

Um futuro promissor para softwares sem erros

Embora haja espaço para melhorias, o Baldur representa uma via promissora para a verificação formal de software. Os engenheiros ainda são responsáveis ​​pelo desenvolvimento do software, mas agora contam com um poderoso aliado na forma do Baldur, capaz de automatizar a criação de provasmatic.

Yuriy Brun, professor do Manning College of Information and Computer Sciences da UMass Amherst, comentou: “Nosso trabalho se concentra em tentar automatizar a escrita dessas provas. O Baldur usa grandes modelos de linguagem para, dado um teoremamatic, gerarmaticuma prova desse teorema que um provador de teoremas pode então verificar.”

O sucesso de Baldur's Gate é atribuído à equipe dedicada que trabalhou incansavelmente neste projeto. Além de Emily First, Markus Rabe, que trabalhava no Google na época, e Talia Ringer, professora assistente da Universidade de Illinois em Urbana-Champaign, contribuíram significativamente. A Agência de Projetos de Pesquisa Avançada de Defesa (DARPA) e a Fundação Nacional de Ciência (NSF) apoiaram o projeto.

Soluções inovadoras como o Baldur oferecem esperança enquanto a indústria de tecnologia enfrenta a crescente complexidade dos sistemas de software. Com as capacidades da IA ​​em constante evolução e amadurecimento, o potencial do Baldur para elevar a correção de software a novos patamares permanece promissor.