Un innovador sistema de IA se muestra prometedor en la verificación de software libre de errores

Tradicionalmente, la verificación del código de software ha sido un proceso laborioso que implica revisiones manuales del código o su ejecución para identificardent. Si bien son valiosos, estos métodos son susceptibles a errores humanos y poco prácticos para sistemas complejos.

Presentamos Baldur, una solución meticulosamente diseñada que aprovecha el poder de los Modelos de Lenguaje Grande (LLM) para generar demostracionesmaticautomáticamente. Al optimizar los LLM con un amplio contenidomaticy el lenguaje Isabelle/HOL utilizado para las demostraciones, Baldur da un gran paso hacia la automatización de lo que antes era una tarea ardua. ¿El resultado? Un sistema que trabaja en conjunto conmaticde teoremas para verificar la corrección del código, lo que reduce significativamente el margen de error.

La clave del éxito de Baldur reside en su colaboración con Thor, la herramienta responsable de la generaciónmaticde pruebas. Thor presume de una tasa de éxito del 57 %, pero al combinarse con Baldur, ambos alcanzan una notable precisión del 65,7 % en la generación de pruebas. Este dúo dinámico, inspirado en la mitología nórdica, demuestra el potencial de la verificación de software basada en IA.

Desafíos en los LLM

Uno de los principales desafíos al trabajar con LLM, como ChatGPT, es su ocasional imprecisión. En lugar de alertar, pueden fallar silenciosamente, generando resultados erróneos que parecen válidos. Abordar este problema es crucial para garantizar la fiabilidad de las pruebas generadas por IA.

El desarrollo de Baldur no fue tarea fácil, requirió varios meses y un esfuerzo conjunto con Google. Emily First, la autora principal del proyecto, empleó Minerva, un modelo de lenguaje natural (LLM) entrenado con un vasto corpus de texto en lenguaje natural. Posteriormente, Minerva se perfeccionó con un conjunto de datos sustancial de 118 GB dematicmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmatic.

El enfoque de Baldur para la corrección de errores es ingenioso. Cuando eldentde teoremas identifica un error en una prueba generada, retroalimenta esta información a Baldur, lo que permite que el sistema aprenda de sus errores. Este proceso iterativo mejora la precisión y la fiabilidad de las pruebas, convirtiéndolo en una herramienta muy eficaz para la verificación de código.

Un futuro prometedor para el software libre de errores

Si bien hay margen de mejora, Baldur representa una vía prometedora para la verificación formal de software. Los ingenieros siguen siendo responsables del desarrollo del software, pero ahora cuentan con un poderoso aliado en Baldur, capaz de automatizar la creación dematicmatemáticas.

Yuriy Brun, profesor de la Facultad Manning de Información y Ciencias de la Computación de la Universidad de Massachusetts Amherst, comentó: «Nuestro trabajo se centra en intentar automatizar la escritura de estas demostraciones. Baldur utiliza grandes modelos de lenguaje para, dado un teoremamatic, generarmaticuna demostración de dicho teorema que un demostrador de teoremas pueda verificar»

El éxito de Baldur se atribuye al dedicado equipo que trabajó incansablemente en este proyecto. Junto con Emily First, Markus Rabe, quien trabajaba para Google en aquel momento, y Talia Ringer, profesora adjunta de la Universidad de Illinois—Urbana Champaign, contribuyeron significativamente. La Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) y la Fundación Nacional de Ciencias (NSF) apoyaron el proyecto.

Soluciones innovadoras como Baldur ofrecen esperanza mientras la industria tecnológica se enfrenta a la creciente complejidad de los sistemas de software. Con la continua evolución y maduración de las capacidades de la IA, el potencial de Baldur para impulsar la precisión del software a nuevas cotas sigue siendo prometedor.