Un système d'IA innovant se révèle prometteur dans la vérification de logiciels sans bogues

Traditionnellement, la vérification du code logiciel est un processus laborieux qui implique des revues de code manuelles ou l'exécution du code pour identifierdentanomalies. Bien qu'utiles, ces méthodes sont sujettes à l'erreur humaine et impraticables pour les systèmes complexes.

Voici Baldur, une solution conçue avec une grande précision qui exploite la puissance des grands modèles de langage (LLM) pour générermaticdes démonstrationsmatic. En affinant les LLM sur un contenumaticétendu et le langage Isabelle/HOL utilisé pour les démonstrations, Baldur représente un progrès considérable dans l'automatisation d'une tâche autrefois ardue. Résultat ? Un système fonctionnant de concert avec des démonstrateurs de théorèmes pour vérifier la correction du code réduit significativement la marge d'erreur.

Le succès de Baldur repose avant tout sur son partenariat avec Thor, l'outil qui génèrematicles preuves. Thor affiche un taux de réussite de 57 %, mais combiné à Baldur, le duo atteint une précision remarquable de 65,7 % dans la génération de preuves. Ce duo dynamique, inspiré de la mythologie nordique, illustre le potentiel de la vérification logicielle par intelligence artificielle.

Défis liés aux LLM

L'un des principaux défis rencontrés lors de l'utilisation de modèles de langage à longue portée (LLM), tels que ChatGPT, réside dans leurs erreurs ponctuelles. Plutôt que de signaler des problèmes, ils peuvent « défaillir silencieusement », fournissant des résultats erronés qui paraissent valides. Il est crucial de résoudre ce problème afin de garantir la fiabilité des preuves générées par l'IA.

Le développement de Baldur a représenté un travail considérable, nécessitant plusieurs mois de collaboration avec Google. Emily First, auteure principale du projet, a utilisé Minerva, un modèle de langage naturel (LLM) entraîné sur un vaste corpus de textes en langage naturel. Minerva a ensuite été affiné grâce à un important ensemble de données de 118 Go composé d'maticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticmaticdémonstrations

L'approche de Baldur en matière de correction d'erreurs est ingénieuse. Lorsque le démonstrateur de théorèmesdentune erreur dans une preuve générée, il réinjecte cette information dans Baldur, permettant ainsi au système d'apprendre de ses erreurs. Ce processus itératif améliore la précision et la fiabilité des preuves, faisant de Baldur un outil très efficace pour la vérification de code.

Un avenir prometteur pour les logiciels sans bogues

Bien qu'il existe des marges d'amélioration, Baldur représente une voie prometteuse pour la vérification formelle des logiciels. Les ingénieurs restent responsables du développement du logiciel, mais ils disposent désormais d'un allié de taille : Baldur, capable d'automatiser la création de preuvesmatic.

Yuriy Brun, professeur au Manning College of Information and Computer Sciences de l'UMass Amherst, a déclaré : « Nos travaux visent à automatiser la rédaction de ces démonstrations. Baldur utilise de grands modèles de langage pour, à partir d'un théorèmematic, générermaticune démonstration de ce théorème qu'un démonstrateur de théorèmes peut ensuite vérifier. »

Le succès de Baldur est dû à l'équipe dévouée qui a travaillé sans relâche sur ce projet. Outre Emily First, Markus Rabe, alors employé chez Google, et Talia Ringer, professeure adjointe à l'Université de l'Illinois à Urbana-Champaign, ont apporté une contribution essentielle. La DARPA (Defense Advanced Research Projects Agency) et la NSF (National Science Foundation) ont soutenu le projet.

Des solutions innovantes comme Baldur offrent un espoir face à la complexité croissante des systèmes logiciels dans le secteur technologique. Avec l'évolution et la maturation continues des capacités de l'IA, le potentiel de Baldur pour améliorer la fiabilité des logiciels reste prometteur.