OpenAI continua a testare modelli proprietari di matematica nonostante la richiesta dei suoi consulenti

Il 6 ottobre, OpenAI ha caricato su GitHub 719 articoli di matematica generati da un modello interno non ancora rilasciato.

Una settimana prima, il suo stesso gruppo consultivo aveva chiesto ai laboratori di interrompere i test su problemi matematici avanzati utilizzando modelli proprietari.

Oltre 600 risposte a un sondaggio hanno contribuito a delineare le linee guida del panel dell'IAS del 29 settembre

Il Gruppo Consultivo su Matematica e Intelligenza Artificiale ha sede presso l'Institute for Advanced Study di Princeton, nel New Jersey. Il 29 settembre ha pubblicato raccomandazioni basate su oltre 600 risposte a un sondaggio.

«Vogliamo dichiarare chiaramente fin dall'inizio: non sosteniamo questa pratica e chiediamo loro di interrompere i test su problemi matematici avanzati con modelli proprietari», ha scritto il gruppo.

Lo stesso documento mette in guardia dal fatto che i modelli interni privati rischiano di creare un sistema a due livelli in cui alcuni laboratori superano il resto del campo.

Come parte dello sviluppo del modello, OpenAI dichiara nel proprio repository che testa i propri modelli su problemi di ricerca aperti. Ha esteso questi test dopo che i benchmark matematici esistenti erano già saturi.

OpenAI ha dichiarato di aver consultato il gruppo e di aver tratto spunto dalle sue raccomandazioni per il rilascio. In una dichiarazione pubblicata il 6 ottobre, il gruppo ha precisato che il suo ruolo consultivo non costituisce «un’approvazione del processo attraverso cui OpenAI li ha ottenuti».

Il gruppo ha affidato la valutazione della conformità all'intera comunità matematica.

Il codice Lean per Navier-Stokes dimostra affermazioni più deboli rispetto a quelle del documento scritto

OpenAI ha raggruppato i 719 articoli in 372 famiglie matematiche, ciascuna costruita attorno a un risultato principale e alle relative dimostrazioni. Ha fornito al modello proprietario circa 4.000 problemi e ogni risultato ha richiesto in media circa tre ore di calcolo con il pensiero di ChatGPT Pro.

Il gruppo ha chiesto ai laboratori di intelligenza artificiale di pubblicare il nome del modello, i prompt, una catena di pensiero riassunta, il tempo impiegato e il costo computazionale per ogni risultato.

OpenAI ha pubblicato 10 riassunti di ragionamento e circa il 42% dei risultati principali include formalizzazioni in Lean.

Lean è un linguaggio di programmazione che può essere utilizzato per verificare una dimostrazione tramite computer. Se il codice viene compilato, ciò non significa che il codice e l'argomento scritto siano identici. Significa solo che l'affermazione formalizzata è vera.

Alexander Bastounis, Fabian Circelli e Anders C. Hansen hanno esaminato questo divario in un articolo pubblicato il 6 ottobre. Hanno riscontrato che il documento sui Navier-Stokes scritto da OpenAI avanza affermazioni più forti rispetto a quanto dimostrato dal suo codice Lean, e una stima modifica l'ordine delle derivate degli input.

Gli autori hanno rilevato traduzioni errate simili nella dimostrazione di OpenAI relativa all'equazione di Eulero. La dimostrazione scritta di OpenAI e le altre dimostrazioni Lean autoformalizzate "non dovrebbero essere considerate affidabili a prima vista senza lo stesso processo di revisione paritaria e la stessa scrutinio a cui sono sottoposte le altre dimostrazioni", hanno scritto.

Il risultato sui Navier-Stokes è stato annunciato da OpenAI l'8 settembre. Secondo Cryptopolitan, il matematico della NYU Tristan Buckmaster ha poi contestato la descrizione del minimo contributo umano richiesto per il lavoro.

L'azienda si è impegnata a fornire fondi in contanti per workshop, conferenze e programmi speciali dedicati ai principali risultati dell'intelligenza artificiale.

Il 6 ottobre, Terence Tao ha scritto che i prompter di IA risolvono spesso problemi e poi perdono interesse per il campo. Molti non sono in grado di rispondere a domande o tenere conferenze sui risultati, ha scritto. Il suo post non menzionava OpenAI.

L'azienda ha dichiarato che i suoi consiglieri non hanno voce in capitolo sulla velocità della ricerca, come riportato da Cryptopolitan a settembre.