Il modello o3 di OpenAI non all'altezza delle proprie affermazioni sui benchmark
- OpenAI ha affermato che il suo modello o3 sarebbe in grado di risolvere oltre il 25% dei problemi di FrontierMath, ma nuovi test condotti da Epoch AI rivelano che la versione pubblica riesce a risolverne solo circa il 10%.
- Il premio ARC Prize e un ingegnere di OpenAI confermano che il modello rilasciato è una versione più snella e veloce, ottimizzata per l'uso nella chat.
- Anche aziende concorrenti, tra cui xAI e Meta, sono sotto esame per i risultati gonfiati nei benchmark.
Il più recente LLM di OpenAI, o3, sta affrontando scrutinio dopo che test indipendenti hanno trovato che ha risolto un numero molto inferiore di difficili problemi di matematica rispetto a quanto inizialmente affermato dall'azienda.
Quando OpenAI ha presentato o3 a dicembre, i dirigenti hanno detto che il modello poteva rispondere «appena oltre un quarto» dei problemi in FrontierMath, un insieme notoriamente difficile di enigmi matematici di livello universitario avanzato.
Il miglior concorrente, hanno aggiunto, era fermo intorno al 2%. «Oggi, tutte le offerte disponibili hanno meno del 2%», ha dichiarato il Chief Research Officer Mark Chen durante la trasmissione in diretta di o3 e o3 mini. «Stiamo vedendo, con o3 in impostazioni di calcolo aggressive al momento del test, siamo in grado di superare il 25%.»
TechCrunch ha riportato che il risultato è stato ottenuto da OpenAI su una versione di o3 che utilizzava più potenza di calcolo rispetto al modello rilasciato dall'azienda la settimana scorsa.
Venerdì, l'istituto di ricerca Epoch AI, che ha creato FrontierMath, ha pubblicato il proprio punteggio per o3 pubblico.
OpenAI ha rilasciato o3, il suo modello di ragionamento molto atteso, insieme a o4-mini, un modello più piccolo ed economico che succede a o3-mini.
Abbiamo valutato i nuovi modelli sulla nostra suite di benchmark di matematica e scienze. Risultati in thread! pic.twitter.com/5gbtzkEy1B
— Epoch AI (@EpochAIResearch) Aprile 18, 2025
Utilizzando un'edizione aggiornata del benchmark con 290 domande, Epoch ha posizionato il modello intorno al 10%.
Il risultato corrisponde a una figura al limite inferiore nel documento tecnico di dicembre di OpenAI, e Epoch ha avvertito che la discrepanza potrebbe essere dovuta a vari motivi.
«La differenza tra i nostri risultati e quelli di OpenAI potrebbe essere dovuta al fatto che OpenAI valuta con un scaffold interno più potente, utilizzando più calcolo al momento del test, o perché quei risultati sono stati eseguiti su un sottoinsieme diverso di FrontierMath», ha scritto Epoch .
FrontierMath è progettato per misurare i progressi verso il ragionamento matematico avanzato. L'insieme pubblico di dicembre 2024 conteneva 180 problemi, mentre l'aggiornamento privato di febbraio 2025 ha ampliato il pool a 290.
Le variazioni nell'elenco delle domande e nella quantità di potenza di calcolo consentita al momento del test possono causare grandi oscillazioni nelle percentuali riportate.
OpenAI conferma che il modello o3 pubblico utilizza meno calcolo rispetto alla versione demo
Anche le prove della fondazione ARC Prize Foundation hanno fornito prove che la versione commerciale di o3 è carente, poiché hanno provato una build precedente e più grande. Il rilascio pubblico «è un modello diverso… ottimizzato per l'uso chat/prodotto», ha scritto la Fondazione ARC Price su X, aggiungendo che «tutti i tier di calcolo di o3 rilasciati sono più piccoli della versione che abbiamo sottoposto a benchmark.»
Il dipendente di OpenAI Wenda Zhou ha offerto una spiegazione simile durante una trasmissione in diretta la scorsa settimana. Il sistema di produzione, ha detto, era «più ottimizzato per casi d'uso del mondo reale» e velocità. «Abbiamo fatto [ottimizzazioni] per rendere il modello più efficiente in termini di costi [e] più utile in generale», ha detto Zhou, riconoscendo possibili «disparità» nei benchmark.
Due modelli più piccoli dell'azienda, o3-mini-high e il nuovo o4-mini, hanno già superato o3 su FrontierMath, e OpenAI dice che una migliore variante o3-pro arriverà nelle prossime settimane.
Tuttavia, mostra quanto i titoli sui benchmark possano essere fuorvianti. A gennaio, Epoch è stata criticata per aver ritardato la divulgazione del finanziamento di OpenAI fino dopo il debutto di o3. Più recentemente, l'avvio di Elon Musk xAI è stato accusato di presentare grafici che esageravano le capacità del suo modello Grok 3.
Gli osservatori del settore dicono che tali controversie sui benchmark stanno diventando un'occorrenza nell'industria dell'IA mentre le aziende corrono per catturare i titoli con nuovi modelli.
Non limitarti a leggere le notizie sulle criptovalute. Comprendile. Iscriviti alla nostra newsletter. È gratuita.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Noor Bazmi
Noor Bazmi contribuisce al team di notizie di Cryptopolitan, dotata di una laurea in Studi dei Media. Noor si occupa di notizie su blockchain, criptovalute, intelligenza artificiale, Big Tech, mercati EV, economia globale e cambiamenti nelle politiche governative. Sta seguendo studi di marketing per connettersi con un pubblico globale.
