Apple ha ignorato gli avvertimenti degli ingegneri sulla tecnologia IA difettosa

Apple avrebbe ignorato gli avvertimenti degli ingegneri sulla sua difettosa Apple Intelligence e ha proceduto a rilasciare la tecnologia, ottenendo recensioni di mercato deludenti.

La tecnologia Apple Intelligence del produttore di iPhone ha fatto notizia per motivi sbagliati e ha suscitato ampie critiche, in particolare per aver inventato informazioni false e rovinato i titoli delle notizie.

Gli ingegneri hanno scoperto difetti in molti modelli, inclusa Apple Intelligence

Sebbene sia comune che i modelli linguistici di grandi dimensioni (LLM) allucinino, una sfida che il settore dell'IA non ha ancora risolto, se mai lo farà, il caso di Apple era un po' diverso. Gli ingegneri hanno notato alcune gravi carenze nel modello prima del suo rilascio. Tuttavia, l'azienda ha ignorato gli avvertimenti.

Secondo gli analisti, procedere al rilascio del modello è stato imprudente da parte del gigante tecnologico dopo che erano stati lanciati avvertimenti sulle sue gravi carenze nell'IA. Gli avvertimenti sono arrivati attraverso uno studio rilasciato nell'ottobre dello scorso anno.

Sebbene non sia ancora stato sottoposto a revisione paritaria, lo studio ha anche concluso che i modelli non ragionano, dopo aver testato il “ragionamento” matematico di alcuni dei principali LLM del settore dell'IA.

Per testare i modelli, gli ingegneri li hanno fatti risolvere migliaia di problemi matematici dal ampiamente utilizzato dataset GSM8K, che è il benchmark del settore.

Secondo Futurism, una domanda tipica del dataset recita: “James compra 5 pacchi di manzo che sono di 4 libbre ciascuno. Il prezzo del manzo è di 5,50 dollari a libbra. Quanto ha pagato?”

Gli ingegneri hanno esposto le lacune nei modelli di IA semplicemente cambiando alcuni numeri nelle domande per evitare la contaminazione dei dati. Questo ha causato alcune piccole ma notevoli inaccuracie nei 20 LLM esaminati.

Tuttavia, quando i ricercatori hanno fatto un passo oltre cambiando i nomi e aggiungendo alcuni “dettagli irrilevanti”, i risultati sono stati “catastrofici”, raggiungendo fino al 65%.

I ricercatori hanno scritto: “Questo rivela una carenza critica nella capacità dei modelli di discernere le informazioni rilevanti per la risoluzione dei problemi, probabilmente perché il loro ragionamento non è formale nel termine del buon senso comune e si basa principalmente sulla corrispondenza di pattern.”

Secondo i ricercatori, i risultati differivano con ogni modello. L'01-preview di OpenAI è sceso del 17,5%, e il suo predecessore GPT-4o è sceso del 32%. I ricercatori hanno notato che anche i modelli “più intelligenti” hanno affrontato problemi e hanno mostrato alcune gravi carenze.

I modelli di IA faticano da soli 

I test hanno anche dimostrato che i modelli di IA possono sembrare intelligenti nel risolvere problemi, ma una volta che non stanno copiando i compiti di qualcuno parola per parola, faticano. Per quanto riguarda Apple, il gigante tecnologico avrebbe saputo dei risultati del test ma ha comunque rilasciato il suo modello sul mercato.

Ci è voluta una seria reazione negativa dal mercato, inclusa la BBC che sollevava preoccupazioni sul modello che forniva informazioni fuorvianti, affinché Apple alla fine sospendesse il programma fino a quando non potesse correggerlo.

La funzione AI di Apple doveva riassumere le notifiche delle notizie, ma a volte inventava notizie da sola, con grande dispiacere dei lettori e degli editori di notizie.

Uno degli avvisi di notizie inaccurati sosteneva che Rafael Nadal fosse gay e che un uomo accusato di aver ucciso un capo assicurativo statunitense si fosse sparato. L'IA di Apple ha anche riassunto inaccuratamente le notifiche dell'app BBC per affermare che Luke Littler aveva vinto il Campionato Mondiale di Dardi PDC ore prima che iniziasse.

Un altro riassunto errato di una storia del New York Times sembra essere stato pubblicato il 6 gennaio, relativo al quarto anniversario dei disordini al Campidoglio.

“Le funzionalità di Apple Intelligence sono in beta e stiamo continuando a migliorare con l'aiuto del feedback degli utenti”, ha detto Apple in una dichiarazione alla BBC. “Un aggiornamento software nelle prossime settimane chiarirà ulteriormente quando il testo visualizzato è una sintesi fornita da Apple Intelligence. Incoraggiamo gli utenti a segnalare una preoccupazione se vedono un riepilogo di notifica inaspettato”, ha aggiunto la dichiarazione.

La funzione difettosa di Apple è stata uno degli strumenti AI rilasciati agli utenti di alcuni iPhone più nuovi a dicembre, inclusi gli smartphone iPhone 16, 15 Pro e 15 Pro Max, nonché su alcuni iPad e Mac.