Apple ha ignorato gli avvertimenti degli ingegneri sulla tecnologia AI difettosa

Secondo quanto riferito, Apple ha ignorato gli avvertimenti degli ingegneri riguardo al difetto del suo sistema Apple Intelligence e ha continuato a rilasciare la tecnologia, ottenendo recensioni deludenti sul mercato.

Apple Intelligence, il programma del produttore di iPhone, ha fatto notizia per i motivi sbagliati e ha ricevuto ampie critiche, in particolare per aver inventato informazioni false e pasticciato i titoli delle notizie.

Gli ingegneri hanno scoperto guasti in molti modelli, tra cui Apple Intelligence

Sebbene sia comune che i modelli linguistici di grandi dimensioni presentino allucinazioni, una sfida che l'industria dell'intelligenza artificiale deve ancora risolvere, se mai lo farà, il caso di Apple è stato un po' diverso. Gli ingegneri hanno notato alcuni difetti profondi nel modello prima del suo rilascio. Ciononostante, l'azienda ha ignorato gli avvertimenti.

Secondo gli analisti, la decisione del colosso tecnologico di rilasciare il modello è stata avventata, soprattutto dopo gli avvertimenti sulle gravi lacune della sua intelligenza artificiale defiTali avvertimenti erano emersi da uno studio pubblicato nell'ottobre dello scorso anno.

Sebbene non sia ancora stato sottoposto a revisione paritaria, lo studio ha anche concluso che i modelli non ragionano, dopo aver testato il "ragionamento"maticdi alcuni dei principali LLM nel settore dell'intelligenza artificiale.

Per testare i modelli, gli ingegneri hanno chiesto loro di risolvere migliaia di problemi matematici tratti dal dataset GSM8K, ampiamente utilizzato e considerato il punto di riferimento del settore.

Secondo Futurism, una tipica domanda tratta dal dataset recita: "James compra 5 confezioni di carne di manzo da 4 libbre ciascuna. Il prezzo della carne è di 5,50 dollari al chilo. Quanto ha pagato?"

Gli ingegneri hanno evidenziato le lacune nei modelli di intelligenza artificiale semplicemente modificando alcuni numeri nelle domande per evitare la contaminazione dei dati. Ciò ha causato alcune piccole ma notevoli imprecisioni nei 20 LLM esaminati.

Tuttavia, quando i ricercatori hanno fatto un ulteriore passo avanti, cambiando i nomi e aggiungendo alcuni "dettagli irrilevanti", i risultati sono stati "catastrofici", raggiungendo addirittura il 65%.

I ricercatori hanno scritto: "Ciò rivela un difetto critico nella capacità dei modelli di discernere informazioni rilevanti per la risoluzione dei problemi, probabilmente perché il loro ragionamento non è formale nel senso comune del termine e si basa principalmente sulla corrispondenza di schemi"

Secondo i ricercatori, i risultati differivano con ciascun modello. L'anteprima 01 di OpenAI è scesa del 17,5% e il suo predecessore GPT-4o del 32%. I ricercatori hanno notato che anche i modelli "più intelligenti" presentavano problemi e presentavano alcune gravi falle.

I modelli di intelligenza artificiale hanno difficoltà da soli 

I test hanno anche dimostrato che i modelli di intelligenza artificiale possono sembrare intelligenti nella risoluzione dei problemi, ma quando non si limitano a copiare parola per parola i compiti di qualcuno, incontrano difficoltà. Per quanto riguarda Apple, a quanto pare il colosso tecnologico era a conoscenza dei risultati dei test, ma ha comunque immesso sul mercato il suo modello.

Ci sono volute forti reazioni negative da parte del mercato, tra cui la BBC che ha sollevato preoccupazioni sul fatto che il modello fornisse informazioni fuorvianti, perché Apple decidesse di sospendere il programma finché non avesse potuto risolvere il problema.

Ci si aspettava che la funzionalità di intelligenza artificiale di Apple riassumesse le notifiche delle notizie, ma a volte creava autonomamente notizie, con grande dispiacere dei lettori e degli editori di notizie.

Uno degli avvisi di notizie imprecisi sosteneva che Rafael Nadal fosse gay e che un uomo accusato di aver ucciso un dirigente assicurativo statunitense si fosse sparato. L'intelligenza artificiale di Apple ha anche riassunto in modo impreciso le notifiche dell'app BBC, affermando che Luke Littler aveva vinto il campionato mondiale di freccette PDC poche ore prima del suo inizio.

Un altro riassunto errato di un articolo del New York Times sembra essere stato pubblicato il 6 gennaio, in occasione del quarto anniversario delle rivolte di Capitol Hill.

"Le funzionalità di Apple Intelligence sono in versione beta e le miglioriamo continuamente grazie al feedback degli utenti", ha dichiarato Apple in un comunicato alla BBC. "Un aggiornamento software nelle prossime settimane chiarirà ulteriormente quando il testo visualizzato è un riepilogo fornito da Apple Intelligence. Invitiamo gli utenti a segnalare eventuali problemi qualora visualizzino un riepilogo di notifica inaspettato", aggiunge.

La funzionalità difettosa di Apple era uno degli strumenti di intelligenza artificiale rilasciati agli utenti di alcuni nuovi iPhone a dicembre, tra cui iPhone 16, 15 Pro e 15 Pro Max, nonché su alcuni iPad e Mac.