Approfondimenti sulla padronanza dei prompt AI dallo studio di Google sui LLM

All'inizio di settembre, la comunità dell'IA era in fermento per l'eccitazione mentre Yandex, il gigante tecnologico russo, ha ospitato una mini-conferenza privata sull'IA generativa. L'evento, focalizzato sull'esplorare le intricazioni dell'IA, ha preso una piega inaspettata quando sono emerse rivelazioni su YandexGPT 2 e il suo confronto con GPT-4.

YandexGPT 2, un modello proprietario, doveva mostrare l'apice dei progressi di Yandex. Ma, la presentazione ha portato alla luce una rivelazione imprevista: il modello, anche con un addestramento estensivo su un decennio di dati interni di Yandex, è risultato inferiore rispetto al formidabile GPT-4. Questa svolta inaspettata ha sottolineato i notevoli progressi realizzati da GPT-4, consolidando la sua supremazia sia sugli sviluppi proprietari che sulle precedenti iterazioni open-source.

Sulla base di questo fondamento, Google ha colto l'opportunità di condurre uno studio rivoluzionario sull'accuratezza delle risposte dei Modelli Linguistici di Grande Dimensione (LLM) integrati con i motori di ricerca. La complessità, come ha scoperto Google, risiede nella valutazione e validazione meticolose di questi modelli, che dipicano dalle intricazioni del design del prompt e dalle capacità intrinseche dei LLM.

Metodologia del test LLM di Google

Un corpus curato di 600 domande ha servito come campo di battaglia per valutare i LLM. Queste domande sono state strategicamente divise in quattro gruppi distinti, ciascuno enfatizzando l'accuratezza fattuale. Un gruppo, ma, si è distinto con domande radicate in premesse false, sfidando i modelli con premesse inaccurate.

L'analisi ha rivelato una dominazione intrigante di GPT-4 e ChatGPT, in particolare nel confutare premesse false. Le valutazioni comparative hanno mostrato la potenza di questi modelli rispetto alla ricerca di Google e PPLX.AI. La ricerca di Google, basata su snippet di testo o risposte di prima pagina, ha fornito risposte corrette nel 40% dei casi in media tra i gruppi. Notabilmente, ChatGPT e GPT-4 hanno superato nella gestione delle domande con premesse false, con GPT-4 che ha raggiunto un'impressionante precisione del 42%. PPLX.AI ha dimostrato un commendevole tasso di successo del 52%, indicando il suo potenziale nel sfruttare ChatGPT per aggregare le risposte di Google.

In una svolta unica, lo studio ha incorporato un approccio nuovo: ogni domanda ha sollecitato una ricerca su Google, con i risultati integrati nel prompt. Questa tecnica di apprendimento Few-Shot ha permesso ai LLM di 'leggere' queste informazioni prima di generare le risposte. I risultati hanno mostrato la qualità eccezionale del 77% di GPT-4, con un'accuratezza del 96% nel rispondere alle domande «etern»e e un commendevole 75% di precisione nell'affrontare le domande con premesse false.

Padronaggio e progettazione dei prompt per l'IA

La capacità di guidare efficacemente i modelli linguistici di grandi dimensioni (LLM) attraverso un labirinto di informazioni è stata una sfida formidabile. Le recenti scoperte nell'esplorazione dei prompt per l'IA illuminano strategie chiave per migliorare la qualità delle risposte generate dagli LLM, offrendo approfondimenti sulla meccanica sfumata dell'assistenza dell'IA.

Le fondamenta risiedono in un'attenta strutturazione del prompt, composta da più componenti. Gli esempi illustrativi fungono da indicatori guida per gli LLM, indirizzandoli verso risposte precise basate su indizi contestuali. Il secondo livello prevede la presentazione della query effettiva insieme a 10-15 risultati di ricerca, creando una libreria di conoscenza completa per l'IA. La sofisticazione si estende all'ordinamento cronologico dei link all'interno del prompt, rispecchiando la natura in evoluzione delle informazioni.

Dall'esplorazione emergono diverse conclusioni

PPLX.AI, che sfrutta ChatGPT per aggregare le risposte di Google, si presenta come un'opzione promettente, ottenendo persino il plauso da dipendenti di Google.

La sperimentazione con vari elementi migliora le metriche di risposta. La precisione nella costruzione del prompt è un'arte che impatta significativamente l'efficacia dei LLM.

GPT-4 dimostra una commendevole competenza nell'elaborare ampi set di notizie e testi, mostrando la sua adattabilità anche in scenari di notizie in rapida evoluzione, con metriche che si attestano intorno al 60%.

Mentre l'ecosistema dell'IA si espande, gli LLM integrati nei motori di ricerca sono destinati a diventare onnipresenti. Il cambiamento trasformativo nelle esperienze di ricerca quotidiane segnala un'adozione più ampia dell'IA nell'accesso e nell'elaborazione delle informazioni.

L'approccio multifaccettato di un'efficace progettazione dei prompt offre una strada promettente verso risposte accurate da modelli linguistici sofisticati. L'ordinamento cronologico dei link all'interno dei prompt, unito agli indizi contestuali, arricchisce la comprensione delle informazioni dinamiche, aprendo la strada a risposte più precise e consapevoli del contesto.