Google BigQuery rivoluziona la ricerca dei dati con la funzionalità di ricerca vettoriale

Con una mossa rivoluzionaria, Google ha annunciato l'integrazione della funzionalità di ricerca vettoriale nella sua piattaforma BigQuery, segnando un significativo progresso nelle capacità di dati e intelligenza artificiale. Quest'ultima funzionalità consente agli utenti di effettuare ricerche di similarità vettoriale, essenziali per un'ampia gamma di applicazioni di dati e intelligenza artificiale, come la ricerca semantica, il rilevamento di similarità e la generazione aumentata dal recupero (RAG) utilizzando modelli linguistici di grandi dimensioni (LLM).

Nella sua modalità di anteprima, la ricerca vettoriale di BigQuery consente la ricerca del vicino più prossimo approssimativo, un componente cruciale per vari casi d'uso di dati e intelligenza artificiale. La funzione VECTOR_SEARCH, supportata da un indice ottimizzato, semplifica l'dentdi incorporamenti strettamente corrispondenti attraverso ricerche efficienti e calcoli delle distanze.

Aggiornamenti e ottimizzazione automaticimatic

Gli indici vettoriali di BigQuery vengono aggiornatimatic, garantendo una perfetta integrazione con i dati più recenti. L'implementazione iniziale, denominata IVF (Inverted File for Vectors), combina un modello di clustering con un localizzatore di righe invertite, creando un indice in due parti che ottimizza le prestazioni.

Google ha semplificato le integrazioni basate su Python con framework open source e di terze parti sfruttando LangChain. Questa integrazione consente agli sviluppatori di integrare senza problemi le funzionalità di ricerca vettoriale nei loro flussi di lavoro esistenti.

Espansione degli approcci ai dati testuali

Max Ostapenko, Senior Product Manager di Opera, ha espresso il suo entusiasmo per la nuova funzionalità, affermando: "Sono rimasto piacevolmente sorpreso provando la ricerca vettoriale con incorporamenti in BigQuery! Ora ci stiamo immergendo nel mondo del miglioramento degli insight sui prodotti con Vertex AI. Amplia il tuo approccio al lavoro con i dati testuali"

Per aiutare gli utenti a sfruttare la potenza della ricerca vettoriale, Google ha fornito un tutorial completo. Utilizzando il dataset pubblico di Google Patents come esempio, il tutorial illustra tre casi d'uso distinti: ricerca brevettuale tramite incorporamenti pregenerati, ricerca brevettuale con generazione di incorporamenti BigQuery e RAG tramite integrazione con modelli generativi.

Omid Fatemieh e Michael Kilberry, rispettivamente responsabile dell'ingegneria e responsabile del prodotto di Google, evidenziano le funzionalità avanzate di BigQuery, che consentono agli utenti di estendere i casi di ricerca in percorsi RAG completi. Nello specifico, gli utenti possono sfruttare l'output delle query VECTOR_SEARCH come contesto per invocare i modelli Natural Language Foundation (LLM) di Google tramite la funzione ML.GENERATE_TEXT di BigQuery.

L'impegno di Google nel migliorare BigQuery va oltre la ricerca vettoriale. Il provider cloud ha annunciato la disponibilità di Gemini 1.0 Pro per i clienti BigQuery tramite Vertex AI. Inoltre, è stata introdotta una nuova integrazione di BigQuery con Vertex AI per testo e sintesi vocale.

Fatturazione e prezzi

Sebbene l'introduzione della ricerca vettoriale offra funzionalità avanzate agli utenti di BigQuery, è fondamentale notare che la fatturazione per l'istruzione CREATE VECTOR INDEX e la funzione VECTOR_SEARCH si basa sui prezzi di elaborazione di BigQuery. Per l'istruzione CREATE VECTOR INDEX, solo la colonna indicizzata viene considerata per il calcolo dei byte elaborati, garantendo una fatturazione utente trasparente e prevedibile.

Con l'integrazione della ricerca vettoriale, Google BigQuery continua a superare i limiti dell'analisi dei dati e dell'intelligenza artificiale, offrendo agli utenti potenti strumenti per ottenere informazioni e promuovere l'innovazione.