Google BigQuery revolutioniert die Datensuche mit Vektorsuchfunktion

In einer bahnbrechenden Bewegung kündigte Google die Integration der Vektorsuchfunktion in seine BigQuery-Plattform an, was einen bedeutenden Fortschritt in den Daten- und KI-Fähigkeiten markiert. Dieses neueste Feature ermöglicht es Benutzern, Vektor-Ähnlichkeitssuchen durchzuführen, die für eine breite Palette von Daten- und KI-Anwendungen wie semantische Suche, Ähnlichkeitserkennung und retrieval-augmented generation (RAG) unter Verwendung von Large Language Models (LLMs) unerlässlich sind.

Im Vorschau-Modus ermöglicht BigQuerys Vektorsuche eine approximative Suche nach dem nächsten Nachbarn, eine entscheidende Komponente für verschiedene Daten- und KI-Anwendungsfälle. Die VECTOR_SEARCH-Funktion, unterstützt durch einen optimierten Index, vereinfacht die Identifizierung eng passender Embeddings durch effiziente Lookups und Distanzberechnungen.

Automatische Indexaktualisierungen und -optimierung

BigQuerys Vektoreindizes werden automatisch aktualisiert, um eine nahtlose Integration mit den neuesten Daten zu gewährleisten. Die erste Implementierung, getauft IVF (Inverted File for Vectors), kombiniert ein Clustering-Modell mit einem invertierten Zeilenlokator und erstellt einen zweigeteilten Index, der die Leistung optimiert.

Google hat Python-basierte Integrationen mit Open-Source- und Drittanbieter-Frameworks durch die Nutzung von LangChain vereinfacht. Diese Integration ermöglicht es Entwicklern, Vektorsuchfähigkeiten nahtlos in ihre bestehenden Workflows zu integrieren.

Erweiterung textbasierter Datenansätze

Max Ostapenko, Senior Product Manager bei Opera, äußerte seine Begeisterung über das neue Feature und sagte: „Ich war positiv überrascht, als ich die Vektorsuche mit Embeddings in BigQuery ausprobiert habe! Wir tauchen jetzt in die Welt der Verbesserung von Produkt-Einblicken mit Vertex AI ein. Es erweitert Ihre Ansätze im Umgang mit textuellen Daten.“

Um Benutzern bei der Nutzung der Kraft der Vektorsuche zu helfen, hat Google ein umfassendes Tutorial bereitgestellt. Am Beispiel des öffentlichen Google-Patents-Datensatzes demonstriert das Tutorial drei verschiedene Anwendungsfälle: Patentsuche mit vorgenerierten Embeddings, Patentsuche mit BigQuery-Embedding-Generierung und RAG durch Integration mit generativen Modellen.

Omid Fatemieh und Michael Kilberry, Engineering Lead bzw. Head of Product bei Google, heben die erweiterten Fähigkeiten von BigQuery hervor, die es Benutzern ermöglichen, die Suchfälle in vollständige RAG-Journeys zu erweitern. Konkret können Benutzer die Ausgabe von VECTOR_SEARCH-Abfragen als Kontext für das Aufrufen von Google’s natürlichen Sprachgrundlagenmodellen (LLM) über BigQuerys ML.GENERATE_TEXT-Funktion nutzen.

Googles Engagement zur Verbesserung von BigQuery geht über die Vektorsuche hinaus. Der Cloud-Anbieter hat die Verfügbarkeit von Gemini 1.0 Pro für BigQuery-Kunden über Vertex AI angekündigt. Darüber hinaus wurde eine neue BigQuery-Integration mit Vertex AI für Text und Sprache eingeführt.

Abrechnung und Preise

Während die Einführung der Vektorsuche erweiterte Funktionen für BigQuery-Benutzer bringt, ist es wichtig zu beachten, dass die Abrechnung für die CREATE VECTOR INDEX-Anweisung und die VECTOR_SEARCH-Funktion auf der BigQuery-Compute-Preisgestaltung basiert. Für die CREATE VECTOR INDEX-Anweisung wird nur die indizierte Spalte für die Berechnung der verarbeiteten Bytes berücksichtigt, was eine transparente und vorhersehbare Abrechnung für den Benutzer sicherstellt.

Mit der Integration der Vektorsuche stößt Google BigQuery weiterhin die Grenzen der Datenanalyse und KI voran und befähigt Benutzer mit leistungsstarken Tools, Einblicke zu gewinnen und Innovationen voranzutreiben.