Google BigQuery revolutioniert die Datensuche mit der Vektorsuchfunktionalität

Google hat mit der Integration der Vektorsuche in seine BigQuery-Plattform einen bahnbrechenden Schritt vollzogen und damit die Möglichkeiten von Daten und KI deutlich erweitert. Diese neue Funktion ermöglicht es Nutzern, Vektorähnlichkeitssuchen durchzuführen, die für eine Vielzahl von Daten- und KI-Anwendungen wie semantische Suche, Ähnlichkeitserkennung und Retrieval-Augmented Generation (RAG) mithilfe großer Sprachmodelle (LLMs) unerlässlich sind.

Im Vorschaumodus ermöglicht die Vektorsuche von BigQuery die Suche nach annähernden nächsten Nachbarn – eine entscheidende Komponente für diverse Daten- und KI-Anwendungsfälle. Die Funktion VECTOR_SEARCH, unterstützt durch einen optimierten Index, vereinfacht diedenteng übereinstimmender Einbettungen durch effiziente Suchvorgänge und Distanzberechnungen.

matic Indexaktualisierungen und -optimierung

Die Vektorindizes von BigQuery werdenmaticaktualisiert und gewährleisten so eine nahtlose Integration mit den neuesten Daten. Die ursprüngliche Implementierung, IVF (Inverted File for Vectors) genannt, kombiniert ein Clustering-Modell mit einem invertierten Zeilenlocator und erzeugt so einen zweiteiligen Index, der die Leistung optimiert.

Google hat die Integration von Python-basierten Frameworks mit Open-Source- und Drittanbieter-Frameworks durch die Nutzung von LangChain vereinfacht. Diese Integration ermöglicht es Entwicklern, Vektorsuchfunktionen nahtlos in ihre bestehenden Arbeitsabläufe einzubinden.

Erweiterung textueller Datenansätze

Max Ostapenko, Senior Produktmanager bei Opera, zeigte sich begeistert von der neuen Funktion: „Ich war positiv überrascht, als ich die Vektorsuche mit Einbettungen in BigQuery ausprobiert habe! Wir tauchen jetzt mit Vertex AI in die Welt der verbesserten Produktanalysen ein. Es erweitert Ihre Möglichkeiten zur Arbeit mit Textdaten.“

Um Nutzern die Vorteile der Vektorsuche näherzubringen, hat Google ein umfassendes Tutorial bereitgestellt. Anhand des öffentlichen Datensatzes von Google Patents werden drei verschiedene Anwendungsfälle demonstriert: Patentsuche mit vorab generierten Einbettungen, Patentsuche mit BigQuery-Einbettungsgenerierung und RAG durch Integration mit generativen Modellen.

Omid Fatemieh und Michael Kilberry, Engineering Lead bzw. Produktchef bei Google, heben die erweiterten Funktionen von BigQuery hervor, mit denen Nutzer Suchanfragen zu vollständigen RAG-Abläufen ausweiten können. Konkret können Nutzer die Ausgabe von VECTOR_SEARCH-Abfragen als Kontext für den Aufruf von Googles Natural Language Foundation (LLM)-Modellen über die Funktion ML.GENERATE_TEXT von BigQuery nutzen.

Googles Engagement für die Weiterentwicklung von BigQuery geht über die Vektorsuche hinaus. Der Cloud-Anbieter hat die Verfügbarkeit von Gemini 1.0 Pro für BigQuery-Kunden über Vertex AI bekannt gegeben. Darüber hinaus wurde eine neue BigQuery-Integration mit Vertex AI für Text- und Sprachverarbeitung eingeführt.

Abrechnung und Preisgestaltung

Die Einführung der Vektorsuche bietet BigQuery-Nutzern zwar erweiterte Funktionen, es ist jedoch wichtig zu beachten, dass die Abrechnung der Anweisung CREATE VECTOR INDEX und der Funktion VECTOR_SEARCH auf den BigQuery-Rechenpreisen basiert. Bei der Anweisung CREATE VECTOR INDEX wird für die Berechnung der verarbeiteten Bytes nur die indizierte Spalte berücksichtigt, wodurch eine transparente und vorhersehbare Abrechnung für die Nutzer gewährleistet wird.

Mit der Integration der Vektorsuche verschiebt Google BigQuery weiterhin die Grenzen der Datenanalyse und KI und stattet die Nutzer mit leistungsstarken Werkzeugen aus, um Erkenntnisse zu gewinnen und Innovationen voranzutreiben.