Google BigQuery révolutionne la recherche de données grâce à sa fonctionnalité de recherche vectorielle

Google a franchi une étape majeure en annonçant l'intégration de la recherche vectorielle à sa plateforme BigQuery, marquant ainsi une avancée significative dans le domaine des données et de l'intelligence artificielle. Cette nouvelle fonctionnalité permet aux utilisateurs d'effectuer des recherches de similarité vectorielle, essentielles pour un large éventail d'applications de données et d'IA telles que la recherche sémantique, la détection de similarités et la génération augmentée par la recherche (RAG) à l'aide de grands modèles de langage (LLM).

En mode aperçu, la recherche vectorielle de BigQuery permet une recherche approximative des plus proches voisins, un élément crucial pour de nombreux cas d'utilisation liés aux données et à l'IA. La fonction VECTOR_SEARCH, grâce à un index optimisé, simplifie l'dentdes plongements le plus proches par des recherches et des calculs de distance efficaces.

Mises à jour et optimisationmatic de l'index

Les index vectoriels de BigQuery sont mis à jourmatic, garantissant une intégration parfaite avec les données les plus récentes. L'implémentation initiale, baptisée IVF (Inverted File for Vectors), combine un modèle de clustering avec un localisateur de lignes inversé, créant ainsi un index en deux parties qui optimise les performances.

Google a simplifié l'intégration de Python avec les frameworks open source et tiers grâce à LangChain. Cette intégration permet aux développeurs d'intégrer facilement des fonctionnalités de recherche vectorielle à leurs flux de travail existants.

Développement des approches de données textuelles

Max Ostapenko, chef de produit senior chez Opera, a exprimé son enthousiasme concernant cette nouvelle fonctionnalité : « J’ai été agréablement surpris par la recherche vectorielle avec des plongements lexicaux dans BigQuery ! Nous explorons désormais le monde de l’amélioration des connaissances produits grâce à Vertex AI. Cela élargit considérablement les possibilités de traitement des données textuelles. »

Pour aider les utilisateurs à exploiter la puissance de la recherche vectorielle, Google propose un tutoriel complet. S'appuyant sur le jeu de données public Google Patents, ce tutoriel présente trois cas d'utilisation distincts : la recherche de brevets à l'aide d'embeddings pré-générés, la recherche de brevets avec génération d'embeddings BigQuery et la recherche de modèles génératifs (RAG).

Omid Fatemieh et Michael Kilberry, respectivement responsable de l'ingénierie et responsable produit chez Google, mettent en avant les fonctionnalités avancées de BigQuery, qui permettent aux utilisateurs d'étendre leurs recherches à des parcours RAG complets. Plus précisément, les utilisateurs peuvent exploiter les résultats des requêtes VECTOR_SEARCH comme contexte pour invoquer les modèles de la base de données de langage naturel (LLM) de Google via la fonction ML.GENERATE_TEXT de BigQuery.

L'engagement de Google à améliorer BigQuery ne se limite pas à la recherche vectorielle. Le fournisseur de cloud a annoncé la disponibilité de Gemini 1.0 Pro pour les clients BigQuery via Vertex AI. De plus, une nouvelle intégration de BigQuery avec Vertex AI pour le traitement du texte et de la parole a été mise en place.

Facturation et tarification

L'introduction de la recherche vectorielle offre des fonctionnalités améliorées aux utilisateurs de BigQuery. Il est important de noter que la facturation de l'instruction CREATE VECTOR INDEX et de la fonction VECTOR_SEARCH est basée sur la tarification des ressources de calcul BigQuery. Pour l'instruction CREATE VECTOR INDEX, seule la colonne indexée est prise en compte pour le calcul des octets traités, ce qui garantit une facturation transparente et prévisible.

Grâce à l'intégration de la recherche vectorielle, Google BigQuery continue de repousser les limites de l'analyse des données et de l'IA, en offrant aux utilisateurs des outils puissants pour exploiter des informations précieuses et stimuler l'innovation.