Google BigQuery révolutionne la recherche de données avec la fonctionnalité de recherche vectorielle
- La recherche vectorielle dans BigQuery permet la recherche sémantique, la détection de similarité et le RAG avec des LLM.
- Les mises à jour automatiques des index et les recherches optimisées améliorent les performances de la recherche vectorielle.
- L'intégration avec LangChain simplifie les workflows basés sur Python et le support des frameworks tiers.
Dans un mouvement novateur, Google a annoncé l'intégration de la fonctionnalité de recherche vectorielle dans sa plateforme BigQuery, marquant une avancée significative dans les capacités de données et d'IA. Cette dernière fonctionnalité permet aux utilisateurs d'effectuer des recherches de similarité vectorielle, essentielles pour un large éventail d'applications de données et d'IA telles que la recherche sémantique, la détection de similarité et la génération augmentée de récupération (RAG) utilisant des modèles de langage larges (LLM).
En mode aperçu, la recherche vectorielle de BigQuery permet une recherche de plus proche voisin approximatif, un composant crucial pour divers cas d'utilisation de données et d'IA. La fonction VECTOR_SEARCH, soutenue par un index optimisé, rationalise l'identification des embeddings étroitement correspondants grâce à des recherches efficaces et des calculs de distance.
Mises à jour et optimisation automatiques des index
Les index vectoriels de BigQuery sont mis à jour automatiquement, assurant une intégration transparente avec les dernières données. La mise en œuvre initiale, baptisée IVF (Inverted File for Vectors), combine un modèle de clustering avec un localisateur de lignes inversé, créant un index en deux parties qui optimise les performances.
Google a simplifié les intégrations basées sur Python avec les frameworks open source et tiers en tirant parti de LangChain. Cette intégration permet aux développeurs d'incorporer seamlessly les capacités de recherche vectorielle dans leurs flux de travail existants.
Élargissement des approches des données textuelles
Max Ostapenko, chef de produit senior chez Opera, a exprimé son enthousiasme concernant la nouvelle fonctionnalité, déclarant : « Je viens d'être agréablement surpris en essayant la recherche vectorielle avec des embeddings dans BigQuery ! Nous plongeons maintenant dans le monde de l'amélioration des insights produits avec Vertex AI. Cela élargit vos approches de travail avec les données textuelles. »
Pour aider les utilisateurs à tirer parti de la puissance de la recherche vectorielle, Google a fourni un tutoriel complet. En utilisant l'ensemble de données public Google Patents comme exemple, le tutoriel démontre trois cas d'utilisation distincts : la recherche de brevets à l'aide d'embeddings pré-générés, la recherche de brevets avec la génération d'embeddings BigQuery, et le RAG via l'intégration avec des modèles génératifs.
Omid Fatemieh et Michael Kilberry, respectivement responsable de l'ingénierie et directeur produit chez Google, mettent en évidence les capacités avancées de BigQuery, permettant aux utilisateurs d'étendre les cas de recherche en parcours RAG complets. Plus précisément, les utilisateurs peuvent tirer parti de la sortie des requêtes VECTOR_SEARCH comme contexte pour invoquer les modèles de langage fondamental (LLM) de Google via la fonction ML.GENERATE_TEXT de BigQuery.
L'engagement de Google à améliorer BigQuery va au-delà de la recherche vectorielle. Le fournisseur cloud a annoncé la disponibilité de Gemini 1.0 Pro pour les clients BigQuery via Vertex AI. De plus, une nouvelle intégration BigQuery avec Vertex AI pour le texte et la parole a été introduite.
Facturation et tarification
Bien que l'introduction de la recherche vectorielle apporte des fonctionnalités améliorées aux utilisateurs de BigQuery, il est essentiel de noter que la facturation pour la déclaration CREATE VECTOR INDEX et la fonction VECTOR_SEARCH est basée sur la tarification du calcul BigQuery. Pour la déclaration CREATE VECTOR INDEX, seule la colonne indexée est prise en compte pour le calcul des octets traités, assurant une facturation utilisateur transparente et prévisible.
Avec l'intégration de la recherche vectorielle, Google BigQuery continue de repousser les limites de l'analyse de données et de l'IA, dotant les utilisateurs d'outils puissants pour débloquer des insights et stimuler l'innovation.
Ne vous contentez pas de lire les actualités crypto. Comprenez-les. Abonnez-vous à notre newsletter. C'est gratuit.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Glory Kaburu
Glory est une journaliste extrêmement compétente, maîtrisant les outils d'intelligence artificielle et la recherche. Passionnée par l'IA, elle a rédigé plusieurs articles sur le sujet. Elle se tient informée des dernières avancées en intelligence artificielle, en apprentissage automatique et en apprentissage profond, et écrit régulièrement à ce propos.
