Google BigQuery通过向量搜索功能革新数据搜索

作者

Glory Kaburu 2 分钟阅读发布 9年 2024月

BigQuery 中的向量搜索支持语义搜索、相似度检测和基于大语言模型（LLM）的检索增强生成（RAG）。
自动索引更新和优化查找功能提升了向量搜索的性能。
与 LangChain 集成简化了基于 Python 的工作流程，并支持第三方框架。

Google宣布将其BigQuery平台集成向量搜索功能，这是一个开创性的举措，标志着数据和AI能力的重大进步。这一最新功能使用户能够进行向量相似度搜索，这对于各种数据和AI应用至关重要，例如语义搜索、相似度检测以及使用大型语言模型（LLM）的检索增强生成（RAG）。

在预览模式下，BigQuery的向量搜索支持近似最近邻搜索，这是各种数据和AI用例的关键组成部分。VECTOR_SEARCH函数在优化索引的支持下，通过高效的查找和距离计算，简化了紧密匹配嵌入的识别。

自动索引更新和优化

BigQuery的向量索引会自动更新，确保与最新数据的无缝集成。初始实现被称为IVF（向量倒排文件），它将聚类模型与倒排行定位器相结合，创建一个两部分的索引以优化性能。

Google通过利用LangChain简化了与开源和第三方框架的Python集成。此集成使开发人员能够将其现有的工作流程无缝地融入向量搜索功能。

扩展文本数据处理方法

Opera的高级产品经理Max Ostapenko对新功能表示兴奋，他说：“刚刚尝试在BigQuery中使用嵌入进行向量搜索，结果令人惊喜！我们现在正深入探索利用Vertex AI增强产品洞察力的世界。它扩展了您处理文本数据的方法。”

为了帮助用户利用向量搜索的力量，Google提供了一个全面的教程。以Google Patents公共数据集为例，该教程演示了三种不同的用例：使用预生成嵌入的专利搜索、使用BigQuery嵌入生成的专利搜索，以及通过生成模型集成实现的RAG。

Google的工程主管和产品负责人Omid Fatemieh和Michael Kilberry强调了BigQuery的高级功能，使用户能够将搜索案例扩展到完整的RAG旅程。具体而言，用户可以将VECTOR_SEARCH查询的输出作为上下文，通过BigQuery的ML.GENERATE_TEXT函数调用Google的自然语言基础（LLM）模型。

Google对增强BigQuery的承诺不仅限于向量搜索。云提供商宣布通过Vertex AI向BigQuery客户提供Gemini 1.0 Pro。此外，还推出了BigQuery与Vertex AI在文本和语音方面的新集成。