Google BigQuery 利用矢量搜索功能革新数据搜索

谷歌宣布将向量搜索功能集成到其 BigQuery 平台，此举意义重大，标志着数据和人工智能能力的显著提升。这项最新功能使用户能够进行向量相似性搜索，这对于语义搜索、相似性检测以及使用大型语言模型 (LLM) 进行检索增强生成 (RAG) 等众多数据和人工智能应用至关重要。.

BigQuery 的向量搜索预览版支持近似最近邻搜索，这对于各种数据和人工智能应用场景至关重要。VECTOR_SEARCH 函数由优化的索引支持，通过高效的查找和距离计算，简化了紧密匹配的嵌入的识别dent。.

matic 索引更新和优化

BigQuery 的向量索引会matic更新，确保与最新数据无缝集成。最初的实现方案称为 IVF（向量倒排索引），它将聚类模型与倒排行定位器相结合，创建了一个两段式索引，从而优化了性能。.

Google 利用 LangChain 简化了基于 Python 的开源及第三方框架的集成。这种集成使开发人员能够将向量搜索功能无缝集成到现有工作流程中。.

扩展文本数据方法

Opera 的高级产品经理 Max Ostapenko 对这项新功能表示兴奋，他说：“在 BigQuery 中尝试使用嵌入向量搜索，结果令人惊喜！我们现在正深入探索如何利用 Vertex AI 来增强产品洞察力。它拓展了您处理文本数据的方法。”

为了帮助用户充分利用向量搜索的强大功能，谷歌提供了一份全面的教程。该教程以谷歌专利公共数据集为例，演示了三种不同的使用场景：使用预生成的嵌入进行专利搜索、使用 BigQuery 生成嵌入进行专利搜索，以及通过与生成模型集成实现 RAG（随机抽样和抽样）功能。.

谷歌工程主管 Omid Fatemieh 和产品负责人 Michael Kilberry 重点介绍了 BigQuery 的高级功能，使用户能够将搜索案例扩展到完整的 RAG（红、红、灰、绿）流程。具体来说，用户可以利用 VECTOR_SEARCH 查询的输出作为上下文，通过 BigQuery 的 ML.GENERATE_TEXT 函数调用谷歌的自然语言基础 (LLM) 模型。.

谷歌对 BigQuery 的改进承诺远不止于矢量搜索。这家云服务提供商宣布，已通过 Vertex AI 向 BigQuery 用户推出 Gemini 1.0 Pro。此外，谷歌还推出了 BigQuery 与 Vertex AI 在文本和语音处理方面的新集成。.

计费和定价

引入向量搜索功能为 BigQuery 用户带来了更强大的功能，但需要注意的是，CREATE VECTOR INDEX 语句和 VECTOR_SEARCH 函数的计费基于 BigQuery 的计算定价。对于 CREATE VECTOR INDEX 语句，计算处理的字节数时仅考虑已建立索引的列，从而确保用户计费透明且可预测。.

通过整合矢量搜索，Google BigQuery 不断突破数据分析和人工智能的界限，为用户提供强大的工具来挖掘洞察并推动创新。.