Google BigQuery がベクトル検索機能でデータ検索に革命を起こす

Googleは画期的な取り組みとして、BigQueryプラットフォームへのベクトル検索機能の統合を発表しました。これは、データとAI機能の大幅な進歩を示すものです。この最新機能により、セマンティック検索、類似度検出、大規模言語モデル（LLM）を用いた検索拡張生成（RAG）など、幅広いデータおよびAIアプリケーションに不可欠なベクトル類似度検索が可能になります。.

BigQueryのベクトル検索は、プレビューモードでは近似最近傍検索を可能にします。これは、様々なデータおよびAIユースケースに不可欠な要素です。最適化されたインデックスでサポートされるVECTOR_SEARCH関数は、効率的な検索と距離計算を通じて、密接に一致する埋め込みのdentを効率化します。.

matic インデックス更新と最適化

BigQuery のベクトルインデックスはmaticに更新され、最新データとのシームレスな統合を保証します。IVF（Inverted File for Vectors）と呼ばれる最初の実装は、クラスタリングモデルと反転行ロケータを組み合わせ、パフォーマンスを最適化する2ピースインデックスを作成します。.

Googleは、LangChainを活用することで、オープンソースおよびサードパーティのフレームワークとのPythonベースの統合を簡素化しました。この統合により、開発者はベクトル検索機能を既存のワークフローにシームレスに組み込むことができます。.

テキストデータアプローチの拡張

Operaのシニアプロダクトマネージャー、Max Ostapenko氏は、この新機能への期待を次のように表明しました。「BigQueryで埋め込みを使ったベクトル検索を試してみて、良い驚きを感じました！Vertex AIを活用して、プロダクトインサイトを強化する世界に飛び込んでいます。これにより、テキストデータの処理方法がさらに広がります。」

ベクトル検索の威力をユーザーが最大限に活用できるよう、Google は包括的なチュートリアルを提供しています。このチュートリアルでは、Google Patents 公開データセットを例に、事前生成された埋め込みデータを使用した特許検索、BigQuery 埋め込みデータ生成による特許検索、生成モデルとの統合による RAG という 3 つの異なるユースケースを解説しています。.

GoogleのエンジニアリングリードであるOmid Fatemieh氏とプロダクト責任者であるMichael Kilberry氏は、BigQueryの高度な機能について強調しています。この機能により、ユーザーは検索ケースを完全なRAGジャーニーへと拡張できます。具体的には、BigQueryのML.GENERATE_TEXT関数を介して、VECTOR_SEARCHクエリの出力をGoogleの自然言語基盤（LLM）モデルを呼び出すためのコンテキストとして活用できます。.

GoogleのBigQuery強化への取り組みは、ベクトル検索だけにとどまりません。クラウドプロバイダーであるGoogleは、Vertex AIを通じてBigQueryユーザー向けにGemini 1.0 Proの提供を開始すると発表しました。さらに、テキストと音声認識のためのVertex AIとの新たなBigQuery統合も導入されました。.

請求と料金

ベクトル検索の導入によりBigQueryユーザーの機能は強化されますが、CREATE VECTOR INDEX文とVECTOR_SEARCH関数の課金はBigQueryのコンピューティング料金に基づいていることにご注意ください。CREATE VECTOR INDEX文では、処理バイト数の計算にインデックス列のみが考慮されるため、透明性と予測可能性の高いユーザー課金が実現します。.

ベクトル検索の統合により、Google BigQuery はデータ分析と AI の限界を押し広げ続け、強力なツールでユーザーに洞察力を与え、イノベーションを推進します。.