Google BigQuery совершает революцию в поиске данных благодаря функциональности векторного поиска

Компания Google совершила революционный шаг, объявив об интеграции функции векторного поиска в свою платформу BigQuery, что знаменует собой значительный прогресс в возможностях обработки данных и искусственного интеллекта. Эта новая функция позволяет пользователям проводить векторный поиск сходства, что крайне важно для широкого спектра приложений обработки данных и ИИ, таких как семантический поиск, обнаружение сходства и генерация с расширенными возможностями поиска (RAG) с использованием больших языковых моделей (LLM).

В режиме предварительного просмотра векторный поиск BigQuery позволяет осуществлять приблизительный поиск ближайших соседей, что является важнейшим компонентом для различных сценариев использования данных и искусственного интеллекта. Функция VECTOR_SEARCH, поддерживаемая оптимизированным индексом, упрощаетdentблизко совпадающих эмбеддингов за счет эффективного поиска и вычисления расстояний.

matic обновление и оптимизация индексов

Векторные индексы BigQuerymaticобновляются, обеспечивая бесшовную интеграцию с последними данными. Первоначальная реализация, получившая название IVF (Inverted File for Vectors), сочетает в себе модель кластеризации с инвертированным локатором строк, создавая двухкомпонентный индекс, оптимизирующий производительность.

Компания Google упростила интеграцию Python с открытыми и сторонними фреймворками, используя LangChain. Эта интеграция позволяет разработчикам беспрепятственно интегрировать возможности векторного поиска в существующие рабочие процессы.

Расширение подходов к обработке текстовых данных

Макс Остапенко, старший менеджер по продуктам в Opera, выразил свой восторг по поводу новой функции, заявив: «Я был приятно удивлен, попробовав векторный поиск с использованием эмбеддингов в BigQuery! Сейчас мы погружаемся в мир улучшения аналитики продуктов с помощью Vertex AI. Это расширяет ваши возможности работы с текстовыми данными»

Чтобы помочь пользователям использовать возможности векторного поиска, Google подготовил подробное руководство. На примере общедоступного набора данных Google Patents руководство демонстрирует три различных варианта использования: поиск патентов с использованием предварительно сгенерированных векторных представлений, поиск патентов с генерацией векторных представлений в BigQuery и RAG посредством интеграции с генеративными моделями.

Омид Фатемие и Майкл Килберри, руководитель инженерного отдела и глава отдела продуктов Google соответственно, подчеркивают расширенные возможности BigQuery, позволяющие пользователям расширять поисковые запросы до полноценных RAG-путей. В частности, пользователи могут использовать результаты запросов VECTOR_SEARCH в качестве контекста для вызова моделей Google Natural Language Foundation (LLM) с помощью функции BigQuery ML.GENERATE_TEXT.

Стремление Google к совершенствованию BigQuery выходит за рамки векторного поиска. Облачный провайдер объявил о доступности Gemini 1.0 Pro для клиентов BigQuery через Vertex AI. Кроме того, была представлена ​​новая интеграция BigQuery с Vertex AI для обработки текста и речи.

Выставление счетов и ценообразование

Хотя внедрение векторного поиска расширяет функциональность для пользователей BigQuery, важно отметить, что оплата за оператор CREATE VECTOR INDEX и функцию VECTOR_SEARCH основана на тарифах BigQuery на вычислительные ресурсы. Для оператора CREATE VECTOR INDEX при вычислении обработанных байтов учитывается только индексированный столбец, что обеспечивает прозрачное и предсказуемое выставление счетов пользователям.

Благодаря интеграции векторного поиска, Google BigQuery продолжает расширять границы анализа данных и искусственного интеллекта, предоставляя пользователям мощные инструменты для получения ценных аналитических данных и стимулирования инноваций.