Google BigQuery revoluciona la búsqueda de datos con la función de búsqueda vectorial

En un movimiento revolucionario, Google anunció la integración de la función de búsqueda vectorial en su plataforma BigQuery, lo que supone un avance significativo en las capacidades de datos e IA. Esta nueva función permite a los usuarios realizar búsquedas por similitud vectorial, esenciales para una amplia gama de aplicaciones de datos e IA, como la búsqueda semántica, la detección de similitudes y la generación aumentada por recuperación (RAG) mediante modelos de lenguaje extensos (LLM).

En su modo de vista previa, la búsqueda vectorial de BigQuery permite la búsqueda aproximada del vecino más cercano, un componente crucial para diversos casos de uso de datos e IA. La función VECTOR_SEARCH, respaldada por un índice optimizado, agiliza ladentde incrustaciones con alta coincidencia mediante búsquedas eficientes y cálculos de distancia.

Actualizaciones y optimizaciónmatic del índice

Los índices vectoriales de BigQuery se actualizanmatic, lo que garantiza una integración fluida con los datos más recientes. La implementación inicial, denominada IVF (Archivo Invertido para Vectores), combina un modelo de agrupamiento con un localizador de filas invertido, creando un índice de dos partes que optimiza el rendimiento.

Google ha simplificado las integraciones basadas en Python con frameworks de código abierto y de terceros aprovechando LangChain. Esta integración permite a los desarrolladores incorporar funciones de búsqueda vectorial a sus flujos de trabajo existentes sin problemas.

Ampliación de los enfoques de datos textuales

Max Ostapenko, gerente sénior de producto de Opera, expresó su entusiasmo por la nueva función: "¡Me sorprendió gratamente probar la búsqueda vectorial con incrustaciones en BigQuery! Nos estamos adentrando en el mundo de la mejora de la información de producto con Vertex AI. Amplía tus enfoques para trabajar con datos textuales".

Para ayudar a los usuarios a aprovechar al máximo la eficacia de la búsqueda vectorial, Google ofrece un tutorial completo. Utilizando el conjunto de datos públicos de Patentes de Google como ejemplo, el tutorial muestra tres casos de uso distintos: búsqueda de patentes mediante incrustaciones pregeneradas, búsqueda de patentes con generación de incrustaciones de BigQuery y RAG mediante la integración con modelos generativos.

Omid Fatemieh y Michael Kilberry, jefe de ingeniería y jefe de producto de Google, respectivamente, destacan las capacidades avanzadas de BigQuery, que permiten a los usuarios ampliar los casos de búsqueda a recorridos RAG completos. En concreto, los usuarios pueden aprovechar el resultado de las consultas VECTOR_SEARCH como contexto para invocar los modelos de la Fundación del Lenguaje Natural (LLM) de Google mediante la función ML.GENERATE_TEXT de BigQuery.

El compromiso de Google con la mejora de BigQuery va más allá de la búsqueda vectorial. El proveedor de la nube ha anunciado la disponibilidad de Gemini 1.0 Pro para los clientes de BigQuery a través de Vertex AI. Además, se ha introducido una nueva integración de BigQuery con Vertex AI para texto y voz.

Facturación y precios

Si bien la introducción de la búsqueda vectorial ofrece una funcionalidad mejorada a los usuarios de BigQuery, es fundamental tener en cuenta que la facturación de la instrucción CREATE VECTOR INDEX y la función VECTOR_SEARCH se basa en los precios de procesamiento de BigQuery. En el caso de la instrucción CREATE VECTOR INDEX, solo se considera la columna indexada para calcular los bytes procesados, lo que garantiza una facturación transparente y predecible.

Con la integración de la búsqueda vectorial, Google BigQuery continúa ampliando los límites del análisis de datos y la inteligencia artificial, brindando a los usuarios herramientas poderosas para desbloquear conocimientos e impulsar la innovación.