O Google BigQuery revoluciona a busca de dados com a funcionalidade de busca vetorial

Em uma iniciativa inovadora, o Google anunciou a integração da funcionalidade de busca vetorial à sua plataforma BigQuery, marcando um avanço significativo em recursos de dados e IA. Esse novo recurso permite que os usuários realizem buscas por similaridade vetorial, essenciais para uma ampla gama de aplicações de dados e IA, como busca semântica, detecção de similaridade e geração aumentada de recuperação (RAG) usando grandes modelos de linguagem (LLMs).

Em seu modo de pré-visualização, a busca vetorial do BigQuery permite a busca aproximada por vizinhos mais próximos, um componente crucial para diversos casos de uso de dados e IA. A função VECTOR_SEARCH, suportada por um índice otimizado, simplifica adentde embeddings com correspondência próxima por meio de buscas eficientes e cálculos de distância.

Atualizações e otimizaçõesmatic de índices

Os índices vetoriais do BigQuery são atualizadosmatic, garantindo uma integração perfeita com os dados mais recentes. A implementação inicial, chamada IVF (Inverted File for Vectors), combina um modelo de agrupamento com um localizador de linhas invertido, criando um índice de duas partes que otimiza o desempenho.

O Google simplificou as integrações baseadas em Python com frameworks de código aberto e de terceiros, aproveitando o LangChain. Essa integração permite que os desenvolvedores incorporem recursos de busca vetorial em seus fluxos de trabalho existentes de forma transparente.

Ampliando as abordagens de dados textuais

Max Ostapenko, gerente sênior de produtos da Opera, expressou seu entusiasmo com o novo recurso, afirmando: "Fiquei positivamente surpreso ao testar a busca vetorial com embeddings no BigQuery! Estamos mergulhando no mundo do aprimoramento de insights de produtos com a IA Vertex. Ela expande suas abordagens para trabalhar com dados textuais."

Para ajudar os usuários a aproveitar o poder da busca vetorial, o Google disponibilizou um tutorial completo. Usando o conjunto de dados público do Google Patents como exemplo, o tutorial demonstra três casos de uso distintos: busca de patentes usando embeddings pré-gerados, busca de patentes com geração de embeddings do BigQuery e RAG (Random Access Groups - Geração Aleatória de Resultados) por meio da integração com modelos generativos.

Omid Fatemieh e Michael Kilberry, respectivamente líder de engenharia e chefe de produto do Google, destacam os recursos avançados do BigQuery, que permitem aos usuários expandir as buscas para jornadas RAG completas. Especificamente, os usuários podem aproveitar a saída das consultas VECTOR_SEARCH como contexto para invocar os modelos da Fundação de Linguagem Natural (LLM) do Google por meio da função ML.GENERATE_TEXT do BigQuery.

O compromisso do Google em aprimorar o BigQuery vai além da busca vetorial. O provedor de nuvem anunciou a disponibilidade do Gemini 1.0 Pro para clientes do BigQuery por meio da Vertex AI. Além disso, foi introduzida uma nova integração do BigQuery com a Vertex AI para texto e fala.

Faturamento e preços

Embora a introdução da pesquisa vetorial traga funcionalidades aprimoradas para os usuários do BigQuery, é essencial observar que a cobrança pela instrução CREATE VECTOR INDEX e pela função VECTOR_SEARCH é baseada nos preços de computação do BigQuery. Para a instrução CREATE VECTOR INDEX, apenas a coluna indexada é considerada para o cálculo dos bytes processados, garantindo uma cobrança transparente e previsível para o usuário.

Com a integração da pesquisa vetorial, o Google BigQuery continua a expandir os limites da análise de dados e da IA, capacitando os usuários com ferramentas poderosas para obter insights e impulsionar a inovação.