구글 빅쿼리, 벡터 검색 기능으로 데이터 검색 혁신

획기적인 조치로 구글은 빅쿼리 플랫폼에 벡터 검색 기능을 통합했다고 발표했으며, 이는 데이터 및 AI 능력에서 중요한 진전을 의미합니다. 이 최신 기능은 시맨틱 검색, 유사성 감지, 대규모 언어 모델(LLM)을 활용한 검색 증강 생성(RAG) 등 광범위한 데이터 및 AI 애플리케이션에 필수적인 벡터 유사성 검색을 가능하게 합니다.

프리뷰 모드에서 빅쿼리의 벡터 검색은 근접 이웃 검색(approximate nearest-neighbor search)을 가능하게 하며, 이는 다양한 데이터 및 AI 사용 사례에 중요한 구성 요소입니다. 최적화된 인덱스를 지원하는 VECTOR_SEARCH 함수는 효율적인 조회 및 거리 계산을 통해 밀접하게 일치하는 임베딩을 식별하는 과정을 간소화합니다.

자동 인덱스 업데이트 및 최적화

빅쿼리의 벡터 인덱스는 자동으로 업데이트되어 최신 데이터와의 원활한 통합을 보장합니다. IVF(Inverted File for Vectors)라는 이름의 초기 구현은 클러스터링 모델과 역방향 행 위치 지정자를 결합하여 성능을 최적화하는 두 부분으로 구성된 인덱스를 생성합니다.

구글은 LangChain을 활용하여 오픈소스 및 서드파티 프레임워크와의 Python 기반 통합을 간소화했습니다. 이 통합을 통해 개발자는 기존 워크플로우에 벡터 검색 기능을 원활하게 통합할 수 있습니다.

텍스트 데이터 접근 방식 확대

오페라의 수석 제품 관리자 Max Ostapenko는 새로운 기능에 대한 기대감을 표현하며 다음과 같이 말했습니다. “빅쿼리에서 임베딩과 함께 벡터 검색을 사용해 보니 긍정적인 놀라움을 느꼈습니다! 이제 Vertex AI를 통해 제품 인사이트를 강화하는 세계로 뛰어들고 있습니다. 이는 텍스트 데이터 작업 방식을 확장합니다.”

사용자들이 벡터 검색의 힘을 활용할 수 있도록 구글은 포괄적인 튜토리얼을 제공했습니다. 구글 특허 공개 데이터셋을 예로 들어, 사전 생성된 임베딩을 사용한 특허 검색, 빅쿼리 임베딩 생성을 통한 특허 검색, 생성형 모델과의 통합을 통한 RAG 등 세 가지 서로 다른 사용 사례를 시연합니다.

구글의 엔지니어링 리드인 Omid Fatemieh과 제품 책임자인 Michael Kilberry는 빅쿼리의 고급 기능을 강조하며, 사용자가 검색 사례를 전체 RAG 여정으로 확장할 수 있다고 밝혔습니다. 구체적으로 사용자는 빅쿼리의 ML.GENERATE_TEXT 함수를 통해 구글의 자연어 기반 모델(LLM)을 호출하기 위한 컨텍스트로 VECTOR_SEARCH 쿼리의 출력을 활용할 수 있습니다.

구글의 빅쿼리 향상 노력은 벡터 검색을 넘어섭니다. 이 클라우드 제공업체는 Vertex AI를 통해 빅쿼리 고객을 위해 Gemini 1.0 Pro의 이용 가능성을 발표했습니다. 또한 텍스트 및 음성을 위한 Vertex AI와의 새로운 빅쿼리 통합이 도입되었습니다.

청구 및 가격 정책

벡터 검색의 도입으로 빅쿼리 사용자에게 향상된 기능이 제공되지만, CREATE VECTOR INDEX 문 및 VECTOR_SEARCH 함수에 대한 청구는 빅쿼리 컴퓨팅 가격 정책에 기반한다는 점에 유의하는 것이 중요합니다. CREATE VECTOR INDEX 문의 경우 처리된 바이트 계산 시 인덱싱된 열만 고려되므로 투명하고 예측 가능한 사용자 청구가 보장됩니다.

벡터 검색의 통합으로 구글 빅쿼리는 데이터 분석 및 AI의 한계를 계속 넓히며, 통찰력을 풀어나가고 혁신을 주도할 수 있는 강력한 도구로 사용자를 지원합니다.