구글 빅쿼리, 벡터 검색 기능으로 데이터 검색에 혁신을 일으키다

구글은 획기적인 행보로 빅쿼리 플랫폼에 벡터 검색 기능을 통합한다고 발표하며 데이터 및 AI 역량에 상당한 진전을 이루었습니다. 이 최신 기능을 통해 사용자는 벡터 유사성 검색을 수행할 수 있으며, 이는 의미 검색, 유사성 탐지, 대규모 언어 모델(LLM)을 활용한 검색 증강 생성(RAG) 등 다양한 데이터 및 AI 애플리케이션에 필수적입니다.

빅쿼리의 벡터 검색은 미리 보기 모드에서 다양한 데이터 및 AI 사용 사례에 중요한 요소인 근사 최근접 이웃 검색을 지원합니다. 최적화된 인덱스를 기반으로 하는 VECTOR_SEARCH 함수는 효율적인 조회 및 거리 계산을 통해 유사한 임베딩을 신속하게dent합니다.

matic 인덱스 업데이트 및 최적화

BigQuery의 벡터 인덱스는matic으로 업데이트되므로 최신 데이터와의 원활한 통합을 보장합니다. IVF(Inverted File for Vectors)라고 불리는 초기 구현 방식은 클러스터링 모델과 역행렬 식별자를 결합하여 성능을 최적화하는 두 부분으로 구성된 인덱스를 생성합니다.

Google은 LangChain을 활용하여 오픈 소스 및 타사 프레임워크와의 Python 기반 통합을 간소화했습니다. 이 통합을 통해 개발자는 벡터 검색 기능을 기존 워크플로에 원활하게 통합할 수 있습니다.

텍스트 데이터 접근 방식의 확장

오페라의 선임 제품 관리자인 맥스 오스타펜코는 새로운 기능에 대한 기대감을 표하며 "빅쿼리에서 임베딩을 사용한 벡터 검색을 사용해 보고 정말 놀랐습니다! 이제 Vertex AI를 통해 제품 인사이트를 향상시키는 새로운 영역에 뛰어들게 되었습니다. 이는 텍스트 데이터를 다루는 접근 방식을 확장시켜 줍니다."라고 말했습니다

사용자가 벡터 검색의 강력한 기능을 활용할 수 있도록 Google은 포괄적인 튜토리얼을 제공합니다. 이 튜토리얼은 Google Patents 공개 데이터셋을 예시로 사용하여 사전 생성된 임베딩을 활용한 특허 검색, BigQuery 임베딩 생성을 이용한 특허 검색, 그리고 생성 모델과의 통합을 통한 RAG(Resource Angular Group) 활용 등 세 가지 사용 사례를 보여줍니다.

구글의 엔지니어링 리더인 오미드 파테미에와 제품 책임자인 마이클 킬베리는 빅쿼리의 고급 기능을 강조하며, 이를 통해 사용자가 검색 사례를 완전한 RAG(Research, Assessment, Gradient) 여정으로 확장할 수 있다고 설명합니다. 특히, 사용자는 VECTOR_SEARCH 쿼리 결과를 컨텍스트로 활용하여 빅쿼리의 ML.GENERATE_TEXT 함수를 통해 구글의 자연어 기반(LLM) 모델을 호출할 수 있습니다.

구글은 벡터 검색을 넘어 빅쿼리(BigQuery) 기능 향상에 더욱 박차를 가하고 있습니다. 클라우드 서비스 제공업체인 구글은 버텍스 AI(Vertex AI)를 통해 빅쿼리 고객을 위한 제미니 1.0 프로(Gemini 1.0 Pro) 출시를 발표했습니다. 또한, 텍스트 및 음성 처리를 위한 버텍스 AI와의 새로운 빅쿼리 통합 기능도 도입했습니다.

청구 및 가격 책정

벡터 검색 기능 도입으로 BigQuery 사용자는 향상된 기능을 활용할 수 있게 되었지만, CREATE VECTOR INDEX 문과 VECTOR_SEARCH 함수에 대한 요금은 BigQuery 컴퓨팅 요금 체계를 기반으로 계산된다는 점에 유의해야 합니다. CREATE VECTOR INDEX 문의 경우, 인덱싱된 열만 처리된 바이트 수 계산에 포함되므로 투명하고 예측 가능한 사용자 요금 청구가 보장됩니다.

벡터 검색 기능 통합을 통해 Google BigQuery는 데이터 분석 및 AI의 한계를 지속적으로 확장하고 있으며, 사용자가 통찰력을 얻고 혁신을 주도할 수 있도록 강력한 도구를 제공합니다.