Google의 LLM 연구에서 얻은 AI 프롬프트 마스터 인사이트

9월 초, 러시아의 기술 거대 기업인 Yandex가 생성형 AI에 대한 사적 미니 컨퍼런스를 주최하면서 AI 커뮤니티는 흥분으로 들썩였습니다. AI의 미묘한 차이를 파고드는 데 중점을 둔 이 행사는 YandexGPT 2와 GPT-4와의 비교 분석에 대한 발표가 나오면서 예상치 못한 전향을 보였습니다.

독점 모델인 YandexGPT 2는 Yandex의 진보의 정점을 보여줄 것으로 예상되었습니다. 그러나 공개는 예상치 못한 사실을 드러냈습니다. 10년 치의 내부 Yandex 데이터에 대한 광범위한 훈련에도 불구하고, 이 모델은 강력한 GPT-4와 비교했을 때 미치지 못했습니다. 이 예상치 못한 반전은 GPT-4가 달성한 놀라운 진보를 강조하며, 독점 개발 및 이전 오픈 소스 버전 모두에 대한 그 우위를 확고히 했습니다.

이러한 기반을 바탕으로 Google은 검색 엔진과 통합된 대규모 언어 모델(LLM)의 응답 정확성에 대한 획기적인 연구를 수행할 기회를 잡았습니다. Google이 발견한 바와 같이, 복잡성은 프롬프트 설계의 미묘함과 LLM의 고유한 능력에 의존하는 이러한 모델의 철저한 평가와 검증에 있습니다.

Google의 LLM 테스트 방법론

600개의 질문으로 구성된 선별된 코퍼스가 LLM을 평가하는 전장이 되었습니다. 이러한 질문은 사실적 정확성을 강조하는 네 가지 서로 다른 그룹으로 전략적으로 나뉘었습니다. 그중 하나의 그룹은 잘못된 전제에 기반한 질문을 포함하여, 부정확한 전제로 모델에 도전했습니다.

분석 결과, GPT-4와 ChatGPT가 특히 잘못된 전제를 반박하는 데 있어 흥미로운 우위를 점하는 것으로 나타났습니다. 비교 평가는 Google 검색 및 PPLX.AI에 대한 이러한 모델의 능력을 보여주었습니다. 텍스트 스니펫이나 첫 페이지 답변을 기반으로 하는 Google 검색은 그룹 전반에 걸쳐 평균적으로 40%의 경우에서 올바른 응답을 제공했습니다. 특히 ChatGPT와 GPT-4는 잘못된 전제 질문 처리에서 더 우수한 성과를 보였으며, GPT-4는 놀라운 42%의 정밀도를 달성했습니다. PPLX.AI는 52%의 준수할 만한 성공률을 보여주어 Google의 응답을 집계하기 위해 ChatGPT를 활용하는 잠재력을 나타냈습니다.

독특한 반전으로, 연구는 새로운 접근 방식을 포함했습니다. 각 질문은 Google 검색을 유발했으며, 그 결과가 프롬프트에 통합되었습니다. 이 Few-Shot 학습 기법은 LLM이 답변을 생성하기 전에 이 정보를 '읽'을 수 있게 했습니다. 결과는 GPT-4의 exceptional(뛰어난) 77% 품질 등급, '영원한' 질문에 대한 96%의 정확성, 그리고 잘못된 전제 질문에 대한 준수할 만한 75%의 정밀도를 보여주었습니다.

AI 프롬프트 마스터십 및 설계

정보의 미로 속에서 대규모 언어 모델을 효과적으로 안내하는 능력은 formidable(엄청난) 도전이었습니다. AI 프롬프트 탐색에서 나온 최근의 발견은 LLM 생성 응답의 품질을 향상시키기 위한 주요 전략을 밝히며, AI 보조의 미묘한 메커니즘에 대한 통찰력을 제공합니다.

기반은 여러 구성 요소로 이루어진 신중한 프롬프트 구조화에 있습니다. 예시적인 예시는 LLM에게 문맥적 단서에 기반하여 정확한 답변을 향해 나아가도록 안내하는 지표 역할을 합니다. 두 번째 층은 실제 쿼리와 10-15개의 검색 결과를 제시하여 AI를 위한 포괄적인 지식 라이브러리를 만드는 것입니다. 정교함은 프롬프트 내에서 링크를 시간순으로 배열하여 정보의 진화하는 본질을 반영하는 것으로 확장됩니다.

이 탐색에서 몇 가지 교훈이 도출됩니다

ChatGPT를 활용하여 Google의 응답을 집계하는 PPLX.AI는 Google 직원들의 인정을 받을 만큼 유망한 옵션으로 부상했습니다.

다양한 요소에 대한 실험은 응답 지표를 향상시킵니다. 프롬프트 구성의 정밀도는 LLM의 효과성에 상당한 영향을 미치는 예술입니다.

GPT-4는 광범위한 뉴스와 텍스트 세트를 처리하는 데 준수할 만한 숙련도를 보여주며, 특히 빠르게 변화하는 뉴스 시나리오에서도 적응력을 보여줍니다. 지표는 약 60% 선에서 움직입니다.

AI 생태계가 확장됨에 따라 검색 엔진에 통합된 LLM은 보편화될 준비가 되어 있습니다. 일상적인 검색 경험의 변혁적 변화는 정보 접근 및 처리에서 AI의 더 넓은 수용을 의미합니다.

효과적인 프롬프트 설계의 다각적 접근 방식은 정교한 언어 모델로부터 정확한 답변을 얻기 위한 유망한 경로를 제공합니다. 프롬프트 내 링크의 시간순 배열과 문맥적 단서는 동적 정보에 대한 이해를 풍부하게 하여, 더 정확하고 문맥을 인식하는 응답을 위한 길을 열습니다.