来自谷歌对大型语言模型研究的AI提示词掌握见解

9月初，随着俄罗斯科技巨头Yandex举办了一场关于生成式AI的私人小型会议，AI社区一片沸腾。这次会议旨在深入探讨AI的复杂性，但当关于YandexGPT 2及其与GPT-4的比较分析的消息曝光时，事态出现了意想不到的转折。

YandexGPT 2是一个专有模型，原本预计将展示Yandex advancements的巅峰之作。然而，揭幕式揭示了一个意想不到的发现——即使经过对Yandex十年内部数据的广泛训练，该模型在与强大的GPT-4相比时仍显不足。这一意想不到的转折突显了GPT-4取得的非凡进步，巩固了其在专有开发和先前开源版本之上的统治地位。

在此基础上，谷歌抓住机会，对集成搜索引擎的大型语言模型（LLM）的响应准确性进行了一项开创性研究。谷歌发现，复杂性在于对这些模型进行细致的评估和验证，这取决于提示词设计的细微差别以及LLM的内在能力。

谷歌的LLM测试方法

一个精心策划的包含600个问题的语料库成为了评估LLM的战场。这些问题被战略性地分为四个不同的组，每组都强调事实准确性。其中一组与众不同，其问题基于错误的前提，用不准确的前提挑战模型。

分析显示，GPT-4和ChatGPT在反驳错误前提方面占据主导地位。比较评估展示了这些模型相对于Google搜索和PPLX.AI的优势。Google搜索基于文本片段或第一页答案，在跨组的案例中平均有40%提供了正确响应。值得注意的是，ChatGPT和GPT-4在处理错误前提问题方面表现更佳，GPT-4达到了令人印象深刻的42%的准确率。PPLX.AI展示了值得称赞的52%的成功率，表明其在利用ChatGPT聚合Google响应方面的潜力。

在一个独特的转折中，该研究采用了一种新方法——每个问题都提示进行Google搜索，并将结果整合到提示词中。这种少样本学习（Few-Shot learning）技术允许LLM在生成答案之前“阅读”这些信息。结果显示，GPT-4的质量评级高达77%，在回答“永恒”类问题时准确率达到96%，在处理错误前提问题时也有值得称赞的75%的准确率。

AI提示词掌握与设计

有效地引导大型语言模型穿越信息迷宫一直是一个巨大的挑战。最近从AI提示词探索中揭示的关键策略阐明了提高LLM生成响应质量的方法，提供了对AI辅助细微机制的见解。

基础在于仔细的提示词结构，由多个组件组成。示例性示例作为LLM的指导标记，根据上下文线索引导它们得出精确的答案。第二层涉及呈现实际查询以及10-15个搜索结果，为AI创建一个全面的知识库。其复杂性还延伸到在提示词中按时间顺序排列链接，以反映信息的演变性质。

从这次探索中出现了几个要点

PPLX.AI利用ChatGPT聚合Google的响应，成为一个有前景的选项，甚至获得了谷歌员工的认可。

对各个元素的实验有助于提升响应指标。提示词构建的精准度是一门艺术，对大型语言模型（LLM）的有效性有着显著影响。

GPT-4在处理大量新闻和文本方面表现出值得称赞的能力，展示了其在快速变化的新闻场景中的适应性，指标徘徊在60%左右。

随着AI生态系统的扩展，集成到搜索引擎中的LLM有望变得无处不在。日常搜索体验的变革性转变标志着更广泛地接受AI来获取和处理信息。

有效提示词设计的多方面方法为从复杂的语言模型中获得准确答案提供了一条有希望的道路。提示词中链接的时间顺序排列与上下文线索相结合，丰富了对动态信息的理解，为更精确和上下文感知的响应铺平了道路。