GPT-2 集成至 Microsoft Excel：一种非传统的 AI 建模方法

在一项非凡的壮举中，软件开发者、自称为电子表格爱好者的 Ishan Anand 成功将 GPT-2 语言模型集成到了 Microsoft Excel 中。这一突破性成就不仅展示了电子表格的 versatility，还为人们深入了解大型语言模型（LLMs）的运作方式——特别是负责智能下一个词元预测的底层 Transformer 架构——提供了独特的视角。

Anand 的开创性方法

认识到人工智能系统的内在复杂性，Anand 坚信理解电子表格就能揭开人工智能的奥秘。"如果你能理解电子表格，你就能理解人工智能，"他自信地表示。这位开发者的创新方法最终生成了一份 1.25GB 的电子表格，并慷慨地在 GitHub 上提供下载，供任何人探索研究。

虽然 Anand 基于电子表格实现的 GPT-2 可能无法与当代大语言模型（LLM）的前沿能力相媲美，但它为 2019 年因卓越性能而备受瞩目的开创性 GPT-2 模型提供了宝贵的洞察。值得注意的是，GPT-2 诞生于对话式 AI 时代之前；ChatGPT 则是 2022 年通过尝试以对话方式提示 GPT-3 而诞生的成果。

探索 Transformer 架构

Anand 的 Excel 实现的核心是 GPT-2 Small 模型，该模型拥有 1.24 亿个参数。相比之下，GPT-2 完整版采用了惊人的 15 亿个参数，而其继任者 GPT-3 更是将标准提升至高达 1750 亿个参数。尽管规模相对 modest，但 Anand 的实现展示了 Transformer 架构执行智能“下一个词预测”的能力，即语言模型能够智能地根据最可能的后续部分补全输入序列。

虽然该电子表格仅能处理 10 个 token 的输入，与 GPT-4 Turbo 可处理的 128,000 个 token 相比微不足道，但 Anand 的工作仍是一份宝贵的教育资源。他认为，他的“低代码入门指南”非常适合希望更深入理解大语言模型（LLM）基础的技术高管、营销人员、产品经理、AI 政策制定者、伦理学家、开发者和科学家。

现代大语言模型的基础

Anand 指出，他用于 GPT-2 实现的 Transformer 架构仍是 OpenAI 的 ChatGPT、Anthropic 的 Claude、Google 的 Bard/Gemini、Meta 的 Llama 以及众多其他大语言模型（LLM）的基础。他的多工作表指南引导用户完成词元化、文本位置与权重分配、下一词预测的迭代优化，并最终选择输出词元——即序列中预测的最后一个词。

Anand 基于 Excel 的实现方案的一大显著优势是能够完全在本地 PC 上运行大语言模型，无需依赖云服务或 API 调用。不过，他提醒用户避免在 Mac 系统或云端电子表格应用中使用此 Excel 文件，因为这可能导致程序崩溃和性能问题。此外，Anand 建议使用最新版本的 Excel 以获得最佳性能。

尽管Anand的GPT-2实现可能无法与当代大语言模型的能力相媲美，但它作为卓越的教育工具和电子表格多功能性的有力证明，意义非凡。通过揭开语言模型内部运作的神秘面纱，Anand的工作赋能来自不同背景的个人，使其更深入地理解人工智能及其底层架构原理。