将 GPT-2 集成到 Microsoft Excel 中：一种非常规的 AI 建模方法

软件开发者兼自称电子表格爱好者的伊山·阿南德 (Ishan Anand) 完成了一项惊人的壮举：他成功地将 GPT-2 语言模型集成到了微软 Excel 中。这项突破性的成就不仅展现了电子表格的多功能性，也为我们提供了一个独特的视角，让我们得以了解大型语言模型 (LLM) 的运行机制，特别是负责智能预测下一个词元的底层 Transformer 架构。

阿南德的开创性方法

阿南德认识到人工智能系统固有的复杂性，他认为理解电子表格可以揭开人工智能的奥秘。“如果你能看懂电子表格，那么你就能理解人工智能，”他dent地说道。这位开发者的创新方法最终生成了一个 1.25GB 的电子表格，他慷慨地将其发布在 GitHub 上，供所有人下载和探索。

尽管Anand的GPT-2电子表格实现可能无法与当代语言学习模型（LLM）的尖端功能相媲美，但它让我们得以一窥开创性的GPT-2模型。该模型因其卓越的性能在2019年引起了广泛关注。值得注意的是，GPT-2早于对话式人工智能时代，而ChatGPT则是在2022年通过对话提示GPT-3而诞生的。

探索变压器架构

Anand 的 Excel 实现的核心是 GPT-2 Small 模型，它拥有 1.24 亿个参数。相比之下，完整版的 GPT-2 使用了惊人的 15 亿个参数，而其后续版本 GPT-3 则将参数数量提升到了 1750 亿，将标准推向了新的高度。尽管规模相对较小，Anand 的实现仍然展现了 Transformer 架构执行智能“下一个词元预测”的能力，即语言模型能够智能地补全输入序列中最可能的后续词元。

虽然该电子表格只能处理 10 个输入词元，与 GPT-4 Turbo 的 128,000 个词元的处理能力相比微不足道，但 Anand 的工作仍然是一项宝贵的教育资源。他认为，他的“低代码入门”非常适合希望更好地理解逻辑逻辑模型 (LLM) 基础知识的技术高管、营销人员、产品经理、人工智能政策制定者、伦理学家、开发人员和科学家。

现代法学硕士的基础

Anand 断言，他实现的 GPT-2 中使用的 Transformer 架构仍然是“OpenAI 的 ChatGPT、Anthropic 的 Claude、Google 的 Bard/Gemini、Meta 的 Llama 以及许多其他语言学习模型的基础”。他的多页文档指导用户完成单词标记化、文本位置和权重设置、迭代改进下一个单词预测，并最终选择输出标记——序列中预测的最后一个单词。

Anand 基于 Excel 的实现方案的一大优势在于，它能够完全在本地 PC 上运行 LLM，无需依赖云服务或 API 调用。然而，他提醒用户不要尝试在 Mac 或云端电子表格应用程序上使用此 Excel 文件，因为这可能会导致崩溃和性能问题。此外，Anand 建议使用最新版本的 Excel 以获得最佳性能。

尽管Anand的GPT-2实现可能不及当代语言模型（LLM）的功能强大，但它仍然是一款卓越的教育工具，也证明了电子表格的多功能性。Anand的工作通过揭示语言模型的内部运作机制，使不同背景的人们能够更深入地理解人工智能及其底层架构原理。