- AI 模型在准确回答美国证券交易委员会（SEC）文件中的问题方面仍面临挑战。
- 最先进的 ChatGPT 模型仅能正确回答 79% 的问题，这“不可接受”。
- 在数据质量至关重要的行业，直到大型语言模型变得更加可信和可靠之前，其采用率可能会缓慢增长。
在过去几个月里，我们看到大型语言模型做了很多令人印象深刻的事情，比如总结和撰写文本，但它们仍然难以准确解释和回答来自 SEC 文件的问题，即使是最好的模型——ChatGPT 也不例外。
AI 模型难以回答来自 SEC 文件的问题
在一家名为 Patronus AI 的初创公司进行的一项测试中，这些模型要么拒绝回答来自 SEC 文件的问题，要么捏造了数字和事实。
据该初创公司称，即使是最先进的 ChatGPT 模型“GPT-4-Turbo”，也只能正确回答 79% 的问题。
“这种表现率是完全不可接受的。为了真正以自动化和生产就绪的方式工作，它必须高得多得多，”Patronus AI 联合创始人 Anand Kannappan 说。
并非每个人都有法律和金融专业知识来轻松掌握 SEC 文件的细微差别，而且即使手动筛选复杂的文件也是耗时且繁琐的。
能够准确总结 SEC 文件和重要文件中的关键点或回答特定问题的 AI 模型非常重要，可以节省人们宝贵的时间，让他们专注于更深入地分析和解读，特别是在竞争激烈的金融行业中。
然而，似乎我们离现有 AI 模型的可靠性和准确性水平还很远，不足以鼓励其在实际产品中的使用。
“没有可接受的错误余地，因为特别是在受监管的行业，即使模型每 20 次中有 1 次答错，准确率仍然不够高，”Patronus AI 联合创始人 Rebecca Qian 说。
AI 模型是“非确定性的”
根据 Kannappan 的说法，LLM 是非确定性的，这意味着它们不能保证从相同的输入每次都生成相同的结果。因此，希望整合 AI 模型的公司仍然需要进行严格测试，以确保它们提供准确可靠的结果，而不会偏离主题。
在 LLM 变得更加可信和可靠之前，在数据质量至关重要的行业（尤其是金融领域）中，采用率可能会缓慢。
“我们确实认为结果可能非常令人鼓舞，”Kannappan 说。“模型会随着时间推移不断改进。我们非常有希望，从长远来看，其中很多内容可以实现自动化。但今天，你肯定需要在循环中至少有一名人类来帮助支持和指导你所拥有的任何工作流程。”
不要只是阅读加密货币新闻，要真正理解它。订阅我们的通讯。 免费。
免责声明。 本文提供的信息不构成交易建议。 Cryptopolitan.com 对于基于本页信息进行的任何投资，我们不承担任何责任。我们强烈建议在进行任何投资决策之前，进行独立研究或咨询合格的专业人士。
Ibiam Wayas
Ibiam Wayas自2019年起一直负责加密货币新闻报道。他在尼日利亚国家开放大学攻读计算机科学专业。他的作品曾刊登于多个加密货币新闻平台，包括Coinfomania、Crypto News Australia和AltcoinBuzz。凭借其在计算机科学领域的背景，他目前专注于加密货币、机器人技术和长寿领域的新闻。
