最新新闻
为您推荐

Anthropic 撤回了隐藏 Claude Fable 5 限制的政策

作者Ashish KumarAshish Kumar 3 分钟阅读
Anthropic 撤回了隐藏 Claude Fable 5 限制的政策
  • Anthropic 道歉并撤销了一项隐藏的 Claude Fable 5 政策,该政策在遭到广泛批评后,悄悄降低了部分高级 AI 研究查询的性能。
  • 研究人员警告称,这些限制可能导致 AI 能力集中在少数公司手中,并延缓独立的科学进步。
  • 这一争议发生在 Anthropic 准备潜在 IPO、估值接近 9650 亿美元之际,使其与科研社区的关系受到审视。

Anthropic 道歉并撤回 该政策原本会秘密限制 Claude Fable 5 对人工智能开发者的性能。科学家警告称,限制性政策可能使人工智能的高级功能仅对少数公司开放,从而阻碍全球科学的发展。

Anthropic 的这一决定(于 6 月 10 日做出)的影响远远超过了一家公司的行动。鉴于其近 9650 亿美元的估值和即将进行的 IPO,这一事件揭示了人工智能行业内部一个至关重要的矛盾:开发最佳模型的公司如何在满足竞争需求与推动全球创新的开放研究文化之间取得平衡。

Anthropic 隐藏 Claude Fable 5 限制引发行业愤怒

随着 发布 Claude Fable 5 于 6 月 9, Anthropic 公开 四类保护措施, 包括网络安全、生物学、化学和人工智能研究。其中三类措施作用相似。每当检测到敏感查询时,系统要么完全拒绝,要么将用户引导至 Claude Opus 4.8(其前顶级产品),并显示开放警报。

然而,第四类措施与其他类别不同。当面对关于新兴人工智能的查询时,Fable 5 会降低其输出的质量,而不会让用户知晓。 据《财富》杂志 关于该公告的报道 Anthropic 的 319 页系统卡片.

据 Anthropic, 这一限制生效的概率约为 0.03%。但这一原则比百分比本身更令研究人员感到不安。

“我们做出了错误的权衡,并为未能把握平衡而道歉,”据报道,Anthropic 解释道。

批评者称 Claude Fable 5 的限制威胁了独立的人工智能研究

这一批评来自很少意见一致的人群。开源支持者、与人工智能合作的安全研究人员,甚至 Anthropic 的前员工都在系统卡片发布后的几个小时内提出了反对意见。

人工智能初创公司 Prime Intellect 的研究主管 Will Brown 表示,该政策感觉像是公司“正在把梯子收起来”。他补充说,越来越多的公司正在评估前沿系统的安全性和可靠性。隐蔽的性能下降可能会破坏他们的验证过程。

Nathan Lambert 是一位开源模型研究人员,曾领导艾伦人工智能研究所的相关工作,他的声明更为强烈。 他在 X 上 表示,该政策“清楚地表明 Anthropic 是反科学的,因此也是反进步和反安全的。”

AnswerDotAI 的联合创始人 Jeremy Howard 将这一问题视为一种竞争性的权力攫取。Howard 认为,Anthropic 自己的研究人员仍然可以在内部使用不受限制模型,这意味着前沿技术将继续推进,而外部研究人员则会落后。他 stating 称“人工智能前沿在推进,权力不平衡也在增加。”

即使是前 Anthropic 员工也发表了意见。此前曾共同领导该公司人工智能科学家计划的 Behnam Neyshabur 发帖称,限制这些能力“从根本上减缓了科学和技术进步,对人类总体上是负面的。”

这会影响 Anthropic 的 IPO 吗?

这一事件发生在 Anthropic 非常微妙的时期。该公司 于 6 月 1 秘密提交了 IPO 文件, 在隐含估值下融资65十亿美元 估值 965 亿美元筹集了 ⟦N1⟧ 亿美元。在这种情况下,估值在很大程度上取决于企业客户和研究社区的信任。

除了人工智能研究争议外,Fable 5 的发布在另一个方面受到了批评。该模型采用的强大生物学过滤器阻止其回答有关细胞膜和线粒体的问题,而这些通常是高中教授的主题。 根据 据报道,不可能让模型描述 mRNA 疫苗的工作原理以及引起花粉症的原因,尽管它讨论 TNT 和密码风险时毫无困难。

由于 Anthropic 新引入的 Mythos 级保留政策导致的数据保留问题,Microsoft 也限制其员工使用 Fable 5。出于信任和安全目的,提示词和输出的保留期设定为 30 天,标记的内容保留长达两年。

接下来是什么?

随着政策的修改,Anthropic 表示 Fable 5 将使其人工智能开发保障措施变得可见。如果系统发现用户正在进行前沿人工智能研究,它可以拒绝其请求或切换到不同的系统,并在两种情况下通知用户。

Anthropic 承认存在权衡。由于保障措施现在可见,公司别无选择,只能更广泛地使用它。这意味着更多无害的查询将被阻止。公司表示正在努力改进分类器的精度。这一案例揭示了一个更严重的问题。随着人工智能模型能力的提高,培训成本上升,限制竞争对手访问此类工具的诱惑也随之增加。Anthropic 的快速逆转是确立了先例,还是仅仅推迟了下一次隐蔽限制的尝试,将取决于整个行业的反应。

如果您正在阅读这篇文章,说明您已经领先一步。请继续通过我们的通讯保持关注。

常见问题

Anthropic 的隐蔽 AI 研究政策是什么?

Anthropic 设计 Claude Fable 5 时,会在检测到用户从事前沿 AI 开发任务时,隐形降低其输出质量;而其他安全措施则会明确拒绝或重定向请求。在遭遇广泛反对后,该公司撤销了该政策,并表示未来在此领域的安全措施将对用户可见。

为何研究人员反对这些限制?

批评者认为,该政策将允许 Anthropic 内部的研究人员使用无限制的模型,而外部科学家却只能获得降级的结果,这会导致 AI 能力集中在少数大型实验室,并可能破坏测试前沿模型的第三方安全评估机构。

Anthropic 如何应对舆论反弹?

Anthropic 道歉称“我们做出了错误的权衡”,并修改了政策,使 AI 开发的安全措施对用户可见。这意味着模型将公开拒绝请求或将用户重定向至能力较弱的模型,而不是悄悄削弱其回复。

分享本文

免责声明。 所提供的信息不构成交易建议。Cryptopolitan.com 对基于本页信息进行的任何投资不承担任何责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。

Ashish Kumar

Ashish Kumar

Ashish Kumar 是一位拥有八年新闻室经验的加密货币和金融记者。他报道加密货币市场、监管、DeFi 和交易所生态系统的最新动态。他曾与 Coingape、Todayq 和 Newsroompost 合作。Ashish 在 IIMC 获得了英语新闻学研究生文凭。他还采访过包括 Arthur Hayes、Yat Siu、Austin Federa 在内的行业人物。

更多新闻…