最新新闻
为您推荐

OpenAI 启动“超级对齐”团队,直面超级智能风险

作者Mutuma MaxwellMutuma Maxwell 2 分钟阅读
OpenAI

OpenAI

  • OpenAI 正在提高人们对人工智能超级智能风险的意识,并组建专门团队应对这些担忧。
  • 该公司强调将超级智能与人类价值观和意图保持一致,并建立新的治理机构。
  • OpenAI 承认,实现通用人工智能(AGI)的对齐存在重大风险,可能需要全人类的共同努力。

OpenAI 的首席执行官 Sam Altman 发起了一场全球活动,以提高人们对 AI 超级智能潜在危险的认识,在这种智能中,机器将超越人类智能并可能变得不可控。

为了应对这些担忧,OpenAI 最近宣布成立一个专门团队,负责开发解决超级智能相关风险的方法,这种智能可能在本十年内出现。

公司 强调,有效管理超级智能需要建立新的治理机构,并解决将超级智能与人类价值观和意图对齐的关键挑战。

OpenAI 承认,将 AGI(通用人工智能)对齐对人类构成重大风险,可能需要全人类的共同努力,正如去年发布的一篇博客文章所述。

该新成立的团队名为“超级对齐”(Superalignment),由顶尖的机器学习和工程师组成。OpenAI 的联合创始人兼首席科学家 Ilya Sutskever 和首席对齐官 Jan Leike 正在指导这一努力。

为了解决超级智能对齐的核心技术挑战,OpenAI 承诺将其迄今为止获得计算资源的 20% 用于解决对齐问题。公司预计将在四年内解决这些挑战。

超级对齐团队的主要目标是开发一种人类水平的自动化对齐研究人员。这意味着创建能够有效地将超级智能 AI 系统对齐的 AI 系统,在速度和精度上超越人类。

为了实现这一里程碑,团队将专注于开发一种可扩展的训练方法,利用 AI 系统评估其他 AI 系统。他们将通过自动化搜索潜在的问题行为来验证其生成的模型。对齐管道还将通过故意训练未对齐的模型来接受严格的压力测试,以评估其可检测性。

OpenAI 解决超级智能风险的举措标志着在追求负责任和对齐的 AI 发展方面迈出了重要一步。通过组建顶尖研究人员团队并承诺投入大量计算资源,该公司展示了其积极减轻超级智能出现潜在风险的承诺。随着他们踏上这一雄心勃勃的旅程,OpenAI 为在 AI 时代保障人类未来的协作与团结树立了先例。

不要只是阅读加密货币新闻,要真正理解它。订阅我们的通讯。 免费。

分享本文

免责声明。 本文提供的信息不构成交易建议。 Cryptopolitan.com 对于基于本页信息进行的任何投资,我们不承担任何责任。我们强烈建议在进行任何投资决策之前,进行独立研究或咨询合格的专业人士。

Mutuma Maxwell

Mutuma Maxwell

Maxwell 尤其热衷于撰写关于区块链和加密货币的文章。他于 2020 年开启博客生涯,随后专注于加密货币领域。他毕生的使命是将去中心化的理念介绍给全球各地的人们。

目录
分享本文
更多新闻…