OpenAI的首席执行官 Sam Altman 发起了一项全球运动,旨在提高人们对人工智能超级智能潜在危险的认识,在这种智能状态下,机器将超越人类智能,并可能变得无法控制。
针对这些担忧,OpenAI 近日宣布成立一个专门团队,负责开发应对超级智能相关风险的方法,这些风险可能在本十年内出现。.
该公司 强调 ,有效管理超级智能需要建立新的治理机构,并解决使超级智能与人类价值观和意图相一致的关键挑战。
OpenAI 承认,通用人工智能 (AGI) 的实现对人类构成重大风险,可能需要全人类的共同努力,正如其去年发布的一篇博客文章中所述。.
这个名为“Superalignment”的新团队由机器学习领域顶尖的研究人员和工程师组成。OpenAI联合创始人兼首席科学家伊利亚·苏茨克维尔和负责协调工作的扬·莱克正在指导这项工作。.
为了应对超级智能对齐的核心技术挑战,OpenAI承诺将迄今为止所购置的计算资源的20%用于解决对齐问题。该公司预计,将在四年内解决这些挑战。.
超级对齐团队的主要目标是开发出达到人类水平的自动化对齐算法。这需要创建能够有效对齐超级智能人工智能系统的AI系统,在速度和精度上超越人类。.
为了实现这一里程碑,团队将专注于开发一种可扩展的训练方法,利用人工智能系统来评估其他人工智能系统。他们将通过自动化搜索潜在的matic 行为来验证最终模型。此外,对齐流程还将接受严格的压力测试,通过故意训练未对齐的模型来评估其可检测性。.
OpenAI 为应对超级智能风险所做的努力,标志着在追求负责任且协调一致的人工智能发展方面迈出了重要一步。通过组建顶尖研究团队并投入大量计算资源,该公司展现了其积极主动地降低超级智能出现所带来的潜在风险的决心。在开启这段雄心勃勃的征程之际,OpenAI 为在人工智能时代保障人类未来而开展合作与团结树立了dent 。.
OpenAI 