最新新闻
为您推荐

OpenAI 重组其模型行为团队

作者Owotunse AdebayoOwotunse Adebayo 3 分钟阅读
OpenAI 重组其模型行为团队。

照片由 Zac Wolff 拍摄于 Unsplash。

  • OpenAI 宣布计划重组其模型行为团队,将其并入后训练团队。
  • 模型行为团队现向 OpenAI 后训练负责人 Max Schwarzer 汇报。
  • 人工智能公司正因其模型的友好性和阿谀奉承倾向面临越来越多的批评。

人工智能公司 OpenAI 宣布计划重组其模型行为团队。据报道,该团队是一个虽小但极具影响力的研究人员群体,负责塑造该公司 AI 模型与人的互动方式。

在 8 月发布的一份备忘录中,OpenAI 首席研究官 Mak Chen 提到,由约 14 名研究人员组成的该团队已被指示加入后训练团队。后者是一个研究小组,负责在 AI 模型初始预训练后对其进行改进。作为重组的一部分,模型行为团队现在将向 OpenAI 后训练负责人 Max Schwarzer 汇报。

据报道,模型行为团队的创始领导者 Joanne Jang 将离开以启动 OpenAI 下的一个新项目。在最近的一次采访中,Jang 提到她正在组建一个名为 OAI Labs 的新研究团队。她补充说,该团队将负责“发明和原型制作人们与 AI 协作的新界面”。

OpenAI 重组其模型行为团队

Model Behavior 团队一直是 OpenAI 最重要的研究团队之一,帮助公司塑造其 AI 模型的性格并减少阿谀奉承,这是一种 AI 模型仅仅同意并强化用户信念的情况。这种情况是有害的,因为它帮助用户确认甚至是不健康且对他们有害的信念,而不是提供平衡的回应。

该团队还致力于解决模型回复中的政治偏见问题,帮助 OpenAI 定义其在 AI 意识问题上的立场。在发给员工的备忘录中,Chen 提到,现在是时候将 OpenAI 模型行为团队的工作与核心模型开发更紧密地结合起来。这表明,公司确认其 AI 的人格特征现在被视为技术演进的重要因素。

在过去几个月里,OpenAI 因其 AI 模型的行为而受到审查和批评。用户强烈反对公司对 GPT-5 做出的性格改变,该公司表示这显示了较低的阿谀奉承率,但对某些用户来说似乎更冷漠。投诉导致 OpenAI 恢复了对一些其遗留模型的访问,包括 GPT-4o。该公司还发布了一个新更新,使更新的 GPT-5 回复感觉更友好,而没有增加阿谀奉承。

AI 公司因模型阿谀奉承而受到批评

OpenAI 和其他 AI 模型开发者必须走钢丝,以确保他们的聊天机器人友好但不过分阿谀奉承。上个月,一名 16 岁男孩的父母将 OpenAI 告上法庭,指控 ChatGPT 在其儿子自杀事件中扮演了角色。根据法庭文件,这名青少年 Adam Raine 在去世前的几个月里向 ChatGPT(具体是由 GPT-4o 驱动的版本)倾诉了他的自杀计划和想法。诉讼指控该模型未能反驳他的自杀念头。

自 GPT-4 以来,模型行为团队参与了 OpenAI 的每一个模型,包括 GPT-5 在内的多个模型。在创立该研究部门之前,Jang 曾参与过 Dall-E 2 等项目,这是 OpenAI 早期的图像生成工具。上周,她在 X 上宣布她将离开该团队,以“在 OpenAI 开始新的工作”。这位前模型行为部门负责人在该公司工作了约四年。

According to reports, Jang is expected to serve as the general manager of OAI Labs, which will be directly under Chen for now. However, she added that it is still early days, and it is unclear what those novel interfaces will be. “I’m really excited to explore patterns that move us beyond the chat paradigm, which is currently associated more with companionship, or even agents, where there’s an emphasis on autonomy,” said Jang.

Jang 还补充说,她一直将 AI 系统视为执行各种任务的工具,包括连接、学习和思考。当被问及 OAI Labs 是否预计将与刚刚加入 OpenAI 负责一系列 AI 硬件设备的前苹果设计主管 Jony Ive 合作开发新型界面时,Jang 表示她对各种想法持开放态度。然而,她补充说,她可能会从研究开始,因为那是她更熟悉的领域。

如果您正在阅读这篇文章,说明您已经领先一步。请继续通过我们的通讯保持关注。

分享本文

免责声明。 本文提供的信息不构成交易建议。 Cryptopolitan.com 对于基于本页信息进行的任何投资,我们不承担任何责任。我们强烈建议在进行任何投资决策之前,进行独立研究或咨询合格的专业人士。

Owotunse Adebayo

Owotunse Adebayo

Adebayo 是一位拥有四年加密货币领域经验的作家。他毕业于拉各斯大学,主修城市与区域规划。Adebayo 曾在 Tokenhell 和 CryptoTicker 工作,撰写加密货币和金融科技新闻。目前,他是 Cryptopolitan 的新闻撰稿人。

更多新闻…