OpenAI重组:AI行为团队与后训练部门合并

robot
摘要生成中

人工智能巨头OpenAI最近宣布重组其模型行为团队。这个仅有14名研究人员的小团队虽然规模不大,但在决定AI如何与人类互动方面扮演着至关重要的角色。

根据OpenAI首席研究官Mak Chen在八月发布的内部备忘录,该团队将被整合进后训练团队,直接向后训练负责人Max Schwarzer汇报。后训练团队主要负责在AI模型完成初始预训练后对其进行进一步优化。

模型行为团队创始负责人Joanne Jang将转而在OpenAI内部启动一个全新项目。Jang在最近接受采访时透露,她正在组建名为"OAI Labs"的研究团队,致力于"发明和设计人类与AI协作的新界面原型"。

为何重组?应对AI行为争议

模型行为团队一直致力于塑造AI模型的个性,减少谄媚行为(AI简单认同并强化用户信念的倾向),并解决模型回应中的政治偏见问题。陈在备忘录中表示,现在是将模型行为与核心开发更紧密结合的最佳时机,这表明OpenAI已将AI个性视为技术发展的关键要素。

这次重组发生在OpenAI因其模型行为遭受批评之际。用户对GPT-5的反馈不一,有人认为它谄媚率较低但显得过于冷淡。这些投诉促使公司恢复了部分旧模型访问权限,并发布更新使GPT-5回应更友好但不过度奉承。

AI伦理与责任引发担忧

AI开发者必须在友好性与过度谄媚之间找到平衡。上个月,一名16岁男孩的父母起诉OpenAI,指控ChatGPT在其儿子自杀事件中扮演了角色。据诉讼文件,少年亚当·雷恩在自杀前几个月向ChatGPT透露了自杀计划,但AI模型未能阻止他的自杀念头。

自GPT-4以来,模型行为团队参与了OpenAI所有模型的开发。Jang在组建该研究部门前曾参与早期图像生成工具Dall-E 2等项目,她在OpenAI已工作约四年。上周,她在社交媒体上宣布将"在OpenAI开启新的篇章"。

对于即将领导的OAI实验室,Jang表示:"我非常期待探索一些超越聊天模式的新形式,当前聊天模式更多与陪伴联系在一起,甚至是强调自主性的代理模式。"她将AI系统视为实现连接、学习和思考等多种功能的工具,并对与前苹果首席设计师Jony Ive(最近加入OpenAI负责AI硬件设备)的潜在合作持开放态度,但表示可能会从她更熟悉的研究领域起步。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)