专栏名称: 歸藏的AI工具箱
产品设计师🎨 AI画图工具操作员🔧 AI课程撰写与信息收集整理📰 致力于发掘借助AI工具改善设计与产品开发流程的各种可能性🤔
目录
相关文章推荐
高分子科学前沿  ·  2025自然科学基金委各学部不予资助领域 ·  12 小时前  
高分子科技  ·  川大李旭东/陈君泽、港城大谭超良团队 ... ·  昨天  
高分子科技  ·  东华大学史向阳教授团队 Nano ... ·  2 天前  
高分子科学前沿  ·  诺丁汉大学增材制造中心《CES》:高分辨率3 ... ·  2 天前  
艾邦高分子  ·  神马尼龙化工公司产能扩增项目开工! ·  3 天前  
51好读  ›  专栏  ›  歸藏的AI工具箱

要安全还是要发展:Open AI 宫斗第二季梳理

歸藏的AI工具箱  · 公众号  ·  · 2024-05-19 15:20

正文

Open AI 宫斗积累的剩余矛盾终于在 GPT-4o 的发布会结束之后爆发了,感觉 Open AI 的宫斗跟快成了发布会之后的保留节目了。

核心还是 Ilya 主张的安全为主的加大对模型安全投入的超级对齐团队和以 Sam、Greg 为首的主张优先发展模型效果的管理层的矛盾。

首先是 15 号长时间没有发声的 Ilya 宣布正式离开 Open AI [1] ,场面很和气同时还说会在合适的时候公布自己新事业的信息,Sam 和 Greg 也发了推回应和感谢了 Ilya 的付出。

然后是现任的Open AI 超级对齐团队负责人 Jan Leike 宣布离职 [2] ,同时还曝光了 Open AI 对模型对齐团队不公平的对待。

他认为 OpenAI 领导层在公司核心优先事项上存在分歧,导致Jan Leike 的团队在过去几个月里遇到了很多困难,包括计算资源不足等问题,使得关键研究工作变得越来越困难。

同时Jan Leike 认为 OpenAI 应该把更多精力放在为下一代 AI 模型做准备,包括安全、监控、应变能力等方面。

Jan Leike 应该是离职的人中首次明确的说自己受到的不公正待遇的,然后晚上 Sigal Samuel 就发布了一 篇爆料文章 [3] 解释了为什么之前从 Open AI 离职的人一般不会说明自己的情况。

因为OpenAI 通常会要求离职员工签署包含不贬损条款的离职协议。如果拒绝签署,他们将失去公司股权,这可能意味着损失数百万美元。

然后在 18 号 Sam 发推文承认 [4] ,公司离职文件中确实有一项关于“潜在股权取消”的条款,但是他们从来没有真的启用过这个条款收回过任何人的股权,同时他不知道协议中有这条内容,公司也正在修改这项条款。

有趣的是2014 年还在 YC 的时候 Sam 还写过 一篇博客 [5] ,阐述了初创公司对于员工股权分配的问题并且给出了一些如何保障初创公司员工正常获取股权收益的建议。

过了十年曾经的屠龙者变成了恶龙。

同时 Sam 和 Grog 还针对 Jan Leike 的发言起草了 一个声明 [6] 大致意思是说模型的安全和能力发展同样重要,他们也做了很多事情来保证模型的安全。这个声明看起来很长但其实都是片汤话,评论里很多人说感觉像 ChatGPT 写的。

上面就是事件目前的一个发展情况,同时社区也有一些其他的看法比如 Daniel Jeffries 认为 [7] 超级对齐团队的离开不是因为他们看到了他们无法应对的超级先进AI,而是因为他们研究后认为这种 AI 短时间不可能出现。

然后 Open AI 的领导层就开始缩减给超级对齐研究团队的资源开始做一些更实用的事情,比如用来构建产品改善体验。

杨立坤也表示认同上面这种说法。同时也罕见的认为 Sam 的这个操作是正确的担心现在的 AI 模型会造成 安全问题是杞人忧天 [8]

他将现在担心 AI 安全的人比喻成1925年有人说“我们迫切需要弄清楚如何控制能够以接近音速跨越大洋、运输数百名乘客的飞机。”

“在发明涡轮喷气发动机之前,在任何飞机能不间断飞越大西洋之前,长途客机的安全性是难以保证的。然而,现在我们可以安全地乘坐双引擎喷气式飞机飞越半个地球。 这并不需要什么神奇的安全配方。而是经过了几十年的精心设计和不断改进。”

我们的人工智能还处于早期阶段需要很多年才能达到人类的智能水平,别说超过人类了,所以需要不断的平衡效率和安全性,而不是把安全无限放大。

我总体上认同杨立坤的意见,人工智能现在是很早的阶段,我们还有非常多重要的事情要做,安全很重要,但在早期阶段吃饱饭更重要。

参考资料

[1]






请到「今天看啥」查看全文