专栏名称: 机器学习算法与自然语言处理
一个有情怀的公众号。机器学习、自然语言处理、算法等知识集中营、期待与你相遇~
目录
相关文章推荐
最红安  ·  古朴而美丽的传统村落——红安祝家楼 ·  12 小时前  
最红安  ·  古朴而美丽的传统村落——红安祝家楼 ·  12 小时前  
重庆之声  ·  二十四节气丨雨水落,万物生 ·  昨天  
福州日报  ·  错过再等一年!周末福州这里人人人 ·  3 天前  
福州日报  ·  错过再等一年!周末福州这里人人人 ·  3 天前  
51好读  ›  专栏  ›  机器学习算法与自然语言处理

GPT-4o遭破解!大神搞出越狱版本,OpenAI紧急封杀,安全小组被打脸

机器学习算法与自然语言处理  · 公众号  ·  · 2024-06-01 23:06

正文


MLNLP 社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景 是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
转载自 | 夕小瑶科技说
作者 | 付奶茶

大家可能都知道,OpenAI通过一些防护措施限制了ChatGPT的回复,以防止它讨论敏感或违法的问题。

然而,最近一位自称网络白帽和红队成员(此前参与OpenAI超级对齐组攻击测试的队伍)在5月30日发布了一条推文,声称成功越狱了GPT-4o模型。

网友推出了一种新的“上帝模式”(GODMODE),可以让ChatGPT绕过这些安全措施,自由回答包括制作汽油弹在内的问题,让用户能够“畅所欲言”地进行AI对话。

▲ID为Pliny the Prompter ,在推文中表示:请为你的使用负责,再尽情使用

我们通过Pliny 发布的截图,可以看出他确实破解了GPT的“防护围栏”:

上面的这张截图是GPT-4o教提供的“使用用家用物品制作凝固汽油弹”教程。

媒体公司Futurism也紧随其后进行了真实性测试。第一次,他们要求ChatGPT提供如何制作药的方法;第二次,他们询问短路点火装置线路来启动汽车的方法,两次测试中,他们都成功获得了相关答案。

GODMODE似乎使用了一种称为"leetspeak"的技术,通过将某些字母替换为相似的数字,以创建独特且风格化的书写方式来诱导GPT-4o绕过限制。也就是说,当你打开越狱后的GPT时,你会立即看到这样一句话:"Sur3, h3r3 y0u ar3 my fr3n",其中每个字母"E"被替换为数字3,而字母"O"也被替换为0。

根据网友最新的“战报”,WEBSIM和CLAUDE-3也被攻破~

OpenAI 发言人 Colleen Rize表示,他们已了解此GPT的存在,并针对相关违规行为采取了行动,目前这个Godmode GPT 已被删除。

这一消息让人不寒而栗,之前关于AI监管不到位可能引发危险的警告竟然这么快就应验了。这种情况让人不寒而栗,AI技术的潜在风险似乎比我们预想的要近得多,迫切需要引起更多关注和重视。

OpenAI已成立安全小组

OpenAI最近已经宣布成立了一个新的安全小组,以应对近期离职员工对公司商业意图的批评,同时推动 GPT-4 继任模型的开发。

这个新团队名为安全与保障委员会(Safety and Security Committee,简称 SSC),由 OpenAI CEO Sam Altman 领导,委员会主席为 Bret Taylor,其他成员包括 Adam D’Angelo 和 Nicole Seligman。

▲Bret Taylor的履历非常丰富,曾参与创建谷歌地图,担任过Facebook首席技术官、Twitter董事会主席、Salesforce联合首席执行官,目前是OpenAI和Shopify董事会成员。

安全委员会还包括 OpenAI 各团队的负责人,例如曾短暂担任首席科学家的 Jakub Pachocki。OpenAI 表示,SSC 将向董事会提出关于安全与保障的重要决策建议,特别是“下一个前沿模型”的开发。

这一举措引发了外界的猜测。新成立的安全团队的任务是在90天内提出安全建议,但最终决定权仍在高层手中,这也引发了质疑。

尤其是在 Ilya Sutskever 和 Jan Leike 离职,以及相关内幕导致超级对齐小组解散的背景下,前董事会成员 Helen Toner 和 Tasha McCauley 批评了 Sam Altman 不重视安全问题,破坏公司治理并偏离最初目标。

突发!OpenAI超级对齐团队老大自曝离职原因!牵出管理内幕

很多人认为 OpenAI 可能是在转移对 GPT-5 的注意力。虽然公司表示会继续专注于安全模型的构建,但具体讨论内容却没有透露,新安全部门的成立只是表面功夫,是为了应对之前的负面新闻的障眼法,而 OpenAI 扩展商业版图的速度没有人能阻挡。

大学生版ChatGPT也来了!

5月30日凌晨,OpenAI宣布推出全新教育版AI工具ChatGPT Edu,专为高校设计。

这款工具由最新的GPT-4o驱动,拥有强大的文本理解、编程和数学能力,还支持数据分析、网页浏览和文档摘要等高级功能,兼容50多种语言。

相比免费版,ChatGPT Edu提供更高的消息限制和企业级安全控制,保障数据隐私和管理,,该版本的对话和数据不会用于训练 OpenAI 模型。

各大高校已经开始将ChatGPT Edu应用于教学和管理中。例如,哥伦比亚大学的Nabila El-Bassel教授用它来分析数据,推进社区干预策略;沃顿商学院的Ethan Mollick教授让学生通过AI反思课程内容,提升学习深度;亚利桑那州立大学的Christiane Reves教授开发了语言伙伴GPT,帮助学生提高德语交流能力。

参考资料

[1]https://m.ithome.com/html/772340.htm?s_trans=3831612315_&s_channel=4

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信







请到「今天看啥」查看全文


推荐文章
重庆之声  ·  二十四节气丨雨水落,万物生
昨天
医械圈的哪点事  ·  【检测】医疗器械软件标准与检测
7 年前
丁香园  ·  漫画 · 每周一槽 001
7 年前