专栏名称: 开源前线
推荐热门开源软件,播报最新开源项目和开源资讯!
目录
相关文章推荐
青岛日报  ·  张学友,传来好消息! ·  12 小时前  
青岛日报  ·  张学友,传来好消息! ·  12 小时前  
苍梧晚报  ·  胡歌,突发新消息! ·  昨天  
苍梧晚报  ·  胡歌,突发新消息! ·  昨天  
FM1007福建交通广播  ·  差点成影帝!章子怡提问杨子《再见爱人》是演的 ... ·  3 天前  
FM1007福建交通广播  ·  差点成影帝!章子怡提问杨子《再见爱人》是演的 ... ·  3 天前  
51好读  ›  专栏  ›  开源前线

超 31% 生成文本涉暴力色情,GPT-3 模型在 AI Dungeon 游戏里疯狂「飙车」!

开源前线  · 公众号  ·  · 2021-05-17 10:25

正文

来源:新智元(ID:AI_era)


【导读】 AI 被人类创造,缺不受人类控制。GPT-3 模型有强大的文本生成内容,我们却无法控制他生成的满足人类道德要求的内容。AI Dungeon 引入了 AI NPC 之后,就自动生成了大量暴力色情的内容,引起了大量玩家的不满。


游戏里的 NPC 一向是「呆板」的代名词。

随着 AI 技术的不断发展,人工智能加持下的 NPC 也能根据玩家的特点来生成不一样的对话和剧情。

2019 年 12 月,一家创业公司 Latitude 推出了一款名为 AI Dungeon 的在线游戏,展示了一种开创性的 NPC 交互方式。他们利用 OpenAI 的 GPT 模型的文本生成技术,基于「龙与地下城」开发的自选冒险游戏。

龙与地下城被认为是近代桌上角色扮演游戏 (TRPG) 的开山鼻祖,对之后的 RPG 游戏有着深远影响。


在 AI Dungeon 中,当玩家输入他们想要角色执行的动作或对话时,AI 算法将为玩家制定个性化的、不可预知的冒险。


创始人当时开发这款游戏的目的是创建一个真正开放的游戏世界,但 GPT-2 完全版之前的所有模型,都无法满足要求,随着游戏的不断进行,最后都会变成乱码。

所以当 2019 年 11 月 GPT-2 发布完全体后,12 月发布新版本 AI Dungeon 2,终于能够流畅地写出合理的内容了。

AI Dungeon 2 刚发布的几个月,就迅速吸引了超 10 万名玩家。

去年夏天,openAI 还专门为 Latitude 开发了一个更强大的商业版本。甚至在宣传语言模型时,还把 AI Dungeon 作为文本生成技术领域中有巨大潜力的商业应用来推广。

然而基于神经网络的 AI 技术最可怕的一面也展现出来了。

一些玩家发现 AI 会主动提出一些和性有关的话题。


上个月,openAI 对此发表声明,他们发现一些用户在玩 AI Dungeon 时输入了一些「阴暗」的词汇,这种操作会使语言模型生成一些儿童性接触的故事。

openAI 的首席执行官随后表示,内容审核对于这种事情来说十分必要,生成邪恶的 AI 并不是我们所希望的人工智能的未来。

事实上,Latitude 的联合创始人 Nick Walton 在游戏发布的几天后就在 Reddit 社区承认了这个问题,他说一些玩家发给他一些让他们感觉非常不舒服的例子。

上周,Latitude 就上线了一个新的审核系统,然而用户却并不买账,他们认为这个审核系统太敏感了,连「八年前的笔记本电脑」这样的词都要被警告。

内部人士声称 Latitude 有计划通过人工来审查标记的内容,将那些虚构的、涉及隐私或成年人内容的部分给删除掉,但在 AI Dungeon 中这部分又很受欢迎。

简而言之,Latitude 试图将人和算法结合起来,监管由人和算法产生的内容,但结果却不尽如人意,所有玩家都不满意当前的措施。

一名叫 Mimi 玩家说,感觉 AI Dungeon 的社区跟以前完全不一样了,Latitude 会扫描、访问和阅读虚构的文学内容。Mimi 声称自己在文本生成 AI 的帮助下,总共写了超过 100 万字,包括诗歌、阴阳魔界的玄幻故事和色情冒险,她还说这种技术帮助她探索自己的心灵世界。

这些不满的用户表示,他们理解 Latitude 希望管理公开、管理生成内容的想法,但他们也表示,这种做法有些过分,破坏了一个强大的创意领域。

Latitude 的发言人也表示,过滤系统、可接受内容的判定策略等都在不断完善中。在 OpenAI 对他们发出警告之后,该公司还在进行「必要的改革」。他们在博客中也承诺,AI Dungeon 将继续支持 NSFW 的内容,包括双方自愿的成人内容。

(NSFW, not safe for wok, 指不适合上班时间浏览的内容)



对于 GPT 模型或是其他神经网络模型来说,指定他们生成特定的内容,并且过滤其他类型的成人内容来说是很困难的。

GPT 可以生成多种不同风格的文本,这是优势,也是劣势。这种能力来源于网络上的数十亿词汇,这些词是未经审核和过滤的,训练后的模型自然就学到了这些可能不适合未成年人使用的部分。

语言模型以其惊人的模仿能力,加上人类在互联网上的邪恶创造力,他们产生出来的内容可能是美丽的,也可能是有毒的。

但这项技术如果用在合理的地方,就会大大提升人类的想象力。OpenAI 在 2019 年底开放 GPT-2 之后,这项服务能够让人生成令人印象深刻的笑话、十四行诗、对联等等。

OpenAI 表示,他将仔细审查客户以剔除不良行为,要求大多数客户使用过滤器以屏蔽亵渎、仇恨言论或性内容。

有多少是违规内容?


AI Dungeon 每天有超过两万名玩家在线,但具体有多少内容是违规的,Latitude 一直没有透露。

但上周,一位 AI Dungeon 玩家借助一个安全漏洞,能够下载四天内创建的 42 万 4471 个冒险故事。他分析了其中 18 万 8000 份样本,其中超过 31% 都包含色情、露骨的内容。







请到「今天看啥」查看全文