MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 新智元

编辑 | 桃子 乔杨

老黄曾预言，未来5-8年，每个像素都将是生成的，并非渲染的。

没错，我们离AI视频游戏实时生成的未来，近在咫尺。

几周前，谷歌曾发布了首个神经引擎驱动的AI——GameNGen，能以每秒20帧的速度，预测下一帧。

当时就有网友惊叹道，用不了几年，我们就会拥有AI实时生成3A游戏的大作。

恰在一年一度的开发者大会上，世界最大在线游戏开发平台Roblox，宣布计划推出一款3D基础模型。

创建者仅需文本提示，就可以完成游戏3D场景的制作。

从文本、图像、声音生成，到视频、3D资产、场景生成，AI正在重塑游戏的创作方式。

目前，Roblox拥有7950万总用户、超过100万日活用户，未来目标要实现「覆盖10亿用户」。

也就是说，未来10亿玩家都将用上AI游戏，千亿美金游戏产业或被颠覆。

AI游戏生成未来，竟是这样的

开发者大会上，CEO David Baszucki表示，AI已经成为了Roblox的一部分。

代码助手、纹理和材质生成器、用户头像设置等多个功能都已经集成了GenAI。

3个月前，他们在公司内部组织了一个40人团队，计划打造一个多模态3D基础模型，目的是「通过文本、视频和3D提示推动3D生成。」

更让人振奋的是，Roblox计划开源这个模型。副总裁Anuam Singh表示，任何人，包括竞争对手，都可以使用这个模型。

GenAI工具的介入将为游戏开发人员赋予更大程度上的创作自由。

无论他们喜欢什么风格——逼真、动漫、蒸汽朋克，AI模型都可以帮助生成匹配的对象和场景。

开发人员甚至可以让人工智能创建一个完整的世界，并向人工智能提供反馈，根据自己的喜好来调整生成结果。

这个新工具将成为Roblox推动AI集成到所有流程的其中一环。他们现在拥有的AI模型，数量已经达到了250个。

除了AI，Roblox的很多更新似乎也和「元宇宙」有密切联系。

还记得小扎之前的「元宇宙」梦想吗？他希望每个用户在其中都有一个自己的「数字化身」。

但Roblox已经走得更远、更加接近。

平台上的3D头像已然成为了用户身份的象征，2022年，超过1000万的日活用户会每天更新头像。

然而即使是经验丰富的创作者，也需要几天甚至一周的时间来创建新头像。

通过即将启用的GenAI模型，这个过程将会更加容易。

不需要繁琐的建模、渲染等操作，可以通过图像和文本提示，在短短几分钟内，无缝创建或修改3D头像。

不久的将来，在机器学习的加持下，3D化身还会更加逼真、更加栩栩如生。

从面部表情，扩展到手势和上半身动作，甚至眨眼频率也会和用户相同。

甚至，不仅是3D化身，Roblox畅想的用户交流方式也很「元宇宙」

去年推出的Roblox Connect中，语音通话的两名用户就已经能将「数字化身」上传到一个虚拟的共享空间。

你的「数字化身」甚至能传达细微的面部表情和肢体语言。

这背后的技术和好莱坞动画电影的动作捕捉技术类似，但Roblox将其压缩、打包成了能在手机或笔记本上运行的程序，而且不需要运动跟踪点等额外设备，摄像头即可进行捕捉和实时转换。

预测下一个3D块

据介绍，这个3D新模型的工作原理是，对数百万游戏世界中的3D物体，进行「分词」（tokenizing）。

Roblox将3D块视为独立的单位，并根据它们在环境中出现的可能性，赋予数值。

这类似于LLM处理词、句段的方式，比如，GPT-4会根据上下文预测下一个输出的token。

那么，Roblox AI系统同样以相似的方式处理3D块，通过最有可能出现的下一个块来创建环境。

不过，想要实现这件事，一直很困难。

首先，3D环境的数据远少于文本数据。

为了训练模型，Roblox不得不依赖创作者生成的用户数据，以及外部数据集。

Roblox副总裁Anupam Singh表示，「找到高质量的3D信息是困难的」。

而且，预测3D环境中的下一个方块比预测文本中的下一个单词更复杂，因为它涉及三个空间维度（X、Y、Z），而不仅仅是线性序列。

其次，尽管AI可以生成基本的3D环境，但人类设计师的创造力、以及对玩家需求的理解，仍然是不可或缺的。

肯特州立大学动画游戏设计项目的副教授Chris Totten表示，Roblox游戏设计师仍然需要参与为平台数百万玩家打造有趣的游戏环境。

有时候，AI生成的关卡可能缺乏创意和深度，更加需要人为的引导，就像学生们用ChatGPT写课程论文。

最后，这项技术还使用了，2D模型评估3D模型的过程。

基本上，当一个AI在创建3D环境时，2D模型会将新环境转换为2D，并评估图像是否在逻辑上一致。

如果图像生成不合理，比如说出现一只有12只脚的猫在开赛车，AI就会一次又一次地生成新的3D块，直到2D模型「批准」为止。

据介绍，还要计划将3D基础模型开源，以便开发者们对其进行修改，对此再次创新。

另外，会上还预告了，正在开发的文本到形状、纹理的模型，以及语音翻译。

多年布局

在AI游戏生成上的布局，Roblox早就开始了。

而且，还在2021年元宇宙爆火时期，Roblox曾向玩家们展示了，AI在虚拟世界中的样子。

23年2月，Roblox曾对外透露，正在内部开发测试AI工具，帮助游戏开发者们轻松地创建3D资产。

一个是用文本提示生成AI资产工具，另一个是用AI完成代码工具。

比如，为汽车换不同的车衣。

或者，AI生成代码让车灯亮起、关闭。

又或是，让虚拟场景中下雨，汽车漂移等等，通过简单的语言指令，AI即可帮你生成代码。

直到9月，Roblox还官宣了一款AI聊天机器人工具——Roblox Assistant，向2亿玩家全面推出。

顾名思义，聊天的同时，就可以让玩家创作出虚拟的世界。

比如，你想要一堆篝火，周围环绕树木，任何场景一句话就实现了。

想要一只熊、一只多样纹理、颜色、科幻的熊，任凭想象。

有网友表示，43%的Roblox的用户年龄低于13岁，也就是说，下一代的创作者们将在很小的年纪就学会与AI对谈。

我们正在迈向一个新时代。

Roblox CEO：小扎同路人

在最新的发布会上，Roblox CEO开始时就提出了一个自己都承认「有些大胆」的目标：

在未来几年内，将Roblox在全球游戏市场的内容收入份额提高到10%，最终达到覆盖10亿用户。

相比之下，目前这家公司大概占到全球游戏市场的2%，总用户数量为7950万。

即便和目标比起来，Roblox还有很长的路要走，但他们目前的成就已经非常惊人。

除了25种游戏体验、100万日活用户，其月度用户数量甚至可能超过整个AAA游戏生态系统的总和。

在The Verge最新的一篇采访中，CEO David Baszucki谈到了这个增长计划，以及公司在AI方面的努力。

在Baszucki看来，Roblox不仅仅是一个游戏平台，还肩负着社交功用，这一点可以从他们对3D头像与用户交互方式的革新中看出蛛丝马迹。

之所以定下10亿用户的目标，不仅是因为看到了4×以上增长的道路，而且还有更多的社交意义、更多的娱乐消费和实际的用途，单纯的游戏用户可能还不到这10亿人的80%。

他透露，公司内部正在构建一个关于3亿日活用户的内容主题，打造相应规模的社交体验。

至于为什么要开发一个开源的3D多模态AI模型，而且开放模型在平台外的使用？Baszucki的想法和小扎类似，都是以「开源」带动行业的发展 。

3D创作涵盖了很多东西，比如网格、纹理，但要让视频游戏真正做到「沉浸式体验」，让人身临其境，3D创作却并不是必需的。

通过开源和社区内的合作，除了Roblox平台上已有的训练数据，他们还将共同开发，甚至能发展出将3D信息转换为功能性4D信息的能力。

因此，开源还将使3D创作变得更加广泛。

未来的前景是，可以在你能想象到的任何游戏中提供3D体验，成为一种动态功能，而不仅仅局限于工作室中的开发者工具。

比如，时尚领域的游戏可以让用户用文本prompt设计、制作自己的服装；或者用生成模型创建一个模拟的乔治·华盛顿。