NVIDIA展示首个交互式AI技术渲染的虚拟世界，这技术到底有多6？

点击上方蓝字 CG世界 关注CG我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国极具影响力CG领域自媒体

全球可编程图形处理技术领袖、人工智能计算公司英伟达（NVIDIA）最近发布了一个可能会令3D艺术家产生“恐慌”心理的技术视频。

视频展示了首个交互式AI技术渲染的虚拟世界，没有用到任何手动3D渲染方式。这套AI算法使用了真实视频作为数据集，绘制与建筑物、汽车或街道相结合的新环境，并自动生成视觉效果。点击视频可以先来了解一下。

25年前，英伟达通过构建第一个属于我们这个时代、意义堪比达芬奇和爱因斯坦的现代工具---GPU（图形处理器，Graphics Processing Unit），改变了计算机图形行业。而现在，英伟达研究人员开发的这种基于深度学习的新模型，又为图形行业掀开了AI新篇章。

英伟达应用深度学习项目副总裁Bryan Catanzaro介绍说，团队25年来一直都在研究生成交互式图形的新方式，这回也是第一次通过神经网络的方式实现了这一目标。而神经网络，特别是生成式模型将会改变创建图形的方式。

英伟达团队利用超级计算机DGX-A上的NVIDIA Tesla V100 GPUs，采用cuDNN加速的PyTorch深度学习框架进行训练，同时还用到了来自Cityscapes和Apolloscapes数据集的大量视频。

技术团队在利用现有的视频进行训练之后，以条件生成神经网络为起点，又训练了新的神经网络，用以渲染3D环境。

整个网络是在场景高级别描述的基础上运行的，具有描述对象位置和一般特征的分割图或者边缘图，例如图像的哪部分包含汽车和建筑，或者物体边缘具体是在哪个位置。然后，再利用从现实视频中学到的内容来填充网络的细节部分。

因为效果是综合生成的，因此研究人员可以很容易地对场景进行编辑，比如删除、修改或者是添加某些物体。

无论是游戏开发、远程还是其他应用程序，开发人员在创建虚拟世界时面临的主要障碍之一就是创建内容的成本非常昂贵。有了这次AI方面的重大突破，开发者和艺术家能够用现实世界的视频来训练模型，为汽车、游戏和虚拟现实创建新的交互式3D虚拟世界，而在创建内容时的成本和时间就可以大大降低。

这项新的研究已经在加拿大蒙特利尔举行的NeurlPS会议上进行了展示，可供来自世界各地的著名人工智能研究人员参观和体验。

英伟达研究团队为NeurlPS会议专门创建了一个简单的驾驶演示游戏，参观人员可以以交互式导航的方式体验AI生成的环境。演示游戏是通过英伟达Tensor Core GPU实现的，为观众们提供了体验交互式图形的全新方式。

研究人员在他们的技术论文中指出，建立和重建动态视觉世界的能力对于构建智能代理来说是至关重要的。除开纯粹的科学兴趣之外，对于综合连续视觉体验的学习还包括计算机视觉、机器人和计算机图形学的一系列广泛应用。

虽然这项研究目前还处于初期阶段，但是技术的应用日后一定会为多种不同领域虚拟环境的创建节约更多成本，提供更多方便。

除了这第一款交互式AI技术渲染的虚拟世界之外，近日英伟达还宣布了关于PhysX的消息。

PhysX是一种实时多物理场模拟引擎，具有刚体、布料、和流体例子等功能，可集成到包括UE4、Unity、CryEngine和Lumberyard在内的游戏引擎中。据英伟达公司称，截止到2015年，这项技术已经被应用到了500多种商业游戏中。

同时他们发布了适用于Windows、Linux、Mac OS X和Android的PhysX SDK源代码，如果想要访问，需要签署自定义EULA （最终用户许可协议） 。PhysX将在桌面和移动应用程序的简单BSD-3许可下开源。而对于在XBox One，Playstation 4和Switch上运行的应用程序，EULA保持不变。

NVIDIA还宣布将推出PhysX 4，可更多支持机器人技术和人工智能领域的新应用。其具备的新功能可以提高仿真的可扩展性、稳定性和速度，其中包括：

新的时空高斯赛德尔非线性求解器 （Temporal Gauss-Seidel Solver，缩写为TGS） ，可以让机械，角色/布娃娃以及其他任何连接或铰接的东西更加强大。TGS根据实体的相对运动，动态调整每次迭代的约束。

通过简化坐标关节和关节改进，整体稳定性得到改善。

通过新的过滤规则提高了运动学和静力学的可扩展性。

如果有的小伙伴在观看英文视频时感觉有困难，别着急哦哦，点击左下角蓝字“ 阅读原文 ”就可以获取 带中文字幕版 的高清视频哦~