作者：克雷西
量子位 | 公众号 QbitAI
现在，打个游戏都用上Transformer了？！
老黄的DLSS进行了一波大升级，换上了基于Transformer的新大脑。
用上新模型之后，光线重建和超分辨率，效果都变得更细腻了。
而且DLSS 3中的帧生成功能也升级到了
DLSS 4多帧生成
，一次性就能生成最多3帧画面，
把《黑神话：悟空》的帧率拉升到200+
。
同时，英伟达还上新了一大批AI渲染技术，像画面渲染中的重要部件——着色器，里面也有了AI的一席之地。
这波也算是给游戏开发者和玩家们送上了一份“新年大礼包”了。
英伟达这样做的目的，当然有给50系显卡带货的成分，但有了这些黑科技，游戏玩家们的体验也确实能有所提升。
“大力水手”全面“换脑”
就像开头说的，被游戏玩家们称为“大力水手”的DLSS，迎来了一次全面更新。
（注：DLSS全称Deep Learning Super Sampling，即深度学习超级采样）
DLSS的核心思想，就是用AI运算来取代一部分的渲染计算，从而在加快画面产生速度的同时提升画质。
之前的DLSS，主要是通过卷积神经网络
（CNN）
来实现，现在随着50系显卡的上线，
“大力水手”也进行了“换脑”，CNN的工作被Transformer取代了
。
据介绍，这是Transformer模型首次在图形领域的实时应用。
相比于过去的CNN，新的Transformer模型拥有两倍的参数量，生成的像素稳定性更强、重影更少，还拥有更高的运动细节以及更平滑的边缘。
DLSS的两个主要功能——
光线重建和超分辨率，都已经用上了Transformer
。
比如在
《心灵杀手2》
的光线重建场景，全新的DLSS4相比于上一代基于CNN的算法，栅栏呈现出的连续性明显更强，两个场景下的光线也更加真实了。
如果感觉变化不明显，可以看下静态画面的对比：
在超分辨率功能当中，画面细节相比之前的CNN也变得更加细腻。
另外新一代的
帧生成功能也不再局限于单帧，支持一次生成最多3帧画面
。
比如在
《赛博朋克2077》
的场景中，相比于不开启DLSS，DLSS 4的多帧生成可以在延迟降低超过一半的情况下将帧率从27提升到248，比例将近8倍。
另外，新模型速度提高了40%，使用的VRAM减少了 30%，例如在
《战锤40K：暗潮》
中，帧速率提高了10%，同时在4K最大设置下减少了400MB显存占用。
另外40系显卡中的帧生成功能也进行了升级，同样是在提高性能的同时减少了VRAM的使用。
目前DLSS 4已经提供了对75款游戏和应用的Day 0支持，除了多帧生成是50系独占之外，
基于Transformer的光线重建、超分辨率等功能同时还可以给40、30甚至20系显卡带来性能提升
。
随便剧透一下，
《黑神话：悟空》也将在Day-0支持DLSS 4多帧生成
。
图形渲染也用上AI了
与新版DLSS一起，英伟达还推出了一套神经渲染技术——
NVIDIA RTX Kit
。
它可利用GPU中的Tensor Core，通过AI完成游戏中的光线追踪，并渲染具有复杂几何形状的场景，可以用高保真度渲染出复杂的开放世界，同时减少伪影、不稳定性并降低VRAM使用。
首先是
RTX神经网络着色器
（Neural Shader）
，它把AI引入到了可编程着色器当中，包含了三大关键技术：
-
神经网络纹理压缩
（Neural Texture Compression ）
：用AI快速压缩纹理，在相同视觉质量下消耗的VRAM或系统内存只有1/7；
-
神经网络材质
（Neural Materials）
：用AI压缩复杂着色器代码，材质处理速度提高了5倍，可以以游戏画面的帧速率渲染电影质量的资源；
-
神经网络辐射缓存
（Neural Radiance Cache）
：用AI学习多次反射间接照明，利用最初的一到两次反射即可推断出无限多次的反射，从而提升了路径追踪性能。
来看一组开启Neural Materials前后的效果对比，开启之后
（分割线右侧）
画面中的材质以及蓝宝石的反光效果都变得更加真实。
还有像这样的丝绸材质，Neural Materials开启后丝绸的光泽被更好地展现，画面也更细腻了。
对比确实很明显，不过对于实时画面渲染来讲，这些还算是洒洒水，真正具有挑战的，是人脸的渲染。
这就涉及到了RTX Kit中的另一个组件——
RTX Neural Faces
，它利用生成式AI来提高人脸的渲染质量。
Neural Faces采用简单的光栅化脸部加上3D姿势数据作为输入，用AI模型来推断脸部
（而不是蛮力渲染）
。
Neural Faces背后的训练数据包含了不同的角度、光照、情绪和遮挡条件下的数千个脸部图像，可以创造出更柔和、更自然的外观。
Neural Faces还
专门针对皮肤和头发专门设计了补充SDK
。
其中应用了次表面散射
（SSS）
技术，可以模拟光线穿透半透明材料表面并在内部散射的过程，从而更好地呈现皮肤质感。
还有线性扫描球体
（LSS）
加速基元，可以减少渲染头发所需的几何体数量，并使用球体代替三角形来更准确地适应头发形状。
用英伟达的话说，Neural Faces这项技术“跨越了人像渲染的恐怖谷”。
还有针对三角形光线追踪的
RTX Mega Geometry
。
在游戏当中，三角形是构成画面的重要元素，其数量也随时间呈现出指数级增长，特别是虚幻引擎5推出新的几何系统以来，游戏中的三角形数量已经数以亿计。
这对于帧画面的构建而言是一大噩梦，想要保持足够的帧速率更是难上加难。
Mega Geometry可以在GPU上批量智能更新三角形簇，从而减少CPU开销并提高光线追踪场景中的性能和图像质量，可处理的三角形数量是之前的100倍。
据英伟达介绍，Mega Geometry可以“对项目中的每个三角形进行完全光线追踪”。
眼见为实，一开始分割线左侧的藤蔓未开启Mega Geometry，非常没有立体感，景深关系不对，光影也不符合物理规律，看上去就是一个字——假。
但开启之后，藤蔓的立体感一下子就增强了，并且光影也更加真实，“贴图感”消失了一大半。
