革命性突破UltrAvatar！3D虚拟可驱动人物生成，纹理引导生成打造极致完美

三维可驱动虚拟人的生成在计算机视觉和计算机图形学领域都具有着重大的意义。深度学习的最新进展显著提升了虚拟人生成的逼真度。虽然多视图三维重建方法（如Multi-View Stereo和 Structure from Motion）能够通过不同角度捕捉多张图像生成头像，但由于繁琐的输入、受限的视角、不必要的光照干扰和较差的图像质量，由用户拍摄的单张图像或从文本描述产出的图像来生成逼真的三维头像变得极具挑战性。

UltrAvatar技术能够将文本描述或单一图像作为输入，生成具有物理基础渲染（PBR）纹理的真实可驱动的3D虚拟形象，这些虚拟形象在质量、多样性和保真度上均达到了卓越的水平。不仅适配多种物理渲染引擎，还克服了以往技术在面部细节上过度平滑以及多样性不足的缺陷，实现了高质量的细节表现与真实感。

UltrAvatar首先采用了一种全新扩散生产的方法，提取了真实的散射色彩，去除不必要的光照效应，从而生成真实皮肤材质颜色，使得生成的形象在不同光照条件下呈现出自然的质感。此外，UltrAvatar还提出了一种基于两种梯度引导的扩散模型，用于生成PBR纹理，使得渲染的虚拟形象呈现丰富的特征与纹理细节，同时也更好地与3D网格几何形状对齐。

我们将文本信息输入通用扩散模型来创建二维人脸图像。结果显示，重建的人物不仅保持了特征ID一致性，还具备高保真的PBR 纹理，与3D网格精准对齐，呈现出极高的逼真度。为验证生成纹理的质量，我们在不同光照的环境下对每个生成虚拟人进行了重打光渲染，以展示其真实质感。

在数字娱乐、虚拟现实、教育培训、远程沟通等领域，UltrAvatar开辟了新的可能性，使用户能够更加自由地创造和体验可驱动的3D虚拟形象。通过Text2Avatar、Image2Avatar的形式，直接生成高分辨率的虚拟人以及物理PBR材质加以驱动，达到以假乱真的视频效果。为在电影中，以低廉的成本，实时生成和驱动需要的人物或非人物角色，铺平了道路，推动了数字角色生成的创新发展。

OPPO美国研究中心和西湖大学的这一成果不仅体现了在3D虚拟形象创造领域的技术领先性，也为我们呈现了一个更加真实和引人入胜的虚拟世界。我们期待看到这一技术的进一步发展和广泛应用。UltrAvatar——打造真实的数字化未来，今日已来。

相关论文：https://openaccess.thecvf.com/content/CVPR2024/html/Zhou_UltrAvatar_A_Realistic_Animatable_3D_Avatar_Diffusion_Model_with_Authenticity_CVPR_2024_paper.html

项目网站：https://mingjoe.github.io/UltrAvatar/

该团队由Mingyuan Zhou, Rakib Hyder, Ziwei Xuan和齐国君老师组成