全面超越NeRF！结构化3DGS为高质量3D生成带来新思路 | 中科大张博文博士讲座预告

智能车情报局 · 公众号 · · 2024-07-20 20:06

正文

「智猩猩AI新青年讲座」由智猩猩出品，致力于邀请青年学者，主讲他们在生成式AI、LLM、AI Agent、CV等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

在生成建模技术进步的推动下，三维生成建模领域取得了显著的成果。但是现行的两大类3D表示方法主要存在两个问题：（1）基于拟合能力不足的隐式解码器；（2）缺乏清晰定义的空间结构难以与主流的3D扩散技术融合。

针对以上问题，来自中科大、清华和微软亚洲研究院的研究人员提出了一种具有强大拟合能力的显式结构化三维表示GaussianCube，并且可以无缝应用于目前主流的3D扩散模型中。相关论文为《GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling》。

GaussianCube的框架包括两个主要阶段，如下图所示：表示构建和扩散建模。

在表示构建阶段，首先对每个对象应用密度约束的3DGS拟合算法，以对3D资产进行高精度拟合，获得固定数量的自由高斯。然后，利用在高斯点和预定义体素网格中心之间的最优传输算法，将这些高斯点组织到所提出的空间结构化的高斯立方体中，结构化为 GaussianCube。

对于扩散建模，由于GaussianCube 具备在空间上的结构化组织关系、无需复杂的网络或训练设计的优势，标准的3D卷积足以有效地提取和聚合邻近高斯的特征。因此，使用三维扩散模型来建模 GaussianCube的分布，利用标准的U-Net网络进行扩散，并直接将原始的2D操作符（包括卷积、注意力、上采样和下采样）替换为相应的3D操作。

实验结果表明，GaussianCube相较之前的基线算法实现了大幅度的性能提升。不仅能够生成高质量的3D资产，而且还提供了极具吸引力的视觉效果，充分证明了其作为3D生成通用表示的巨大潜力。

7月25日10点 ，智猩猩邀请到 论文一作、 中国科学技术大学与微软亚洲研究院联合培养博士 张博文 参与「智猩猩AI新青年讲座」245讲，主讲《结构化3DGS为高质量3D生成带来新思路》。

讲者

张博文

中国科学技术大学与微软亚洲研究院联合培养博士

目前主要研究方向为高质量生成模型，包括2D图像生成和3D数字资产生成等。曾在国际顶级会议上以第一作者的身份发表数篇论文，GitHub 开源项目星标超1000，同时担任 CVPR、ICCV、ECCV 等顶级会议审稿人。

第245讲

主题

《结构化3DGS为高质量3D生成带来新思路》

提纲

1、主流三维表示方法及在3D生成中的局限

2、利用密度约束高斯拟合和最优传输算法构建GaussianCube

3、基于GaussianCube的3D扩散模型

4、GaussianCube生成结果展示以及未来展望

直播信息

直播时间：7月25日10:00

直播地点：智猩猩GenAI视频号

成果

论文标题

《GaussianCube: A Structured and Explicit Radiance Representation for 3D

Generative Modeling》

全面超越NeRF！结构化3DGS为高质量3D生成带来新思路 | 中科大张博文博士讲座预告

正文

请到「今天看啥」查看全文