点击下方
卡片
，关注
「3DCV」
公众号
选择
星标
，干货第一时间送达
来源：3DCV
添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。
扫描下方二维码，加入
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门独家秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
清华大学近期的工作：DiffGS: Functional 3D Gaussian Splatting Diffusion 被接收于 NeurIPS 2024。在本文中，作者第一次实现了原生的三维高斯生成式模型，无需对高斯数据进行体素化等预处理操作，并可以生成任意数量的3DGS。DiffGS同时是第一个通用三维高斯生成模型，支持图生3DGS、文生3DGS、三维高斯补全、点云到3DGS的生成等任务。论文代码已开源：
论文地址：https://arxiv.org/abs/2410.19657
项目主页：https://junshengzhou.github.io/DiffGS
代码地址：https://github.com/weiqi-zhang/DiffGS
作者提出使用函数化方式来将离散的、非结构化的三维高斯表征解耦地表示为三个三维高斯函数，包括高斯概率函数、高斯颜色函数和高斯变换函数。在这三个连续的三维高斯函数上，可以训练一个标准的VAE + LDM (Variational Auto-encoder + Latent Diffusion Model) 的扩散生成式模型来生成这些函数。最后通过高斯提取算法获得最终生成的高斯。
DiffGS 网络框架：
DiffGS 包括一个Gaussian VAE以及一个Gaussian LDM。首先训练Gaussian VAE来构建一个可以编码三维高斯并解码出三维高斯函数的隐特征空间，在这个隐特征的基础上训练一个Diffusion模型来实现三维高斯的生成。同时可以引入各种condition，如文本、图像和残缺高斯，来实现可控的三维生成。
高斯提取算法
DiffGS设计了一个基于Octree的优化式高斯提取算法，以从生成的高斯概率函数、颜色函数和变换函数中恢复出高斯模型。该算法的目标类似于Marching Cubes算法从SDF中提取表面的过程。
下游应用
DiffGS可以实现多个3DGS生成任务，如Unconditional Generation，Text-to-3DGS Generation，Image-to-3DGS Generation，Gaussian Completion，Point-to-Gaussian Generation。
无条件三维高斯生成
与现有SOTA方法的可视化以及量化结果对比：
图/文生三维高斯
给定文本，比如“a grey chair has two L type legs”， DiffGS能够生成对应的三维高斯模型
三维高斯补全
DiffGS 是首个能够实现三维高斯补全的模型。给定残缺的模型，DiffGS能够预测完整的三维高斯模型
点云生成三维高斯
DiffGS 还可以支持基于点云的三维高斯生成任务。只需要将Gaussian VAE的输入修改为三维点云即可以实现该任务。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉交流群，成立啦！
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
最前沿
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
工业3D视觉
：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶
：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。
三维重建
：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机
：四旋翼建模、无人机飞控等
2D计算机视觉
：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
最前沿
：具身智能、大模型、Mamba、扩散模型、图像/视频生成等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地、产品、行业新闻
等交流群
添加小助理: cv3d001，备注：
研究方向+学校/公司+昵称
（如
3D点云+清华+小草莓
）, 拉你入群。
▲长按扫码添加助理：cv3d001
3D视觉工坊知识星球
「3D视觉从入门到精通」知识星球
(
点开有惊喜
)
，已沉淀6年，星球内资料包括：
秘制视频课程近20门
（包括
结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云
等）、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、
3D视觉优质源码汇总
、
书籍推荐
、
