点击下方
卡片
，关注
「3DCV」
公众号
星标
，干货第一时间送达
编辑：3DCV
添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群
扫描下方二维码，加入
3D视觉知识星球
，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：
近20门视频课程(星球成员免费学习)
、
最新顶会论文
、
3D视觉最新模组
、
3DGS系列(视频+文档)
、
计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
读者个人理解
PointDreamer 是一种全新的框架，用于从彩色点云中重建具有纹理的 3D 网格。它通过利用 2D 视觉技术中的成熟技术和大量数据，通过 2D 图像修复技术来生成高质量的网格纹理，从而克服了现有方法中纹理模糊或泛化能力不足的问题。
Figure1展示了 PointDreamer 框架的整体流程和优势，它能够从彩色点云中重建具有高清晰度纹理的3D网格
论文信息
标题：
PointDreamer: Zero-shot 3D Textured Mesh Reconstruction from Colored Point Cloud by 2D Inpainting
https://github.com/YuQiao0303/PointDreamer
主要贡献
PointDreamer的主要贡献如下：
提出了一个零样本学习框架，用于从彩色点云中重建具有纹理的 3D 网格，无需在 3D 数据集上进行训练。
设计了 Non-Border First (NBF) Unprojection 策略，有效地避免了由于遮挡边界处颜色预测不准确而产生的伪影。
在各种基准数据集上取得了 SOTA 性能，显著优于现有方法。
方法
Figure2展示了 PointDreamer框架的重建流程，该框架旨在从彩色点云中重建具有纹理的3D网格
重建流程分为三个主要步骤
：
无纹理网格重建
：首先，使用POCO等方法从输入的彩色点云中重建无纹理网格。这一步的目的是获取 3D 网格的几何结构，而忽略颜色信息。
将彩色点云投影到2D空间，生成稀疏的多视图图像。由于点云是稀疏的，因此生成的图像中会存在许多空白像素。
Figure3展示了隐藏点移除操作的重要性，该操作在PointDreamer框架中用于生成稀疏多视图图像。
使用预训练的2D扩散模型进行图像修复，将稀疏图像转换为密集图像。扩散模型能够学习图像中的潜在信息，并填充空白像素，从而生成具有清晰纹理的图像。
Figure 4 展示了 PointDreamer 框架中反投影模块的输入、输出以及不同反投影策略的对比。
将2D图像中的颜色信息反投影回3D空间。由于网格已经通过UV映射与2D图像相关联，因此可以将图像中的颜色信息映射到网格上，从而生成具有纹理的3D网格。
使用 Non-Border First(NBF)Unprojection 策略进行反投影，以避免由于遮挡边界处颜色预测不准确而产生的伪影。
Figure 2 中的关键要素
：
彩色点云
：输入数据，包含每个点的 XYZ 坐标和RGB颜色信息。
无纹理网格
：使用几何提取模块从彩色点云中重建的网格，只包含几何结构，没有颜色信息。
稀疏多视图图像
：将彩色点云投影到2D空间生成的图像，由于点云是稀疏的，因此图像中会存在许多空白像素。
密集多视图图像
：使用2D扩散模型进行图像修复后生成的图像，包含完整的颜色信息。
纹理网格
：将2D图像中的颜色信息反投影回3D空间后生成的网格，包含清晰的纹理。
实验结果
PointDreamer 框架在3D纹理网格重建任务上取得了显著的成果。如下图所示，与现有方法相比，PointDreamer 能够生成更清晰、更逼真的纹理，尤其是在感知指标LPIPS和FID 上取得了显著提升。实验结果表明，PointDreamer在各种数据集和输入条件下都表现出了良好的鲁棒性和泛化能力，即使面对噪声输入或稀疏点云，也能取得优异的重建结果。此外，通过分析不同方法组件的影响，发现POCO、DDNM和NBF策略分别是最优的几何提取、图像修复和反投影方法，共同推动了PointDreamer的成功。
总结
PointDreamer 是一种创新的零样本框架，通过将 3D 重建任务转化为 2D 图像修复，实现了高保真度和强泛化能力的纹理网格重建。它在各种基准数据集上取得了 SOTA 性能，并具有易于使用和强大的抗噪声能力等优点，在 3D 重建领域具有广阔的应用前景。
本文仅做学术分享，如有侵权，请联系删文。
3DCV技术交流群
目前我们已经建立了3D视觉方向多个社群，包括
2D计算机视觉
、
大模型
、
工业3D视觉
、
SLAM
、
自动驾驶
、
三维重建
、
无人机
等方向，细分群包括：
2D计算机视觉：
图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等
大模型：
NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等
工业3D视觉：
相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。
SLAM
：
视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。
自动驾驶：
深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。
三维重建：
3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
无人机：
四旋翼建模、无人机飞控等
除了这些，还有
求职
、
硬件选型
、
视觉产品落地
、
最新论文
、
3D视觉最新产品
、
3D视觉行业新闻
等交流群
添加小助理: dddvision，备注：
研究方向+学校/公司+昵称
（如3D点云+清华+小草莓）
, 拉你入群。
▲长按扫码添加助理
3D视觉技术星球
3D视觉从入门到精通知识星球、国内成立最早的3D视觉学习交流社区。包括：
星球视频课程近20门（价值超6000）
、
项目对接
、
3D视觉学习路线总结
、
最新顶会论文&代码
、
3D视觉行业最新模组
、
3D视觉优质源码汇总
、
书籍推荐
、
编程基础&学习工具
、
实战项目
&作业
、
求职招聘&面经&面试题
等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。
▲长按扫码加入星球
3D视觉课程官网：
www.3dcver.com
3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、
BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、
无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划
、
