专栏名称: 3DCV
关注工业3D视觉、SLAM、自动驾驶技术,更专注3D视觉产业的信息传播和产品价值的创造,深度聚焦于3D视觉传感器、SLAM产品,使行业产品快速连接消费者。
目录
相关文章推荐
国家外汇管理局  ·  中共中央 国务院关于进一步深化农村改革 ... ·  22 小时前  
PChouse家居APP  ·  Deepseek怒怼ChatGPT,究竟谁更 ... ·  3 天前  
国家外汇管理局  ·  李强主持召开国务院常务会议 ... ·  2 天前  
国家外汇管理局  ·  中国人民银行、国家外汇局召开2025年全面从 ... ·  3 天前  
PChouse家居APP  ·  不要电视茶几,LDK+图书馆buff叠满的学 ... ·  5 天前  
51好读  ›  专栏  ›  3DCV

慕尼黑工大与KAUST发布‘Motion2Vecsets’:4D隐向量集,助力非刚体重建与跟踪

3DCV  · 公众号  ·  · 2024-10-07 00:00

正文

点击下方 卡片 ,关注 「3DCV」 公众号
选择 星标 ,干货第一时间送达

来源:计算机视觉life

添加小助理:cv3d008,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。

扫描下方二维码,加入「 3D视觉从入门到精通 」知识星球 ,星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料: 近20门独家秘制视频课程 最新顶会论文 、计算机视觉书籍 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入!

【Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking】

文章链接: [2401.06614] Motion2VecSets: 4D Latent Vector Set ...

开源项目:

https://vveicao.github.io/projects/Motion2VecSets/

我们介绍了Motion2VecSets,一种基于点云序列的动态表面重建的4D扩散模型。虽然现有的最先进的方法已经证明了使用神经场表示重建非刚性物体的成功,但传统的前馈网络遇到了来自噪声、部分或稀疏点云的模糊观测的挑战。为了解决这些挑战,我们引入了一个扩散模型,该模型通过压缩潜在表示的迭代去噪过程显式地学习非刚性物体的形状和运动分布。基于扩散的先验在处理模糊输入时,可以实现更合理和更概率的重建。我们用隐 #论文 向量集参数化4D动力学,而不是使用全局隐向量。这种新颖的4D表示允许我们学习局部表面形状和变形模式,从而导致更准确的非线性运动捕获,并显著提高对未知运动和身份的泛化能力。为了进行更多的时间一致性目标跟踪,我们同步去噪变形潜在集,并在多帧之间交换信息。为了避免计算量过大,我们设计了一个空间和时间交错的注意力块来交替聚合空间域和时间域的形变隐变量。与最先进的方法进行了广泛的比较,证明了我们的Motion2VecSets在从各种不完美的观测重建4D方面的优越性,特别是在DeformingThings4D - Animals数据集上从稀疏点云重建看不见的个体时,与CaDex相比,交并比( Intersection over Union,IoU )提高了19 %。

本文仅做学术分享,如有侵权,请联系删文。

3D视觉交流群,成立啦!

目前我们已经建立了3D视觉方向多个社群,包括 2D计算机视觉 最前沿 工业3D视觉 SLAM 自动驾驶 三维重建 无人机 等方向,细分群包括:

工业3D视觉 :相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM :视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶:深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建 :3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机 :四旋翼建模、无人机飞控等

2D计算机视觉 :图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿 :具身智能、大模型、Mamba、扩散模型等

除了这些,还有 求职 硬件选型 视觉产品落地、产品、行业新闻 等交流群

添加小助理: dddvision,备注: 研究方向+学校/公司+昵称 (如 3D点云+清华+小草莓 ), 拉你入群。

▲长按扫码添加助理:cv3d008

3D视觉从入门到精通 知识星球

「3D视觉从入门到精通」知识星球 ,已沉淀6年,星球内资料包括: 秘制视频课程近20门 (包括 结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云 等)、 项目对接 3D视觉学习路线总结 最新顶会论文&代码 3D视觉行业最新模组 3D视觉优质源码汇总 书籍推荐 编程基础&学习工具 实战项目&作业 求职招聘&面经&面试题 等等。欢迎加入3D视觉从入门到精通知识星球,一起学习进步。







请到「今天看啥」查看全文