专栏名称: 计算机视觉工坊

专注于计算机视觉、VSLAM、目标检测、语义分割、自动驾驶、深度学习、AI芯片、产品落地等技术干货及前沿paper分享。这是一个由多个大厂算法研究人员和知名高校博士创立的平台，我们坚持工坊精神，做最有价值的事~

北大重磅开源！基于八叉树的轻量级形状生成扩散模型

计算机视觉工坊 · 公众号 · · 2024-10-13 00:00

正文

点击下方卡片，关注 「3D视觉工坊」 公众号
选择星标，干货第一时间送达

本次分享我们邀请到了北京大学王选计算机研究所一年级博士生 魏斯桐 为大家详细介绍他的工作： OctFusion 。如果您有相关工作需要分享，欢迎文末联系我们。

OctFusion: Octree-based Diffusion Models for 3D Shape Generation
论文： https://arxiv.org/pdf/2408.14732
代码： https://github.com/octree-nn/octfusion

直播信息

时间

2024年 10月15日 (周二) 19：00

主题

北大重磅开源
基于八叉树的轻量级形状生成扩散模型

直播平台

3D视觉工坊哔哩哔哩

扫码观看直播，或前往B站搜索3D视觉工坊观看直播

3DCV视频号 也将同步直播

嘉宾介绍

魏斯桐

北京大学王选计算机研究所一年级博士生

直播大纲

扩散模型在三维形状生成领域取得了令人瞩目的成果。然而，探索更高质量、更高效率、更多样化的形状生成，仍然很有挑战性。我们提出了 OctFusion，它能够在单个 Nvidia 4090 GPU 上以 2.5 秒生成高分辨率的三维形状，并且能够保证提取的形状网格是连续和流形的。我们设计了基于八叉树隐式表达的扩散模型。该表达结合了隐式神经表征和显式八叉树的优点，构建了基于八叉树的VAE。常见的级联扩散模型设计训练步骤复杂且消耗大量计算资源，我们所提出的OctFusion是一个统一多尺度的 U-Net 模型，可以在不同的八叉树层次上共享权重，从而节省参数量和计算时间。我们在 ShapeNet 数据集上实现了SOTA，并在 Objaverse 数据集上验证了 OctFusion 的生成质量。OctFusion 能够灵活地应用于不同任务，它可以根据文本、草图或类别标签进行生成，也可以用于生成高质量的带纹理形状。