StochSync：可在任意空间中生成高质量360°全景图和3D网格纹理

3D视觉之心 · 公众号 · · 2025-03-09 07:00

正文

作者 | AIGC Studio

点击下方卡片，关注“ 3D视觉之心 ”公众号

第一时间获取 3D视觉干货

StochSync方法可以用于在任意空间中生成图像，尤其是360°全景图和3D网格纹理。该方法利用了预训练的图像扩散模型，以实现zero-shot生成，消除了对新数据收集和单独训练生成模型的需求。StochSync 结合了 Diffusion Synchronization（DS）和 Score Distillation Sampling（SDS）的优点，能够在条件较弱的情况下仍然生成高质量的图像。

使用 StochSync 生成的各类网格纹理和全景图，包括背景中的一张（环境映射图），它是一张 360°全景图。StochSync 扩展了在方形空间中训练的图像扩散模型的能力，能够在诸如圆柱体、球体、环面和网格表面等任意空间中生成图像。

unset unset 相关链接 unset unset

论文：http://arxiv.org/abs/2501.15445v1
主页：https://stochsync.github.io/

unset unset 论文介绍 unset unset

我们提出了一种名为 StochSync 的方法，用于生成任意空间中的图像——例如 360°全景图或 3D 表面上的纹理——该方法利用了一个预训练的图像扩散模型。主要的挑战在于弥合扩散模型理解的二维图像与图像生成的目标空间之间的差距。与那些在缺乏强条件或缺乏精细细节的情况下难以取得成效的方法不同，StochSync 结合了扩散同步和得分蒸馏采样的优势，即使在条件较弱的情况下也能有效运行。实验表明 StochSync 比之前的基于微调的方法表现更出色，尤其是在 360°全景图生成方面。