【ETHZ博士论文】二维和三维生成模型在现实世界约束下

来源：专知
本文为论文介绍，建议阅读5分钟
本论文的重点是解决二维和三维生成模型中的这些现实世界的约束。

近期生成模型的进展已经改变了视觉内容的创作，并在计算机视觉和图形学的多个应用中展现出巨大的潜力。然而，生成模型在日常任务中的应用受到生成过程可控性、数据需求和计算要求等挑战的限制。本论文的重点是解决二维和三维生成模型中的这些现实世界的约束。

首先，我们专注于通过迁移学习提高类条件生成对抗网络（GAN）的数据效率。我们引入了一种新的类特定迁移学习方法，称为cGANTransfer，旨在根据旧类与新类的相关性明确传播知识。通过广泛的评估，我们证明了所提出方法在条件GAN迁移中的优越性，超越了之前的方法。

其次，我们研究了使用小数据集训练类条件GAN的情况。特别地，我们发现了GAN中的条件崩溃——由小数据上的条件GAN训练引起的模式崩溃。我们提出了一种基于过渡条件的训练策略，有效防止了观察到的模式崩溃，并同时利用无条件学习。所提出的方法不仅实现了稳定的训练，还生成了高质量的图像，这得益于在训练早期阶段利用了类之间共享的信息。

第三，我们解决了NeRF-GAN的计算效率问题，这是一类基于神经辐射场（NeRF）和GAN集成的三维生成模型，训练于单视图图像数据集。具体而言，我们重新审视了姿态条件的二维GAN，以便在推理时高效地生成三维感知的内容，通过从预训练的NeRF-GAN中提取三维知识。我们提出了一种简单有效的方法，利用预训练NeRF-GAN的良好解耦潜在空间，在姿态条件的卷积网络中进行高效推理，直接生成与基础三维表示相对应的三维一致性图像。

最后，我们解决了在三维场景中进行物体生成的新任务，无需任何三维监督或用户的三维放置指导。我们介绍了InseRF，一种用于在三维场景的NeRF重建中生成对象插入的新方法。基于用户提供的文本描述和仅在参考视点中的二维边界框，InseRF能够在三维场景中进行可控且三维一致的物体插入，而无需显式的三维信息作为输入。