专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

ICLR 2025 | 多步不确定性让生成可控性大幅超越ControlNet++

将门创投 · 公众号 · 科技创业 · 2025-03-14 08:22

正文

还在用 Diffusion 解码出来的图片做 Rewarding Tuning？要知道，Diffusion 生成的图像分布与真实图像分布存在差异，直接使用生成图像计算 Rewarding Loss 会导致错误梯度累积。为此，清华大学智能产业研究院的研究团队提出基于 Uncertainty 建模的 Rewarding 过程，可以显著提升图像生成任务中的可控性以及生成质量！广泛实验证明，这是目前可控性最佳的条件生成模型，并且支持 Segmentation、HED、Depth、Lineart 等多种条件扩展。

论文题目:

Ctrl-U: Robust Conditional Image Generation via Uncertainty-aware Reward Modeling

论文链接：

https://arxiv.org/abs/2410.1123 6

代码链接：

https://grenoble-zhang.github.io/Ctrl-U-Page

一、简介

条件图像生成旨在生成与用户指令高度匹配的图像，尽管现有方法已经取得了显著进展，但在生成图像的 条件一致性 和 视觉质量 上依然存在巨大挑战。为了解决这个问题，清华大学智能产业研究院的研究团队提出了基于不确定性引导的可控生成框架—— Ctrl-U ，显著提升了模型的可控性和生成质量。

二、研究动机

近年来，随着大规模图文数据集的构建，文本生成图像（文生图）扩散模型在生成高保真、高分辨率图像方面取得了显著进展。然而，由于文本条件在表达细节控制方面的固有局限性，文生图模型在复杂场景渲染和艺术风格模拟等特定应用场景中，难以实现精细化和高精度的控制。

为了解决上述问题，研究者们提出了多种条件控制方法（如 T2i-Adapter 和 ControlNet），通过引入手绘线稿、深度图等先验条件信息，增强了生成模型的精确性。尽管上述方法在扩展文生图模型的应用范围方面取得了一定进展，但在生成图像的质量和条件一致性上，仍面临显著挑战。

为进一步提高生成结果与输入条件之间的一致性，部分研究（如 ControlNet++）尝试利用预训练的奖励模型，提取生成图像中的条件特征，并与输入条件信息进行对齐。然而，研究表明，奖励模型在处理新生成数据时，往往存在反馈不准确的问题。这种不准确性主要源于以下两个方面：

扩散过程中的噪声干扰 ：扩散模型在训练过程中对输入添加不同程度的高斯噪声，显著增加了条件特征提取的难度。
未见数据的分布偏差 ：生成图像与真实图像之间存在分布差异。奖励模型在面对未见分布时，即便生成结果已与条件保持一致，也容易产生错误预测。这些不准确的奖励反馈会造成错误梯度累积，从而影响模型的优化。