论文： https://arxiv.org/abs/2403.10983

代码： https://github.com/kongzhecn/OMG

Demo： https://huggingface.co/spaces/Fucius/OMG

项目： https://kongzhecn.github.io/omg-project/

引用：

@inproceedings{kong2024omg,
  title={Omg: Occlusion-friendly personalized multi-concept generation in diffusion models},
  author={Kong, Zhe and Zhang, Yong and Yang, Tianyu and Wang, Tao and Zhang, Kaihao and Wu, Bizhu and Chen, Guanying and Liu, Wei and Luo, Wenhan},
  booktitle={Proceedings of the European conference on computer vision (ECCV)},
  year={2024}
}

摘要

个性化生成是文本到图像生成中的一个重要问题，特别是当涉及到多概念个性化生成时，其挑战性更是不言而喻。尽管现有的多概念个性化生成方法已经取得了一定的进展，但在保持身份特征（ID保持）、处理遮挡问题以及确保前景与背景在光照上的一致性等方面，仍存在着诸多不足。针对这些问题，本文提出了一种新颖的OMG框架。该框架采用两阶段的采样方法解决现有模型的局限性。

具体来说，该框架通过一个两阶段的采样解决方案来实现，第一阶段负责布局生成和视觉理解信息的收集，以处理遮挡问题；第二阶段则利用收集到的视觉理解信息和设计好的噪声混合策略，在考虑遮挡的同时通过本文提出的概念噪声混合方法整合多个概念。本文发现概念噪声混合的起始去噪时间是保持身份和布局的关键。除此以外，OMG可以轻松地与各种单概念个性化生成方法（如LoRA和InstantID）相结合，无需进行额外的调整即可直接利用社区中的丰富模型资源（例如civitai.com上的模型）。这种兼容性使得OMG框架在实际应用中具有更广泛的适用性和更高的效率。

方法

方法的整体示意图如下图所示。在第一阶段，该方法主要负责生成布局并处理遮挡问题，同时保存整个过程中获取的注意力图。此外，通过视觉理解技术，我们还能确定不同角色的掩码位置。进入第二阶段，系统会利用第一阶段收集到的图像布局信息和位置信息，准确地将角色ID注入到对应的区域中。

1.一阶段：视觉理解信息的准备

首先，我们使用一个描述图像中多个对象的文本提示 p 输入 T2I 模型，生成一张非个性化的图像。在这个文本提示 p 中，仅包含类名（如“man”或“woman”），而不包含触发定制化图像生成的特殊标识符（如“[v] man”或“[v] woman”）。因此，一张非定制化的、包含了合理布局的图像 可以通过以下公式得到：

本文采用的文本到图像生成的模型 T2I 为 SDXL。T2I 模型的 UNet 网络由自注意力层和交叉注意力层构成。在去噪过程中，视觉嵌入和文本特征通过交叉注意力层进行融合，为每个文本标记生成交叉注意力图 A。A 的计算过程如下：

在每个去噪步骤 t , 将文本提示 p 输入 T 21 模型后, 可以计算得到交叉注意力图 ,它包含 个注意力层对应的空间注意力图 ，我们将这些注意力图进行保存。

在第二阶段需要使用噪声概念混合方法将特定概念 ID 注入图像的特点区域。为了获取这些区域的位置，在第一阶段我们使用图像理解的方法获取概念掩码区域 。具体来说，通过输入生成的图像 和 p 中的类别名称 (例如，"man"或"woman")，可以得到对应 k 个概念掩模 , 其中 k 是我们要定制化生成的概念数量。这样，我们就可以根据这些概念掩模来指导第二阶段的噪声注入过程，从而实现多概念的定制化生成。

2.二阶段：多概念个性化去噪

1）概念噪声的混合：

为了降低额外的训练开销并实现即插即用的功能，OMG 在进行第二阶段多概念定制化生成时，不采用 LoRA 融合方法，而是利用多个针对单一概念的模型分别进行推理，并将各个模型的预测噪声进行融合。此外，每个单概念模型仅负责特定区域的个性化生成，这种方法能有效缓解身份退化问题。

都对应一个定制化的生成模型 和该区域对应的文本提示 。因此, 在每一个时间步 t ,第 i 个概念对应的预测噪声为:

其中， 需要包含触发生成第i个概念的特殊标识符。

在第 t 步, 输入全局文本提示 p ，经过 T 2 I 模型生成了包含遮挡布局的全局输出 。由于 是未包含个性化的噪声, 为了将特定的概念 注入