摘要
—注意力机制已成为扩散模型中的核心组成部分，对其在多种生成与判别任务中的表现起到了关键作用。本文对扩散模型中的注意力机制进行了全面综述，从系统的角度分析其在不同模态与任务中的作用、设计模式与操作方式。我们提出了一套统一的分类体系，依据注意力机制所影响的结构组件，将现有的相关改进加以归类，从而为理解其功能多样性提供了清晰的视角。
除了回顾架构上的创新之外，本文还探讨了注意力机制在各类应用中对性能提升的贡献。我们进一步指出当前研究中存在的限制与尚未充分探索的方向，并提出未来可能的研究路径。本综述为理解扩散模型不断演进的研究图景提供了有价值的见解，尤其聚焦于注意力机制在其中所扮演的整合性与普适性角色。
关键词
—扩散模型；注意力机制；多模态生成；微调
1 引言
扩散模型（Diffusion Models）[1]–[3] 近年来已成为深度学习中的一项强大工具，因其在建模复杂数据分布方面表现突出而受到广泛关注。这类模型在生成任务和判别任务中均展现出良好效果，尽管其应用更多集中在生成领域。近年来，扩散模型已被广泛应用于多个行业，从医疗健康到娱乐媒体，在数据合成、异常检测与优化问题等方面均带来了显著进展。在学术研究领域，扩散模型在自然语言处理 [4] 和计算机视觉 [5] 等方向取得了突破性成果。其生成真实且连贯数据的能力，推动了多模态生成任务的发展，例如文本生成图像 [2], [6]–[8]、风格迁移 [9], [10]、图像编辑 [11]–[13]、文本生成视频 [14]–[16] 以及三维生成 [17]–[21] 等。这些应用不仅拓展了人工智能的创造力边界，也为深度学习方法论带来了新的思路。
扩散模型的核心流程如图 1 所示，其通过一系列迭代的去噪步骤，将噪声逐步转化为结构化数据 [1]–[3]。通常，这类模型依赖于如 UNet 等架构，在每个步骤中预测去噪后的数据。尽管扩散模型在多个任务中都取得了显著成果，但其中一大挑战在于
如何捕捉并保持特征间复杂关系与相互作用
。模型不仅需要学习随时间演化的动态模式，还需确保生成结果的可控性与预测精度。要实现这一目标，就必须具备一种能够动态加权并对齐特征的方法，无论是在图像合成、图像分割还是其他任务中，
注意力机制
在此过程中起到了不可或缺的作用 [1], [2]。
注意力机制使得模型能够有选择性地优先处理输入中的关键部分，并动态调整其重要性，从而更专注于最相关的特征。在每一步中动态关注输入的不同区域，能够帮助模型学习特征之间更精细的依赖关系，从而提升结果的质量、精度与可解释性。这种聚焦于数据关键部分的能力，使模型既能捕捉局部细节，也能理解更广泛的上下文信息 [22], [23]。
在生成任务中，例如文本生成图像，注意力机制对于对齐文本与视觉表示至关重要 [11], [13]。它使模型能够聚焦于文本中的关键属性，并将其动态匹配至相应的图像特征。相比传统特征提取方法，注意力机制在输入特征加权方式上具有更高的灵活性，使得模型能更细致地理解文本语义，并确保生成图像与输入描述的一致性 [3]。
在判别任务中，如语义分割 [24]，注意力机制则增强了模型对图像关键区域的聚焦能力，从而提升分类的准确性。与生成任务不同，此类任务的目标不是生成内容，而是提升模型对输入结构的理解 [25]。注意力机制通过聚焦于包含关键信息的区域，帮助模型更准确地完成逐像素分类任务。例如，在进行目标与背景的分割时，注意力能够使边界或纹理等细节更清晰地被识别 [26], [27]，从而实现更精确、更具上下文感知的分割效果，增强模型的整体预测能力。
尽管注意力机制在扩散模型中已在多项任务上取得显著成果，但在特征提取与跨模态对齐方面仍存在诸多挑战，例如一致性问题 [11], [12], [28]、控制精度不足 [13], [29], [30]、时序特征整合难度大 [31], [32]，以及计算效率偏低 [33]–[35] 等。鉴于注意力机制在扩散模型中的关键作用，众多研究者已提出多种改进方法，以应对上述挑战，推动该领域持续发展。然而，目前尚缺乏对这些重要研究成果的
系统性综述
。
为填补这一空白，本文从两个维度对现有方法进行了系统分类：一是它们所解决的具体子问题，二是其应用场景。我们深入分析了各类方法的异同、优劣与适用范围，从而对扩散模型中注意力机制的发展图景进行了结构化梳理，并提出未来研究的潜在方向。
不同于以往的综述研究 [36]–[39]，本研究深入拆解了扩散模型中注意力机制的组成部分，从而实现更合理的分类，并更深入理解注意力在不同阶段与不同模态下的作用机制。基于是否对模型结构进行修改，我们将注意力机制的改进方法划分为五个层级，其分类体系如图 4 所示。
本文的主要贡献包括：
-
提出一套系统化的注意力机制分类体系
，覆盖多模态扩散模型中的不同阶段，揭示了注意力机制在扩散流程中扮演的多样化角色与调控策略；
-
深入探讨注意力机制在多模态扩散模型中的应用场景
，为不同领域的实践提供有价值的参考；
-
全面识别当前注意力机制存在的挑战与局限
，并提出潜在的改进策略，为该快速发展的研究方向提供未来研究路径。
本文其余部分组织如下：第 2 节介绍扩散模型与经典注意力机制的基础知识；第 3 节对现有注意力方法进行归类与评述；第 4 节总结多模态生成任务中注意力机制的应用；第 5 节讨论当前方法的局限性与未来研究方向。
专知便捷查看，访问下面网址或
点击最底端“阅读原文”
https://www.zhuanzhi.ai/vip/dd6135f75737b1fb1a2537e0f9d2d352
点击“
阅读原文
”，查看下载本文
