论文推荐| [CVPR 2019] DynTypo: 基于样例的动态文本特效迁移

本文简要介绍 CVPR 2019 论文 “Example-based Dynamic Text Effects Transfer” 的主要工作。本文基于传统纹理合成技术提出了一种全新的动态文字特效迁移方法，能够实现动态特效在不同文本之间的自动迁移，生成大量时序稳定、风格还原度高的逼真动态特效字。

风格迁移技术作为计算机视觉和图形学领域的一个研究热点，能够实现风格纹理在不同内容之间的迁移，视频风格迁移则是图像风格迁移在时序空间上的拓展，而最直接的实现方法则是逐帧进行图像特效迁移，在帧与帧之间通过时序引导方式添加时序限制 ^[6,7,2] ，即依据目标运动流对当前帧预测下一帧结果，用于引导下一帧的合成，从而实现帧与帧之间时序上的相干性，防止出现时序纹理错误，如闪烁、抖动等。但由于动态文字特效包含多种子效果、甚至将静态特效和动态特效相融合（如火焰燃烧的铁锈字效，既包含动态火焰效果，又包含静态铁锈效果），具有一定的复杂性，即使增添时序引导项依旧难以生成静态效果稳定不动、动态效果自然流畅的动态特效字，静态特效纹理会产生剧烈的闪烁、抖动，并且现有的静态文本特效迁移方法 ^[4,5] 对于设计性强、逼真强烈的流体特效，难以提供正确的空间分布引导，导致风格特效迁移不完整甚至失败。

动画风格化技术 ^[1,2,3] 通过输入一张素材风格图、一段目标动画，利用传统纹理合成或深度学习方法风格化目标动画，使其带有素材风格图的风格特征。但本文只输入单张目标文本图，不同于之前方法中输入动态的目标动画，因而无法直接评估目标运动流，提供时序上的预测和引导，而通过素材风格动画中运动流进行目标映射的方法亦存在较大的误差，使得现有动画风格化方法无法在本文场景中生成动态效果稳定、流畅的动态特效字。

综上，现有的风格迁移技术存在着动态纹理闪烁、抖动等时序问题，以及复杂流体特效效果丢失、迁移不完整等外观问题，在没有目标动画输入时无法生成动态效果稳定、流畅的动态特效字。

本文方法不再采用逐帧进行风格迁移的处理流，而将整个视频在三维空间上看作一个整体，通过提取关键帧及构建时空相干项将二维图像中的图像块拓展到时序维度成为时空块，随后结合时空相干项和文本引导项构建目标函数，最后采用改进的 PatchMatch 算法在目标函数的引导下对目标视频时空块在素材视频中进行最近邻匹配，从而实现目标动态纹理合成。该改进的 PatchMatch 算法通过引入距离权重图和模拟退火算法实现了深度的、有方向引导的匹配搜索，能够更充分地将素材纹理风格迁移到目标图中。具体包括如下步骤：

通过逐帧计算特效粒子的新生、消亡数目并绘制生存状态发生变化的粒子数目随帧序号变化的折线图，提取满足最小间隔的峰值对应的帧序号作为特效形态差异变化较大的帧，将其定义为关键帧；对每一幅素材风格动画提取得到多个关键帧；每个关键帧对应一幅素材风格图。

通过计算各个关键帧上对应的素材风格图与目标风格图的图像块在 RGB 空间上的距离（ L2 距离），再将各关键帧上对应的素材风格图和目标风格图的图像块之间的距离相加，得到时空块之间的距离，即时空相干项。其示意图如图 2 所示。

①基于权重地图的方向引导的传播方法。首先计算目标文本图中每个像素点到文本边缘轮廓的最近距离，生成距离图，依据该距离图得到目标文本图的每个图像块中各个像素点的权重值，记为权重地图。权重值与距离值之间成负相关，相关关系为指数相关，因此，距离文本轮廓线较近的像素点有较高的权重值。该权重地图通过控制各像素点在计算图像块的相似性（目标函数中各引导项的本质即为衡量图像块之间的相似性，计算图像块之间 L2 距离时需将各像素点 L2 距离加权相加，通过权重地图提供各像素点的权重）时的权重以及目标风格图重建时各像素点的权重，引导纹理从文本轮廓边缘向四周合成。

②基于模拟退火算法的深度传播。首先设置初始温度、终止温度，并初始化最近邻匹配结果。在进行 PatchMatch 的邻域传播时，计算候选解对应的目标方程值，若该值小于当前解下的目标方程值，则采用候选解替换当前解，当前解更新，否则以一定概率接受该解，该接受概率随着温度下降而降低，温度随迭代次数的增多而下降，通过这种动态概率接受的方式，使得初始迭代中更易接受新解，使得纹理进行深度传播，而在后续过程，只有严格满足能量减少的解才能被接受。

本文主要通过不同动态特效风格在不同字形下的动态字生成效果展示了方法的有效性，仅需要单张目标文本，能够生成时序稳定、风格还原度高的逼真动态特效字，一些代表性帧下的合成结果如图 3 所示，完整的视频展示结果见网址 https://youtu.be/FkFQ6bV1s-o

本文在动态字生成任务上和其他S tate-of-the-arts 方法进行了对比实验，合成结果为特效字视频，图 4 对一些代表性帧上的对比结果进行了展示。结果表明，该方法相较其他方法能够更好的保证复杂流体特效的时序稳定性，且更有效地保留素材特效字的风格纹理，保持在特效风格上的高度一致性。

本文提出了一种基于样例的动态文本特效迁移方法，通过关键帧提取和时空相干项构建解决了生成动画中纹理闪烁、抖动的时序问题，通过引入距离权重图和模拟退火的改进 PatchMatch 算法（图像块匹配算法），解决了复杂流体特效效果丢失、迁移不完整的外观问题，从而只需要单张目标文本，即可生成对应的时序稳定、风格还原度高的逼真动态特效字。

本文通过大量实验验证了其在动态特效字生成任务上的有效性及其相对其他方法的优越性，且通过拓展实验展示其在其他任务场景（图标特效迁移、人物表情动画生成等）下具有一定的可拓展性。

• DynTypo项目主页：
  https://menyifang.github.io/projects/DynTypo/DynTypo.html
• DynTypo论文地址:
  https://menyifang.github.io/projects/DynTypo/DynTypo_files/Paper_DynTypo_CVPR19.pdf
• DynTypo视频Demo: https://youtu.be/FkFQ6bV1s-o