编者按：你是否曾经为如何创作和编辑一篇图文并茂、排版精美的文章而烦恼？或是为缺乏艺术灵感和设计思路而痛苦？AI技术能否在艺术设计中帮助到我们？今天我们为大家介绍的这篇论文，“Automatic Generation of Visual-Textual Presentation Layout”（图文排版的自动生成算法研究），刚刚被美国计算机学会会刊ACM Transactions on Multimedia Computing, Communications and Applications （TOMM）授予2017 Nicolas D. Georganas 最佳论文奖，希望为大家在进行富媒体内容创作和分享时提供一个独到的思路和方法。
论文的联合作者是杨绪勇（微软亚洲研究院和中国科技大学联
合培养博士生，喂车车联合创始人）、梅涛（微软亚洲研究院资深研究员，美国计算机协会杰出科学家，国际模式识别学会会士）、徐迎庆（前微软亚洲研究院主管研究员，清华大学美术学院信息艺术设计系主任）、芮勇（前微软亚洲研究院副院长，联想CTO）、李世鹏（前微软亚洲研究院副院长，硬蛋CTO）。祝贺研究院的各位研究员和院友们！
当今富媒体的内容之多是前所未有的，人们每时每刻都在创造和分享着海量信息，特别是内容繁杂的图像和文字信息，其中图文混排的内容模式已经成为主流。而在内容创作过程中，人们面临的一个巨大的挑战就是如何针对内容多样的图像和文字信息来设计吸引眼球的版面（例如，杂志封面、海报、或者PPT演讲稿等）。这个问题无论是对于商业印刷、在线期刊与杂志，还是用户生成的内容表达，都极为重要。图文内容的排版涉及到大量的专业知识，包括视觉传达、信息艺术设计、色彩与美学、平面规划、几何构图等等。以往的图文排版设计工作，不仅需要具有丰富专业知识的设计师，而且还耗费大量的人工。如何让计算机根据图文内容来自动进行排版是一个非常困难的问题。
从2013年底开始，来自微软亚洲研究院的研究员与来自清华大学美术学院的艺术设计专家，在这个科学与艺术相融合的领域开展了深入地合作。他们把设计学中的审美原则与可计算的图像特征相结合，创造性地提出了一个
可计算的自动排版框架原型
。该原型通过对一系列关键问题的优化（例如，嵌入在照片中的文字的视觉权重、视觉空间的配重、心理学中的色彩和谐因子、信息在视觉认知和语义理解上的重要性等)，把视觉呈现、文字语义、设计原则、认知理解等领域专家的先验知识自然地集成到同一个多媒体计算框架之内，并且开创了“
视觉文本版面自动设计
”这一新的研究方向。
图1 利用算法自动产生的图文排版效果。注：原始输入是一张纯图片（即没有任何文字）和一段纯文本（如主标题和副标题等），输出是图文混排的结果（文字嵌入图片之中）。
这项研究将通用的美学感知进行了体系的数学表达，构建了一套和主题相关的图文排版设计模版库，并提出一套可计算的图文合成框架原型
，既融合了宏观层面自上而下的美学感知，又包含了微观层面自下而上的图文特征。通过融合人脸、文字检测以及视觉显著性检测算法，率先提出了视觉注意力检测算法，构成了整幅图像的重要性图和注意力图；在针对文字布局的算法中，这篇论文将文字块的形状和图像中的重要性图交互过程量化为一个能量最优化问题：
是图1中文本侵入显著视觉对象的成本，即尽量减少文本和重要视觉对象的交叉；
表示空闲视觉空间的浪费，即充分利用图像中的可用视觉空间，以最大化文字的突出效应；而
则代表文本块的语义重要性
和视觉感知重要性
之间的不匹配，即将最重要的文字内容匹配到图像中最重要的视觉区域，以便于阅读时快速获得关键信息。
能量最优化的求解过程，在设计模版的美学感知原则的监督下，使得最后的求解结果能符合视觉审美需求，而不仅仅是计算机的最优求解结果。
在文本空间布局后，通过对图像前后景显著颜色的分析，在色彩和谐最优化框架中，保持色彩整体和谐，并最大化文字和背景色彩的差异以使得最后的图文混排能在全局尊重原图的色彩和谐性，又能在局部保证文字的可阅读性。全局色彩的和谐计算采用了著名的“Color Harmonization”中提出的心理学色彩模型，并结合了这篇论文中提出的图像前后景主题色在不同主题下的模型偏好，从而找到最适合的全局主题色。针对局部的视觉对比度最大化，论文提出了最远色调角黄金取样法，即找到文本覆盖背景下图像的显著颜色映射到tone和hue空间，在二维色调空间（tone, hue）求最远点，并取显著颜色点到最远点的黄金分割点。通过整个框架，能完成整个图文设计在美学感知监督下的自动化。
