最近，由东京大学 Mantra 团队、雅虎（日本）等机构联合发布的《Towards Fully Automated Manga Translation 实现漫画全自动翻译》（论文地址https://arxiv.org/abs/2012.14271）论文，引发了学界和二次元界的关注。
Mantra 团队成功地实现了将漫画的中的对话、气氛词、标签等文字自动识别，并做到了区分角色、联系上下文，最后将翻译文字准确替换、嵌入气泡区域。
有了这个翻译神器，估计翻译组、追漫的小伙伴们都该偷着乐了。
在科研方面，目前该篇论文已经被 AAAI 2021 接收，研究团队还开源了一个包含五部不同风格（幻想、爱情、战斗、悬疑、生活）的漫画，所组成的翻译评估数据集。
论文地址：https://arxiv.org/abs/2012.14271
数据内容：1593 个句子、848 个场景、214 页漫画
下载地址：https://hyper.ai/datasets/14137
在产品化方面，Mantra 计划上线封装好的自动翻译引擎，不仅面向出版社提供漫画的自动化翻译与发行服务，也会发布面向个人用户的服务。
下面是我们从 Mantra 官方推特上选取的日漫《周边男子》的部分翻译成果，这部多格、轻耽美风格的漫画，以生活常用的数码设备拟人化为背景，充满欢乐与基情：
具体的实现步骤，Mantra 研究团队在论文《Towards Fully Automated Manga Translation 实现漫画全自动翻译》中进行了详细的解释。
但由于漫画的特殊性，来自不同角色的对话、效果拟声词、文字标注等等，都会展现在一幅漫画图片里，漫画师会用气泡、不同的字体、夸张的字体来展现不同效果的文字。
研究团队发现，由于漫画中的这些各种字体和手绘样式，即使使用最先进的OCR 系统（例如 Google Cloud Vision API），在漫画文本上的表现很不理想。
因此，团队开发了针对漫画优化的文本识别模块，通过检测文本行和识别每个文本行的字符来实现对异形文字的识别。
在漫画中，最常见的文字就是角色之间的对话，对话文字气泡还会被切割成多块。
这就要求自动化机器翻译需要准确区分角色，还得联系上下文注意主语的衔接、避免重复，这都对机器翻译提出了更高的要求。
在这一步中，要通过上下文感知、情感识别等方式来实现，在上下文感知中，Mantra 团队用了文本分组、文本阅读顺序、提取视觉语义三种方式，实现了多模态的上下文感知。
Mantra 这一自动化引擎，不仅能够区分角色、联系上下文准确翻译以外，还很好地解决了漫画翻译中的耗时最久、人力成本最高的环节——嵌字。
在嵌字这一环节中，首先要擦除嵌字区域，再进行嵌字，由于日文、中文、英文字符的形态、拼写、组合、连读方式都不一样，所以这一环节的难度也尤其大。
在这一步中，需要进行：页面匹配→检测文本框→文字气泡的像素统计→拆分连接的气泡→语言间的对齐→文字识别→上下文提取。
在论文中的实验部分，Mantra 团队提到目前并没有包含多种语言的漫画数据集，所以他们创建了 OpenMantra（已开源） 和 PubManga 数据集，其中OpenMantra 用于评估机器翻译，包含 1593 个句子、848 个场景画面和 214 页漫画，Mantra 团队已经请专业翻译人员将数据集翻译成英文和中文。
OpenMantra 漫画翻译评估数据集
（同上文）
论文地址：https://arxiv.org/abs/2012.14271
数据内容：1593 个句子、848 个场景、214 页漫画
下载地址：https://hyper.ai/datasets/14137
PubManga 数据集用于评估构建的语料库，该数据集包含注释：1）文本和框架的边框；2）日语和英语的文本（字符序列）；3）框架和文本的阅读顺序。
为了训练模型，团队准备了 842097 对日文、英文版的漫画页面，共 3979205 对日语-英语的句子。具体的方法可以阅读论文，最终的模型效果评估由人工完成，Mantra 团队邀请了五位专业的日文-英文翻译人员，以专业的翻译评估程序给句子打分。
目前该篇论文已经被 AAAI 2021 收录，产品化的工作也在稳步推进中，从 Mantra 团队的推特中，我们看到已经有不少漫画成功使用了 Mantra 进行自动化机器翻译。
这样的宝藏项目，是由两位东京大学的博士生完成的，CEO石和祥之介 （Shonosuke Ishiwatari），CTO 日南凉太（Ryota Hinami） 同在东京大学博士毕业，在 2020 年创立了 Mantra 团队。
