点击上方蓝字
CG世界
关注CG我们
“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”
中国最具影响力CG领域自媒体
好吧，今天又是技术图文。
![]()
有的伙伴说，CG世界快看不下去了，
他说“看了作品受打击，
看了技术跟不上，
看了留言伤自尊”
![]()
其实我的心里是一颤的
![]()
但，有一点我要说的是
自从关注CG世界
你有没有感觉
自己的CG视野开阔了许多？
哈哈
牛逼吹到此
不再有下回了
怕挨打~
![]()
![]()
![]()
Ok，进入正题。
CG世界原创编译
未经许可谢绝转载
自动唇形同步好在不是什么新鲜的技术，这次只是迪斯尼研究者们又拔高应用了下。是迪斯尼研究所和东英吉利大学，加州理工学院以及卡内基梅隆大学的一组研究人员一起参与了这个项目：深度学习。
通过训练神经网络，研究人员使用深度学习方法来生成实时动画语音。 除了为英语演员自动生成唇形同步之外，新的软件可以应用于唱歌或适应其他语种。 该技术也是在最近的SIGGRAPH2017大会上发表的。下面先来看看视频。
来自UEA计算科学学院的首席研究员Sarah Taylor博士说，逼真的语言动画对于有效的角色动画至关重要。“做的不好，会分散注意力，导致票房惨败。然而，要做得好，既耗时又昂贵，因为每一步都需要熟练的动画师手动制作。我们的目标是为任何风格的角色自动生成制作级别质量的动画，而仅仅只给音频语音作为输入数据。”
研究人员设计了一个系统，训练一台电脑，从语音演员那里获得口语语音，预测所需的嘴部形状，然后动画人物的嘴唇与之同步。
这个过程需要录制音频，以及一个单独演讲者八个小时的视频参考，其中包含有超过2500个语音的不同句子集合，后者用于跟踪，以便创建“参考面部”动画模型。
使用现成的语音识别软件将音频转录成语声
（音素。音素是语音中的最小单位，依据音节里的发音动作来分析，一个动作构成一个音素。）
然后将这些音素应用于参考面部，得到的结果可以重定向到任何实时的CG角色绑定上，无论3D还是2D的都可以。
Taylor说：“我们的自动语音动画可以适用于任何输入的演讲者，任何风格的演讲，甚至可以使用其他语言。研究结果显示，我们的方法在视觉演说动画中已经取得最为先进的展现。最最让人舒坦的是，可以使用标准的编辑制作软件就可以很轻松的编辑和风格化动画。”
基于早期的一些例子或许大家对技术的质量嗤之以鼻，但不难想象，在10到20年中，自动唇形同步可以形成大多数计算机生成角色的基础。在目前状态下，实时的唇形同步可以为游戏应用程序、基于地理位置的动画项目和电视系列提供宝贵的作用。
当然了，迪斯尼不是唯一一个探索自动语音和面部动画技术的实体。在SIGGRAPH2017上很多技术论文都提及了。
以上文字老潘译自cartoonbrew
好了，今天的图文到这里了。
相关阅读
♣
