出品 | AI科技大本营
魔性的背景音乐、酷炫的AR特效、多元的内容题材，让大众欲罢不能的短视频App正在成为内容生产和传播主要渠道之一。
而短视频平台为了抢夺用户，正在通过各种方式提升用户体验。其中，AR特效打破虚拟与真实的界线，带来丰富的娱乐性，再度提升了短视频的体验。结合人脸识别技术，AR特效相机可以在人脸上添加各种萌萌的动物挂件，与此同时，AR特效功能还会匹配相应的背景音乐，从而吸引用户生成有趣生动的AR内容。
腾讯微视作为一款时下热门的短视频软件之一，对于创意玩法应用也有诸多有趣的探索。
最近，
他们推出了“AR投篮机”，在微视APP内搜索“AR投篮”
，
点击体验后，手机屏幕会出现一个投篮的小游戏，点开始就能投篮。除了AR投篮机，腾讯微视此前还推出了摆摊、熊出没等有趣的特效。
更重要的是，从微视引入的AR特效功能出发，也可以一窥腾讯在AR前沿技术上的布局。
这些AR特效背后的核心技术
是由腾讯微视光流团队和视频理解团队研发的一整套AR技术基建，
具体包括6自由度定位与跟踪、语义分割、物体检测等，以及集成物理引擎、渲染引擎骨骼绑定及驱动等技术。
当然，在开发具体AR特效时，以上相关AR算法都被集成到一个SDK，每个具体技术的都可以进行类似模块化组合，有效加速新能力的接入速度。在玩法设计上，微视将底层的能力统一封装打包制作成针对设计师的可图形化操作工具，设计师不需要理解复杂的算法，只需要准备好素材和创意，几分钟就可快速生产出原本需要算法和工程人员投入几个星期才能完成的玩法，极大的提高了生产效率。
那么，这些特效具体都是怎么用技术“组装”起来的？
PBR渲染、水平面AR技术几乎是每个AR特效必备的基础技术组件，AR投篮机也不例外。
腾讯微视光流团队自研移动端高性能3D引擎，采用业界领先的PBR算法，可以媲美游戏级渲染的效果。与主流的游戏引擎相比，包体只有约1.3MB。除了出色的PBR渲染效果外，引擎架构上保持了良好的扩展性，提供配套的3D编辑器和完善的工具链支持，让设计师可以灵活高效的组装出各种3D玩法。
在玩AR投篮机时，用户需要在手机屏幕上定位篮球的位置，在这一特效的三维空间里面放置一个AR模型，微视的水平AR技术就用到了视觉定位技术，研发人员使用了ORBSLAM、VINS、SVO等SLAM算法来计算，比如，可以一边建图一边定位，定位的精度比较高。
相比ARkit或ARcore，虽然它们高精度定位更好，但微视的水平面AR算法更简洁，能涵盖绝大多数的模型，此外，在单目相机的手机上，水平面AR算法能在第一帧就初始化放置AR模型，不需要视差。同时，在鲁棒性、计算量、交互和扩展性等方面，水平面AR算法也优于其它技术。
当然，AR投篮机还用到了AR物理引擎、以及PAG技术。
PAG(Portable Animated Graphics) 是一套完整的动画工作流， 目标是降低或消除动画研发成本，打通设计师创作到素材交付上线的流程，不断输出运行时可编辑的高质量动画内容。它提供从AE（Adobe After Effects）导出插件，到桌面预览工具，再到各端的跨平台渲染 SDK。目前，PAG已接入数十款App。
在使用AR投篮机投篮时，为了模拟真实世界中投篮的角度和打板距离等因素，这时物理引擎技术就不可缺少，它能实时模拟真实世界物体运动与碰撞反馈。目前物理引擎支持包括长方体、球体、胶囊体、圆柱体以及自定义曲面的刚体模拟与碰撞，支持任意形状的软体仿真，能够自定义配置物体的各种碰撞参数（诸如质量、摩擦系数、弹性系数以及碰撞形状），能够模拟物体受力之后的运动状态，包括加速、减速、静止、碰撞等。
软体模拟功能则能够很好地支持诸如软球以及布料的模拟，以及真实软体的碰撞效果。物理引擎使用BVH、CCD等技术来加速碰撞检测过程，同时保证碰撞检测精度，在复杂场景下，能够同时支持数百个刚体的连续碰撞。
目前，生产挂件的LightStudio已经深入整合物理引擎。设计师通过LightStudio上简单的界面操作，可以低成本地配置出相当真实酷炫的物理模拟效果，能够支持小游戏以及AR特效的物理仿真模拟需求。
AR纸片人是一个让简笔画或动漫人物“活”过来的特效。当用户在扫描一个图案后，其中的纸片人算法会把图案中的轮廓提取出来，同时通过骨骼绑定算法再给这个3D模型加上起身、跳跃、摆手等动作，如此画中人就可以“动次打次”起来了。
当然，除了PBR渲染、水平面AR、AR物理引擎技术，AR纸片人还需要用到图形轮廓点提取、2D转3DMesh建模。
其中，在图像轮廓提取上，腾讯应用研究中心与光流团队联合设计的通用物体分割算法，结合深度学习和传统轮廓提取算法，在适应各种场景的同时，还能做到非常高的实时性，即使在中低端机型上也能做到30~40FPS。
而在骨骼绑定处理上，是用于拍摄场景，所以这一特效会占据一定的计算资源，所以对骨骼绑定的计算是高性能的，而整个骨架中参与动画的节点层级最多设置了2层，大大降低了IK计算所耗费的性能。
此外，目前业内大多需要设计师借助专业软件来手动设计，而他们提出的快速骨骼绑定算法可以根据模型图案自动提取骨骼并绑定，只需几十ms就可以完成骨骼绑定。
当你使用3D人民币特效时，将摄像头对准第五套人民币的背面拍摄即可体验。
在识别人民币后，会有凤凰飞旋在人民大会堂、布达拉宫、桂林山水等3D画面上方。你不光能看到精致的画面 ，还能不断变换角度观看3D场景细节。
