这是智东西VR行业观察系列的第三篇,本期我们采访的企业是七鑫易维,一家将眼动追踪技术带到VR中的公司。
智东西 文 | Lina
说在前面:如今,2017年已经过半。两年前的这个时候,VR作为一个炙手可热的极品风口曾经倍受资本追逐,狂热一时。然而自从2016年4月开始,受二级市场跨界定增限制的影响,虚拟现实开始进入人们口中的“遇冷期”,直到2016年底,进一步趋冷。
近日,智东西对数家国内最具代表性的VR内容公司的CEO进行了系列深入采访,发现VR行业的现状其实另有洞天,智东西(公众号:zhidxcom)发现,许多VR公司不仅仍然活着,而且产品开发也已经走上了体系化、深入之路,随着技术和硬件性能的大幅提升,在垂直领域趟出一条商业化之路,公司的前景也在蒸蒸日上,透过这几家公司可以窥见国内VR行业在应用落地方面的最新进展。
本期我们探访的是一家国内专精眼球追踪技术的公司七鑫易维。就在今年6月27日,一则收购消息刷遍了虚拟现实圈——苹果全资收购老牌德国眼动追踪企业SMI(SensoMotoric Instruments),金额不明。除了苹果SMI外,Google与Oculus也分别在2016年底收购了眼球追踪技术公司Eyefluence与The Eye Tribe,在智东西此前的全球八大VR眼球追踪技术阵营中有所介绍,此处就不展开了(全球VR眼控企业地图 “下一个风口”不是白叫的)。
眼球追踪技术自医疗研发而始,经过数十年漫长的技术积累以后,已经开始逐渐升温,进入商业化应用阶段,被陆续用在了电脑、手机、VR、甚至汽车等不同设备上;作为一项和视觉图像息息相关的产业,眼动追踪将成为影响VR行业发展的又一关键技术。今天,智东西与国内眼动追踪技术企业七鑫易维的CEO黄通兵坐下来聊了聊眼动VR的发展现状。
(七鑫易维CEO黄通兵)
一、七鑫易维的前世今生
根据黄通兵介绍,七鑫易维于2009年3月成立,目前团队规模约70人,早年聚焦研发的医疗领域的眼动追踪技术,后期逐渐将业务延伸到VR眼球追踪配件领域。公司另外两位联合创始人分别为负责市场的彭凡与负责销售的徐筱。
此前,七鑫易维曾于2014年12月获高通创投Pre-A/A轮融资,同时也是2014年高通红杉移动互联网创业大赛中第2名,2016年获得高通创投、中兴创投等的数千万融资,目前正在启动新一轮融资中。与此同时,七鑫易维还是英伟达“创始计划(Inception)”的公司之一。
2016年年底,七鑫易维推出了HTC Vive的VR眼控模组配件aGlass DK1,众筹价3000元人民币,配有有摄像头和计算模块,可以采集人眼数据,计算出注视点位置,进行注视点渲染、注意力数据采集等。现在小批量量产的DK1已经全部售罄,aGlass DK2正在预售当中,售价1699元,预计8月底开始发货。
(aGlass DK2)
二、注视点渲染与营销数据采集
目前各家公司的眼动追踪技术原理相差不大,常见的有:1、主动投射红外线等光束到虹膜来提取特征,进而进行眼球参数推算,计算出注视点方向;2、根据眼球和眼球周边的特征变化进行跟踪;3、根据虹膜角度变化进行跟踪这三大类,七鑫易维使用的就是第一种。
眼动追踪技术允许用户使用眼球控制输入,但是由于人眼视觉轨迹较为跳跃,目光分散,所以在精准度方面还是有待加强。不过由眼球追踪衍生出的注视点渲染技术(Foveated Rendering,又称视网膜中心渲染技术)对VR来说意义重大。
人眼观看世界时是选择性聚焦的,即眼神聚焦中心是清晰的,其他地方则逐渐模糊。全局清晰渲染会浪费许多清晰像素,给计算机运算带来很大的压力,用户需要配备极高性能的GPU才能得到画面优秀的VR系统。注视点渲染技术模拟人眼成像效果进行逐层模糊,降低了GPU的负载,节省了运算资源,使得中低等配置的电脑也能得到很好的渲染效果。
值得一提的是,七鑫易维的技术只负责追踪人眼的动作,在计算出来的人眼注视点后,将坐标传给负责渲染的GPU,由GPU负责对渲染进行优化。黄通兵表示,在VR中使用注视点渲染技术能够节省50%-90%像素,相当于以前两块GPU才够用,现在只需要一块。
(七鑫易维注视点渲染技术在英伟达Fun House VR展示中的应用)
作为合作伙伴与Inception项目企业的七鑫易维与英伟达有着密切的合作,黄通兵表示,自从两年前两家公司首次“触电”后,英伟达便一直在加强注视点渲染底层GPU技术的研发,通过VRWorks的方式为七鑫易维提供注视点渲染技术的底层API支持,未来还将提供更加专业、更加强大的API。
VRWorks是英伟达推出的一套综合性SDK,专门为VR开发者打造,包括了一系列基于英伟达显卡搭建的API与引擎,对VR的视觉、听觉、触觉、以及交互作用进行了针对性的优化。
此外,这项技术还能应用在营销数据采集方面,以热力图形式反馈用户目光关注重心,分析观众在关注广告的什么地方、刺激点在哪里、以什么顺序观看。目前,七鑫易维已和指挥家合作开发了VR看房项目,可记录用户视觉关注重点区域。
三、眼动追踪的难点与挑战
正如上文所说,眼动追踪技术经过了数十年漫长的研究技术积累,已经在医疗、教育、培训等不同领域得到了应用。但黄通兵表示,目前眼动追踪虽然有着越来越多的应用,但同时也面临着很多难题:
1)千人有千眼:
这是眼动追踪技术中最大的难题,由于人眼的特征纷繁复杂,从瞳孔到角膜再到眼球形状等等,每个人的人眼特征不同,有些特征甚至的在几千几万个人里面只有一例(黄通兵就遇到过这样的客户)。
因此,想要完成对一个人的眼动追踪很容易,但让同一个套完成对所有人的眼动追踪很难。国内外的眼动追踪公司通常都有至少五到十年甚至以上的数据积累,才能达到不错的兼容性与适配性。
黄通兵表示,在以前的注视点计算中,需要人工建立算法与特征库,再一项项往里头加特征。如今随着深度学习、机器学习的兴起,现在只需要构建合适的神经网络,就能训练机器自己识别出不同特征加入,同时还能在数据本身通过计算机视觉衍生出更多数据,构建鲁棒、稳定的眼球追踪算法。
值得一提的是,七鑫易维拥有一台英伟达的超级计算机DJX-1,能够将研发、训练等过程提升100倍的速度。
2)遮挡与干扰:
手机、电脑上的眼动追踪通常因为距离由眼球较远,很容易受光影、头部活动等外界因素印象,在VR中这一问题能够得到很好解决,不过仍旧存在眼镜、美瞳遮挡、以及不同品牌VR使用的镜片不同等问题。为了进一步减少干扰,七鑫易维的aGlass套件配备了近视度数镜片,避免了眼镜的干扰。
黄通兵表示,七鑫易维下一步的研究方向是把VR产品上眼球追踪做到完美、适用率更高、兼容不同视力、同时降低使用门槛、并且最终做到不需要校准就能使用。
结语、大厂布局,等风来
黄通兵认为,目前VR显示屏只能达到2-4k,远没有达到人眼的理想分辨率。而如果屏幕真的做到了比如16K,以现在GPU根本跑不起来,未来可能配合高端显卡+注视点渲染才能满足需求。
目前,国内外的眼动追踪公司还很不多,涉足VR的则更少,从数据门槛到技术门槛都处在一般创企难以达到的水平。无论是苹果收购SMI、还是Google收购Eyefluence、Oculus收购The Eye Tribe,目前都还仅处在大厂布局阶段。等这些大公司也开始推出消费级眼动追踪产品的时候,才是眼动追踪技术迎来爆发的一天。
延伸阅读
点击下方图片直接阅读
往期回顾