从软硬角度探索 VR 开发技术难点

内容来源： https://www.zhihu.com/question/53491798
整理： 屠敏，关注 VR/AR 等领域，寻求报道或者投稿请发邮件 [email protected] ，另有「CSDN VR 开发群」，技术之路，我们共同进步，欢迎开发者加微信tm_forever_miss申请入群，务必备注姓名+公司+职位。
版权声明： 文中实质性观点内容著作权归作者所有，如需转载，请与作者联系。

前言

在去年初 VR 风起之时，我们曾经发问「 VR 应用开发遍地走的日子还有多远？ 」，只因彼时硬件与内容都是各自为战，各种技术问题尚待解决，也没有一个完整的 VR OS 或统一标准出现。如今一年已矣，自资本而起因资本而却的 VR，让许多创业团队一时风头无量也面临窘迫之态，即使如 Oculus 尚未正式进入盈利轨道便引来侵权纠纷，VR 于我们究竟是一地鸡毛还是回归理性？作为开发者，当我们返回北上广深再度启航时，总需总结过往以便更好地前行。为此，CSDN 与知乎一起基于「 2016 年度盘点 」共同回顾了这一年 VR 行业所发生的变迁，主要从软硬件角度出发剖析 VR 技术挑战，希望能够为所有正在或即将从事 VR 的开发者带来一些有价值的灼见以及参考。以下所有内容均已获得原作者授权使用，在此特别感谢 Rui Wang 、 COCO李晶 、 AMD程序媛 、 声网Agora 。

VR 回顾与反思

发展

2016 年，无论外界如何评价，其实对于 VR 行业本身来说，都可谓之是 VR 发展史上非常重要的一年，尽管并没有太大的核心技术突破，但其历史意义却不可否认，也算是虚拟现实创业潮的觉醒。

所谓觉醒，即 VR 行业其实在国外已经发展了几十年，但国内一直是沉睡的状态，但到了 2016 年，是突然之间火了半边天，相比其他行业，VR 的到来是非常突然，且影响力之大是前所未有的。回顾这一年，仿似在经历一个处于 VR 之初的大时代，大家的疯狂程度，让人随时能感觉到圈子里能够冒出一股工业革命的烟味。

在这里先简单明了地与大家共同回顾一下过去 VR 行业的发展：

• Facebook 携 Oculus 和三星第一个进场，拉开 VR 大幕；

• Valve 携 HTC 开发出 VIVE，两股风大概刮了近一年多；

• 索尼携 PlayStation VR 进场；

• 接着微软携 Hololens 入局，并且从 AR 切入 VR，几个月前发布了自家的 PC VR；

• 硬件大厂如 Intel（重磅发布 Alloy MR 方案）、AMD 的跟进；

• 谷歌从 Cardboard 升级到 Daydream；

• 苹果一直一副风雨欲来的架势，不过，到现在无产品出现；

• Qualcomm 出售 Vuforia 低调从微软和收购 NXP 等角度宣布进入更大的智能领域，其实很多一体机中有体现。

至此，凡是影响世界终端格局的行业大佬基本都到了。随后 Unreal 虚幻引擎和 Unity 也开始成为为 VR 服务的重要角色，但明显 Unreal 的力度更大，Unity 较于前者更注重移动市场。跟随两大引擎的步伐，游戏公司纷纷推出 VR 版游戏。

而探索与实践的过程中，从硬件和内容的本质上来看，VR 有一些问题并没有得到完善的解决。

硬件

• 硬件设备并未成熟

现在还是 VR 发展的初期，虽然主流的设计都差不多，当时和智能手机等已经存在多年的数码设备相比 VR 的设计和种类更多样化。

当前市场有多种产品，包括简易 VR、带屏幕 VR 和 VR 一体机等等，甚至还有 MR 设备。所谓的简易 VR 就是只有镜片和头盔，简单的不能再简单了，如果要节约成本不考虑舒适性，那么几块钱就能制作出来，难度不是很大。带屏幕的 VR 要高端一些，典型的就是 HTC Vive 和索尼 PS VR 等，主机需要单独购买价格贵内容少。还有一种是 VR 一体机，实际上可以看作是把一台没有屏幕的简易手机和带屏幕的 VR 组合在一起，这种产品更贵一些，而且非常方便，但性能不足，没有特别好的体验。

比如 Oculus 在内的多款主流 VR 都有着硬件不成熟的情况，比如连接线，比如 VR 完全虚拟，身体运动的时候对空间的要求也很高，续航也是问题。

• 价格昂贵利润很高

尽管所有厂商在推出自己的 VR 的时候都会表示的和其他品牌有怎样的区别，自己多么多么黑科技，但实际上目前市面上已知的 VR 头盔都差不多，技术的确有说区别，但都存在价格虚高的情况，的确开发的费用和初期宣传费用很高，不过这部分费用实际上最终都是消费者埋单的，尤其是首批消费者。有些简易版本 VR 只有一个镜片和头盔就要几百元甚至上千元，实在是令人不解。

现阶段看 VR 行业的利润是非常可观的，也正因为如此才有人千方百计的想办法跻身这里。但消费者很难分清什么样的产品更有价值，再加上价格虚高的情况普遍存在，阻碍了普及。

• 操作方式单一太依赖体感

现有的 VR 产品大多有三种输入方式，分别是通过头盔内置的陀螺仪和加速计来测量头部动作，但太过于单一的方式不好用，因此有些厂商加入了手柄和体感装置。

这样虽然操作相对丰富一些，但还是有局限性，而且三种方式输入需要身体高度协调，时间长了容易让人反感，而且也更容易劳累。相比之下PC的输入方式就更多元化，未来一定会有个更多的解决方案，但现阶段看还不够丰富。

内容

• 不完整的自然交互和空间定位方案

何为完整的自然交互方案呢？实现自然交互的基础是能够识别玩家的双手，进一步来说就是全身的运动姿态。后者对于多人游戏尤为重要，因为如果不能识别全身的运动姿态，你在游戏中只能看到别人的脑袋或手柄，如下图所示：

而 B 端则以光学定位为主流方向，这种方向大大满足了 VICON、Motion Analysis、OptiTrack 等一系列传统影视运动捕捉供应商的需求。同时多人游戏的需求也是 B 端的一个重要趋势，因为一个人占用动辄百平米的场地对于寸土寸金的一线城市来说实在是浪费，而看起来最合理也不用游戏团队太过费时的 VR 游戏需求，就是真人 CS。然而最典型的一个多人游戏中的问题是，如何看到一个正常的对手/队友？

如果没有完整的运动姿态表达，也就没有办法表达出唯一的运动姿态。只有双手手柄和头盔位置的话，可以显示一个完整的人吗？回答是肯定的，首先双臂的运动可以通过手柄的位置姿态和假设基本不变的肩部去推算，这叫做 IK（反向运动学）。然后通过头部的位置坐标变化去推算躯干和双脚的行走过程，这个过程通常叫做 Gait Simulation（步态模拟）。

有人会把这两件事混为一谈，这不重要；但是这样的运算过程得到的解不是唯一的，这个问题却很重要。

下图就是 Gait Simulation 的一类传统应用（康复训练）。

VIVE 的热门游戏《Raw Data》在多人游戏模式中很好地诠释了步态模拟的重要性，而国产游戏开发者们大多数放弃了对这个专有名词的理解，转而用预设动画的方式，或者只显示上半身的方式来表现多人游戏的过程。

综上所述，C 端的 VR 体验尚且受限于市场和认知程度本身，因此大家纷纷选择 B 端应用。然而却面临一个“终极体验”与“可用体验”的权衡问题：没有足够稳定可靠的定位与姿态捕捉方案，无法做到完美的交互体验，也就无从开发与之对应的内容；然而做减法到只剩下多人定位和双手交互的程度之后，却依然面临了设备成本和游戏表现上的双重问题，举手维艰，举步也维艰。

• 缺少应用团队和内容

VR 交互硬件的混乱，当然还有头显和 Cardboard 市场的混乱，无疑让内容开发者们也接连受害。因为没有统一的标准，所以各家都在构筑自己的开发者平台，而开发者们也一直在寻找“不以收钱和谈分成为主要目的”的平台。然而平台本身的完善程度、推广程度、普及程度、还有 SDK 的合理性，都是制约这条脆弱工作链的重要影响因素。归根结底，还是循着 OpenVR 和 VIVE 的脚步最为妥当。

既然合理的完整交互方案并未形成，那么“内容为王”这句话也就无从谈起。现有的内容团队受限于 VIVE 形式的交互方式，很多时候会显得无所适从。很多团队只是架起两个 LightHouse，运行一段 VR 应用，其中包含了质量良好的数字资源。和去年底那些抽象图形与低多边形相比，这无疑是一种技术和认知层次上的提高。但是内容的丰富程度却远远达不到一个 3A 级别游戏的样子。

密室逃脱游戏是一个很好的 VR 游戏命题，适合小空间运动和双手操作，与场景物品的丰富交互也让人流连忘返。