ARKit 玩出新高度：iPhone + 纸盒眼镜怎么实现 Inside-out 追踪？

自从苹果推出 ARKit 之后，不少开发者已经玩疯了。继 ARkit+HTC Vive 玩《Tilt Brush》的视频引来众人围观后，又有一家内容团队把 ARKit 玩出了新高度。

据雷锋网了解，这家团队名叫 Nexus Studios，他们将 ARKit 开发的 demo，与纸盒眼镜 Cardboard 结合，在户外展示了所能实现的效果。

从视频中，我们能看到，戴上 Cardboard 之后，你眼前的内容一会儿切换成 AR，真实环境与虚拟的内容一同显示，一会儿切换成 VR，完全进入虚拟的世界中，相当有意思。

Nexus Studio 称 “在 iPhone 7 上实现 AR 效果，以及达到每秒 60 帧 VR 画面 Inside-out 追踪，是完全有可能的。” 但还是有一些小问题，“不能快速地移动头部，只要你在内容呈现的‘画廊范围内’走动，定位追踪的效果还不错。”

Nexus Studios 的互动艺术部门负责人 Luke Ritchie 向外媒表示，他们测试了 10 分钟，他透露到 "说实话，追踪确实很棒。如果快速转动头部，画面会不稳定。快速移动和稍长的延时会让人感到有些不舒服。我们不建议现在就拿给消费者使用。"

树旁边是虚拟的画

在这个测试视频中，有两点比较有意思，一是这个 demo 在户外测试，并且有一定空间范围的移动，其中苹果手机怎样实现定位追踪的？另外， VR、AR 是如何随意切换的？

雷锋网请教了 Usens 技术副总裁马赓宇，他给出了很详细的回答：

ARKit 的 SLAM 技术，是基于单目相机和 IMU 传感器融合的。通过对摄像头图像中的特征点识别和跟踪，可以重建出场景的 3D 模型。但是单目相机无法得到尺度信息。因此需要用 IMU 中的陀螺仪和加速度信息进行融合，得到场景的真实尺度信息。

AR 和 VR 中用到估算的 SLAM 空间定位技术都是一样的，只是显示的内容不一样。SLAM 会识别出双眼在世界坐标系下的位置。AR 应用中是把一个虚拟物体显示在一个世界坐标系中的某个位置，同时显示真实场景的内容。VR 应用就是只显示虚拟物体，不显示真实场景。

因为 ARKit 是针对 AR 场景开发的，所以对快速旋转跟踪的并不好。文中也说了，只是对类似看画廊的那种平移移动效果比较好。

简单来说，基于苹果手机上单目相机和 IMU 传感器融合的 SLAM 技术，定位是一样的，只不过根据内容开发的不同，而产生了 AR、VR 切换的效果。仔细看视频，你会发现，他们在真实的树上设置了点云。

马赓宇也解释道，

咱们手机上的摄像头，是可以直接看到外部环境的。AR 无非就是在这个画面上叠加了虚拟的物体。而 VR 就是把 VR 的内容，放到你的屏幕上了，比如你看电影的时候或玩游戏的时候，就看不到外部环境了。

VR 时候的画面，在 “画廊的范围内” 移动