在硅谷住久了,就会觉得新的酷炫的技术层出不穷。密探一直很关注,这些新的技术,会被如何用到各个行业,带给这些行业全新的可能性。
去年,AR、 VR技术在硅谷乃至全球都非常火爆。密探看过、听过很多VR可能会被运用于医疗、教育领域的设想。
但是,有一个主要的挑战影响了AR、VR技术的广泛运用。
目前市场上的AR技术的原理主要是Stereoscopic(立体成像)。也就是通过左右屏显示同一物体不同角度拍摄的画面,利用双眼看到不同图像来呈现立体的感觉。
(Stereoscopic原理示意图)
但是,这与我们平时眼睛看到物体成像的原理是相悖的。
我们的大脑以为,所看到的物体的焦距是在较远的距离外,而事实上,眼睛感受到的焦点是在人眼前方很近的屏幕上。
这种冲突导致了我们看VR图像很易产生疲劳,觉得头晕。学术界对于这个问题的专有名词叫做“视觉辐辏调节冲突”。
所以,当硅谷密探和以色列创业者Aviad Kaufman谈到基于立体成像技术的3D影像在医疗行业的应用时,Aviad直截了当地告诉密探,如果自家母亲要在医院动手术或治疗,自己是不会允许医生用基于这个技术的AR或VR方案辅助的。
现有AR、VR设备在医疗领域应用有什么缺陷?
Aviad认为,现有基于立体成像技术的3D影像技术有两个主要缺点:
第一,因为焦距问题,无法把握真实距离。而对于医生来说,通过这些先进的可视化技术,他们是想了解人体器官内部的每个细节,精确理解其长度、宽度,从设计精确的治疗方法,例如切除,缝合等。所以如果形成的影像,因为焦距的原因,不能体现实物的距离,必然会给医学应用带来不准确的风险。
第二,会给使用者带来晕眩感的技术也是不适用的,因为医生需要长时间的查看影像,从而辅助他们形成、实施治疗方案。
以色列RealView公司
Aviad Kaufman 是以色列公司RealView的创始人之一。RealView是做什么的?简单来说,RealView用了9年时间,他们独辟蹊径地研发出了基于数字3D全息影像的技术,用不同于立体成像的光学原理,实现AR的效果,同时避免视觉辐辏调节冲突。
对创新技术充满热情的密探,专访了RealView的创始人兼CEO Aviad Kaufman,和商务拓展副总裁Igal Iancu。
(Aviad Kaufman)
Aviad出生在以色列,早年在以色列军队接受高科技精英训练,并在以色列著名的国防设计和研发中心 Rafael Defense Industries工作过。
离开国防领域后,Aviad成为创业者,在以色列特拉维夫大学和美国加州大学尔湾分校分别获得工商管理学位,并在Lipman电子等公司担任商业管理、市场等职位。
而Igal Iancu博士是计算机科学领域的专家,在加入RealView之前是英特尔战略规划部的高级总监,领导了英特尔RealSense技术及产品的推出。
(Igal Iancu)
9年前,Aviad和RealView的另外两个创始人,就将眼光放到了医疗行业。不管是VR还是AR,他没有看到一个技术,能够为医疗领域提供这样一种解决方案,帮助医生清楚地看清病人的器官内部构成和问题,缩短手术时间 ,从而减少病人暴露在辐射中的时间。
Aviad的团队对立体成像技术的前景不看好,并且感到进入这个领域的公司已很多,就没有往这个技术方向发展。
取而代之,他们选择了数字全息影像技术的方向,并深耕9年,推出了现在的产品。宣传片如下:
RealView的核心技术:数字光塑形
RealView的技术,是基于1971年诺贝尔奖的获得者Dennis Gabor教授的发明——全息影像。
全息影像的基本原理,是由激光发射的光束,通过一定角度的交错,形成漂浮在空中的3D影像。
RealView基于这个技术,进一步发展出自己独有的数字光塑形技术(Digital Light Shaping™),并首先运用于医疗领域。
他们的原始数据来自标准的医疗影像源,例如超声波,CT,MRI。采集这些数据后,RealView研发的算法会将数据生成全息影像,然后通过空间光调制器(SLM),将光线直接投射向人的眼睛, 重构起来,让人“看到”3D全息影像。
并且,这个3D全息影像,没有一般AR、VR眼镜的立体成像技术带来的使用者感受到的焦距与实际焦距不一致的情况。
举个例子,当一只手的全息影像出现在密探面前,每个指头的焦点都是根据密探的眼睛与指头的实际距离而定的。这就保证了医学应用所要求的精确性。而且,通过先进的传感器,使用者还可以与这个影像互动。
解决这个问题的关键,是将光直接投入人的眼睛,传递讯号给大脑,从而人看到这个影像。
这个机制和人看见真实的物体一模一样,不同于让两只眼睛看到同样的图像,从而给大脑造成错觉,“看到”3D影像。
Aviad告诉密探,全球目前只有两家公司在深度钻研这个问题,那就是RealView和Magic Leap。尽管两家公司所钻研的技术方向不同,但都是通过将光直接投射到人的眼睛上,来重构3D影像。
(图片来自Magic Leap的宣传视频)
现在,Magic Leap有一种前途未卜的忧伤,而RealView却成功地推出了自己的商化产品。
很久以来,数字的全息影像技术的应用一直不能普及,主要原因是对运算能力的要求太高。另外,图像生成的质量,以及使用者是否可以从多个角度看到全息影像,也是长久以来的挑战。
RealView钻研9年,解决了这两方面的挑战后,终于把这个实验室中的技术推向了市场和实践。
早在2013年,在研发的过程中,RealView就与飞利浦公司合作,在以色列施奈德儿童医院进行过一个试点,通过对8个参与实验的病人,用这个创新的可视化技术,来展示实时的3D全真影像。影像的数据来源是飞利浦的X光拍片机和心脏超声系统。
而2016年底,RealView推出了自己面向医疗领域的第一个商化产品HOLOSCOPE™-i。
图片中右端的可移动设备就是HOLOSCOPE™-i。该设备专门为临床手术而设计,用3D全息影像这个可视化技术,帮助医生用3D的视角观看患者器官的实时状况。
Igal Iancu为密探举了个例子。如果患者躺在左边的手术台上接受心脏手术,医生可以通过HOLOSCOPE™-i观察患者心脏的3D全息影像。医生不用佩戴任何眼镜,只需要通过仪器上方的小玻璃幕,就可以看到。
为了全方位的了解患者心脏的状况,医生还可以用手转动心脏的全息影像,或者把它剖开,看里面的搏动与构造。甚至,测量心脏内部不同部位之间的距离。
因为HOLOSCOPE™-i上先进的传感器可以追踪医生的手部动作,所以医生是不需要戴任何传感手套的。
另外,密探要强调的是,这个全真影像的“实时”度。在医生手里的心脏,可是跳动着的哦,跟手术台上病患的心脏跳动是完全同步的。
对于医疗应用,RealView的3D全息影像技术最大的优势在于对距离的精确捕捉。此外,医生不用佩戴沉重的头戴设备就能用肉眼看见AR影像,不产生眩晕感,可以长时间的操作。
商化:医疗行业是第一个战场
RealView为自己开辟了一条差异于别的AR产品的路径。目前,HOLOSCOPE™-i作为首个商化产品,正在被推向北美、欧洲和亚洲的市场。
据Aviad透露,目前RealView已经与北美的一家医院达成了合作协议。具体的商化模式是什么?Aviad表示,会根据不同的地区和合作伙伴,采取不同的方式,例如单独的出售设备和服务,或者采取按使用收费形式等等。
中国市场也是RealView的一大目标。RealView和中国渊源深厚,其2014年的种子轮融资就来自中国投资机构鸿时医疗健康产业基金(LongTec China Ventures)。
除了这种大型的3D全真影像设备,RealView也推出了更轻便的眼镜版。眼镜版可以保证使用者随意转头。佩戴者不管看向什么方向,3D全息影像都会一直在眼前。
并且,眼镜本身并没有封锁掉使用者的视野。佩戴者仍然可以看到周围的景象。
Aviad和团队并不看好沉重的头戴设备。他认为,那种必须戴在头上的,把医生的视野完全封闭的设备,对于手术这样的医学应用来说,是不适合的。
另外,RealView的下一代产品HOLOSCOPE™-x也正在路上。这个产品,更加脑洞大开,将能够在患者的身体内部,显示全真影像。
Igal Iancu又为密探举了个例子。如上图所示,在医生做手术时,HOLOSCOPE™-x可以把实时形成的3D全真影像,投射到病患真实的身体部位,如胃部。从而,医生可以非常清楚地理解,病变的部位在器官内部的哪个地方。
这样,不仅提高医生操作的精准性,也可以缩短手术时间。
其他行业也是RealView的目标
RealView的愿景当然不止于医疗行业。以眼镜产品为例,RealView的目标,就是在正式推出可商化的眼镜产品后,将其运用于工程、建筑、设计等需要精确的可视化手段辅助的行业。
未来,针对消费领域的HOLOSCOPE™-c也在RealView的蓝图中。
基于3D全真影像技术的产品,能否为我们带来与现有AR技术不同的行业应用体验,以及游戏和娱乐感受呢?硅谷密探会持续关注。
关注硅谷密探
紧盯全球创新趋势
(长按上方二维码即可关注,神马,这居然是二维码!)