“我们所想象的一切,都会变为现实。”
如果说当今什么技术最接近科幻,那么一定是脑机接口。
脑机接口的研究已经实现了意识打字(1分钟之内平均输入39个字母),还实现了心灵控制,比如人类控制小鼠行为,让其完成复杂任务。还实现了一部分的意识上传,甚至让人怀疑意志是否自由。
未来甚至有望实现部分丧失的感知能力再此获得,比如视觉;还可以将非人类感知能力转变为人类感知能力,这其实是非常逆天的,比如对于超声波的感知能力(就像从蝙蝠身上获取这个能力一样),再比如感知磁场等,就像拥有了超能力!
脑机接口作为一种全新的控制和交流方式,还可以应用到更广阔的脑机融合领域,就是所谓的硅基生物和碳基生物的融合,打造超强人类,让人脑进一步自然延伸。
脑机接口的发展对脑电的机理、脑认知、脑康复、信号处理、模式识别、芯片技术、计算技术等各个领域都提出了新的要求,人们也会大大加深对大脑的结构和功能的认识。
随着技术的不断完善和多学科融合的努力,脑机接口必将逐步应用于现实,造福人类。
硅谷Live(服务号:guigumitanv)联合哈佛大学脑科学中心科学家及行业专家学者,共同打造中美首份脑机接口行业分析长文,深度解构脑机接口领域技术路线,描绘脑机接口商业化趋势及学科地图,预见前所未见。
延续本文的,还有中美首次脑机接口系列课程。哈佛脑科学、脑机接口实战专家跨境布道,势必将为脑机接口从业者及爱好者带来独具洞察的实践经验。(见文末或关注硅谷Live服务号guigumitanv)
脑机接口的定义
首先,什么是脑机接口?
(图片来源:www.engineering.com)
脑机接口(Brain-Computer Interface, BCI):它是在人或动物脑(或者脑细胞的培养物)与外部设备间建立的直接连接通路。
在该定义中,
“脑”意指有机生命形式的脑或神经系统,而并非仅仅是“mind”(抽象的心智)。
“机”意指任何处理或计算的设备,其形式可以从简单电路到硅芯片到外部设备和轮椅。
“接口” = “用于信息交换的中介物”。
“脑机接口”的定义=“脑”+机“+”接口”。
即,在人或动物脑(或者脑细胞的培养物)与外部设备间创建的用于信息交换的连接通路。
脑机接口是一门多学科交叉的领域,核心的学科涉及认知科学、神经工程、神经科学等。
脑机接口技术知识:实现步骤与其分析
脑机接口基本的实现步骤可以分为四步:采集信号>>信息解码处理>>再编码>>反馈。
(图片来源:www.engineering.com)
1.信息采集
脑机接口的划分形式一般也是看信息采集方式为主的,通常被分为侵入式、半侵入式、非侵入式(脑外)。
侵入式:此类脑机接口通常直接植入到大脑的灰质,因而所获取的神经信号质量比较高。但其缺点是容易引发免疫反应和愈伤组织(疤),进而导致信号质量的衰退甚至消失.。
侵入式获取的信号是直接的神经信号。
部分侵入式:接口一般植入到颅腔内,但是位于灰质外,其空间分辨率不如侵入式脑机接口,但是优于非侵入式。其另一优点是引发免疫反应和愈伤组织的几率较小,主要基于皮层脑电图(ECoG)进行信息分析。
非侵入式:不进入大脑,像帽子一样方便佩戴于人体,但由于颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应,记录到信号的分辨率并不高,很难确定发出信号的脑区或者相关的单个神经元的放电。
典型的系统有脑电图(EGG),脑电图是有潜力的非侵入式脑机接口的主要信息分析技术之一,这主要是因为该技术良好的时间分辨率、易用性、便携性和相对低廉的价格。
(脑电图设备 图片来源:www.engineering.com)
但是,脑电图技术的一个问题是它对噪声的敏感;另一个使用EEG作为脑机接口的现实障碍是用户在工作之前要进行大量的训练。
2.信息分析
收集好了足够多的信息后,就要进行信号的解码和再编码以处理干扰。脑电信号采集过程中的干扰有很多,如工频干扰、眼动伪迹、环境中的其他电磁干扰等。
分析模型是信息解码环节的关键,根据采集方式的不同,一般会有脑电图(EGG),皮层脑电图(ECoG)等模型可以协助分析。
信号处理、分析及特征提取的方法包括去噪滤波、P300信号分析、小波分析+奇异值分解等。
3.再编码
将分析后的信息进行编码,如何编码取决于希望做成的事情。比如控制机械臂拿起咖啡杯给自己喝咖啡,就需要编码成机械臂的运动信号,在复杂三维环境中准确控制物体的移动轨迹及力量控制都非常的复杂。
但编码形式也可以多种多样,这也是脑机接口可以几乎和任何工科学科去结合的原因。最复杂的情况包括输出到其他生物体上,比如小白鼠身上,控制它的行为方式。
4.反馈
获得环境反馈信息后再作用于大脑也非常复杂。人类通过感知能力感受环境并且传递给大脑进行反馈,感知包括视觉、触觉、听觉。
脑机接口实现这一步其实是非常复杂的,包括多模态感知的混合解析也是难点,因为反馈给大脑的过程可能不兼容。
脑机接口历史重要里程碑
1924年,德国精神病学家Hans Berger发现了EEG。
1969年,华盛顿大学医学院利用猴子进行脑电生物反馈的研究。
1990年代,Nicolelis完成对老鼠运动脑电波的初步研究后,在夜猴内实现了能够提取皮层运动神经元的信号来控制机器人手臂的实验。
1999年,哈佛大学的Garrett Stanley试图解码猫的丘脑外侧膝状体内的神经元放电信息来重建视觉图像。
2000年后,Donoghue小组实现恒河猴对计算机屏幕上的光标的运动控制来追踪视觉目标,其中猴子不需要运动肢体。
2009美国南加州大学的Theodore Berger小组研制出能够模拟海马体功能的神经芯片。该小组的这种神经芯片植入大鼠脑内,使其称为第一种高级脑功能假体。
2012年巴西世界杯——机器战甲,身着机器战甲的截肢残疾者,凭借脑机接口和机械外骨骼开出了一球。
2014年,华盛顿大学的研究员通过网络传输脑电信号实现直接脑对脑交流。
2016年12月,美国明尼苏达大学的Bin He与他的团队取得一项重大突破,让普通人在没有植入大脑电极的情况下,只凭借“意念”,在复杂的三维空间内实现物体控制,包括操纵机器臂抓取、放置物体和控制飞行器飞行。该研究成果有望帮助上百万的残疾人和神经性疾病患者。
(Bin He与他的团队的实验成果)
2017年2月,斯坦福大学电气工程教授KrishnaShenoy和神经外科教授JaimieHenderson发表论文宣布他们成功让三名受试瘫痪者通过简单的想象精准地控制电脑屏幕的光标,这三名瘫痪患者成功通过想象在电脑屏幕上输入了他们想说的话,其中一名患者可以在1分钟之内平均输入39个字母。
脑机接口的挑战
脑机接口的摩尔定律:
根据上图表,以平均7.4年才能使可同时记录的神经元数量翻倍的速度计算,要达到同时记录100万个神经元需要等到2100年,而要记录人脑中的所有神经元(50~100亿个),则要等到2225年。
因此,脑机接口如何解决带宽问题成为了学术研究突破的关键点。埃隆·马斯克创立的Neuralink就是在致力于加速这一难题的攻克。
脑机接口也是一门复杂的交叉学科,这种交叉学科一般都会有两种挑战,一种是工程上的挑战,另一种是理论上的挑战。
理论研究都在努力解决这两个问题中的一个或两个:
1)如何从大脑中获取正确的信息?
2)如何将正确的信息发送到大脑?
第一个是“从脑到机”,捕获大脑的输出——记录神经元所说的话。
第二个是“从机到脑”,将信息输入大脑或以其他方式改变大脑的自然流—这是刺激神经元。
目前来说“从脑到机”已经有了一些研究成果,“从机到脑”却几乎是没什么头绪,基本可以说是一片漆黑仅有寥寥灯火。
“从机到脑”什么意思?也就是将感知反向编码成能被大脑读懂的信号。举个例子,能否把你摸小猫时的触感或是你的一段想象记录并通过机器反向重现给你,帮失明者重建视觉也是个好理解的想象。
机到脑的研究相比脑到机要缓慢许多,原因就是目前神经科学对于神经编码的具体方式还处于未知状态。而由机到脑对神经编码知识的需求要远大于从脑到机。神经科学在单神经元的研究也算是逐渐明朗了,但大脑各种神奇之处根本无法解释。
而且,工程上的难度则在于:脑机接口行业涉及的机械动力学、机器学习、神经科学、认知科学、信息工程等大量学科,需要大量各个行业的人才,不能有短板。
此外,工程上更大的难度还包括成本控制,能否通过合理的流程和工艺来降低成本实现商业化。
脑机接口商业化方向
医疗健康:
医疗方向主要分为两个方向,分别是“强化”和“恢复”,这两个方向都有着极其远大的“钱景”,尤其是强化方向。现阶段以恢复类为主,因为更易实现。
“强化”方向主要是指将芯片植入大脑,以增强记忆、推动人脑和计算设备的直接连接。这就是所谓的“人类增强”(Human Intelligence,HI)。浅层次的研究是脑机单向,更深一层次的将是机脑双向。目前,在做“强化”方向的就包括马斯克创办的Neuralink以及获得1亿美元投资的Kernel。
“恢复”方向主要是指可以针对多动症、中风、癫痫等疾病做对应的恢复训练,采取的主要方式是神经反馈训练。这一方向在全球的一些医院、诊所、康复中心中已经得到广泛应用,也有不少创业公司在做这方面的可穿戴设备。
“强化”方向少的原因:第一是因为实现难度高;第二是因为市场还未被充分教育,思维范式在短期内难以改变,付费意愿因技术能力不足而未达到临界值,但军用领域实际上已经有了不少的应用了,军方也投入了大量资金。
最后,还值得补充的是“保健方向”,也就是冥想减压,有创业公司推出脑波检测头环,帮助用户通过实时音频反馈来提升冥想效果。其实,在北美,冥想的市场是非常大的,这是一个绝对可以挖掘的细分市场。
VR方向:
现阶段VR/AR的交互体验还有待提高,目前的解决方案是通过语音识别和手势识别,但如果使用脑机接口,就可以用意念来控制VR界面的菜单导航和选项控制,极大的提升使用体验。目前,在这块做得比较超前的公司是MindMaze,其融资总额已超1亿美元。
教育科技:
这个方向其实和医疗方向中的“恢复”方向会有些接近。教育科技是个千亿级的市场,目前,波士顿创业公司BrainCo就在做这一方向,主要是对学生注意力值的实时探测,从而帮助老师及时了解课堂情况改变教学方法。这一领域的市场开拓目前主要在B端。
智能家居:
智能家居是脑机接口与IoT(物联网)跨领域结合的一大想象空间。在这一领域,脑机接口扮演的角色类似于“遥控器”,帮助人们用意念控制开关灯、开关门、开关窗帘等,进一步可以控制家庭服务机器人。
全球脑机接口市场规模
脑机接口是一种全新的输入输出方式,其应用将横跨数个行业领域。脑机接口操作系统也极有可能成为继Windows(电脑操作系统代表)、iOS(手机操作系统代表)、Alexa(语音操作系统代表)之后又一大人机交互系统。
狭义的市场规模:单纯从脑机接口设备(EEG/EMG)的维度来看,市场规模在5年内将达到25亿美元。
广义的市场规模:从脑机接口将深度影响的数个科技领域来看,市场规模在5年内将达到数千亿美元,其中包括:ADHD脑机接口反馈治疗 460亿美元,大脑检测系统 120亿美元,教育科技 2500亿美元,游戏产业 1200亿美元。(数据来自于第三方根据近两年市场规模从而对5年内做的推算)
试想,未来用脑机接口技术来打《王者荣耀》是不是会很像《阿凡达》里的意念控制情节呢?
脑机接口商业化影响因素
(Source: Allied Market Research)
根据Allied Market Research的报告,2014年,影响脑机接口发展的最大因素是专业知识的缺乏与否以及道德问题。他们也推测,到2020年,人们将更容易接受此项技术,道德问题将降低,但随之带来的会是网络安全威胁将导致的意识信息泄漏和大脑被黑的危险。从医疗健康行业来看,随着人类绝症的治愈被逐一实现,神经疾病将成为未来医疗行业的最大问题,脑紊乱发生率有上升的趋势。另外,政府资助、组件的小型化、游戏产业的扩张也都会往积极的方向发展。
脑机接口的投资分析
民间资本入局脑机接口大事记:
2001年,John Donoghue与布朗大学的研究组织共同成立Cyberkinetics,研发脑机接口植入型系统BrainGate。
2009年,日本本田投资的研究中心展示脑机接口项目成果,打开了脑机接口从科研项目到市场化的大门。
2016年,Braintree创始人Bryan Johnson个人投资1亿美元成立脑机接口公司Kernel,目前正在研究提高人类记忆力的脑机接口产品。
2017年底,盛大集团董事长陈天桥及夫人向加州理工学院捐赠1.5亿美元成立脑科学研究中心。
2017年3月,Elon Musk宣布投资成立脑机接口公司Neuralink。
2017年4月,Facebook宣布“意念打字”项目。扎克伯格投入大量资本及人才建立脑机接口技术团队。
政府投入,各国政府的“脑计划”:
美国:1989年率先提出全国性的脑科学计划,并把本世纪最后10年命名为“脑的10年”。白宫于2013年4月提出被认为可与人类基因组计划相媲美的“脑计划” ,旨在探索人类大脑工作机制、绘制脑活动全图、推动神经科学研究、针对目前无法治愈的大脑疾病开发新疗法。美国政府公布“脑计划(US BRAIN Initiative)”启动资金逾1亿美元,后经调整,计划未来12年间共投入45亿美元。
欧盟:1991年欧洲出台“欧洲脑10年”计划。2013年1月,欧盟委员会宣布人脑工程入选“未来新兴旗舰技术项目”,并设立专项研发计划“人类大脑计划(HBP)”,可在未来10年内(2013年至2023年)获得10亿欧元经费。该项目集合了来自不同领域的400多名研究人员。
日本:1996年,日本制定为期20年的“脑科学时代”计划,计划每年投资1000亿日元,总投资达到2万亿日元。2014年9月,日本科学省也宣布了自己“脑计划”的首席科学家和组织模式。日本“脑计划”侧重于医学领域,主要是以狨猴大脑为模型加快对人类大脑疾病如老年性痴呆和精神分裂症的研究。日本政府2015年关于“脑计划”的预算约64亿日元(约合6375万美元)。
中国:“脑科学和类脑研究”已被列入“十三五”规划纲要中的国家重大科技创新和工程项目。中科院于今年初成立包含20个院所80个精英实验室的脑科学和智能技术卓越创新中心。对“中国脑计划”,各领域科学家提出了“一体两翼”的布局建议:即以研究脑认知的神经原理为“主体”,研发脑重大疾病诊治新手段和脑机智能新技术为“两翼”。目标是在未来15年内,在脑科学、脑疾病早期诊断与干预、类脑智能器件三个前沿领域取得国际领先的成果。经粗略估算,我国对该领域的主要经费投入,从2010年的每年约3.48亿,增长到2013年的每年近5亿元人民币。
脑机接口行业分布
全球10大最受关注脑机接口公司
(排名不分先后)
根据公司技术、团队/合作伙伴、发展计划、产品、融资情况这五个维度,评出了世界十大最受关注脑机接口公司。
其中,Neuralink和Kernel专注于脑科学应用,瞄准了人类智能(HI)这一方向。这两家再加上专注医疗健康的BrainGate,在脑电信号采集上都采用的是侵入式技术,其余7家均采用非侵入式技术。
在非侵入式的7家中,g·tec、BrainMaster这两家专注于研发高精度的脑电测量设备,产品是针对临床和科研级别的。
而非侵入式中剩余5家更偏向于消费级脑机接口产品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做针对于冥想、游戏等需求的移动可穿戴EEG设备,这些公司往往也有配套的APP和SDK提供给用户和开发者。而在瑞士的MindMaze则致力于将VR/AR和脑机接口结合,切入医疗健康和游戏这两大领域。而位于波士顿的BrainCo则最先从教育领域切入,同时也涉足医疗及游戏领域。
Top10最受关注脑机接口公司中,有7家来自美国,另外3家分别来自瑞士、加拿大、奥地利,融资情况和简介见下图:
(排名不分先后)
脑机接口科研力量分布
根据全球各大科研院所在脑机接口领域研究成果产出量及影响力,我们选出了这20家科研院所,供你参考学习:
当然,除了这20大科研院所外,还有美国国防高级研究计划局DARPA及Facebook的Building 8等神秘课题组在从事脑机接口方面的研究。
脑机接口学科地图
最后,对于不愿错过人工智能之后又一大风口的人来说,如何能够快速入门?在此,我们描绘了脑机接口的学科地图。在这个典型的跨学科领域里,理科生、工科生、医学生、文科生都将找到自己的切入点。
脑机接口未来展望
目前,主流的消费级脑机接口研究主要运用非侵入式的脑电技术,尽管相对侵入式技术容易实现,但成本依然很高。不过,随着人才、资本的大量涌入,非侵入式脑电技术势必将往小型化、便携化、可穿戴化及简单易用化发展。
而对于侵入式技术,在未来如果能解决人体排异反应及颅骨向外传输信息会减损这两大问题,电脑将会对人的思维意识实时准确识别。这一方面将有助于电脑更加了解人类大脑活动特征,以指导电脑更好的模仿人脑;另一方面可以让电脑更好的与人协同工作。
当然,站在Elon Musk的立场,他所担心的是人类将遭受AI的威胁,我们需要让脑机接口扮演一种大脑与机器连接的媒介,以保证未来人类能与AI对抗。而在这整个发展道路上,不可忽视的“超强人类”、“半机械人”、“意识上传实现人类永生”等话题将成为全人类共同需要面对的课题。
即使这8000字的长文,也不足以讲清楚脑机接口的未来究竟该如何把握。如果你需要更深入的学习,请参与6.28日20:00硅谷Live直播与哈佛脑科学家、BrainCo创始人CEO韩璧丞博士联合发起的《全球哈佛脑机接口系列课》。
主讲人韩璧丞博士:
· 哈佛大学脑科学中心博士
· 脑机接口公司BrainCo创始人兼CEO
· 新型脑控义肢公司BrainRobotics创始人
· BrainCo与BrainRobotics双双入选全球最值得关注的十大脑机接口公司
· 哈佛大学Neural Control of Movement(class# 17080)课程讲师
课程二维码
主办方
参考资料:
竹间智能 李明骏 https://www.zhihu.com/question/57713553/answer/154395266
张丹 http://www.kjdb.org/CN/abstract/abstract14309.shtml
维基百科 https://zh.wikipedia.org/wiki/脑机接口
科学网 http://news.sciencenet.cn/htmlnews/2017/3/369777.shtm
财新 http://china.caixin.com/2017-03-24/101069680.html
MIT科技评论 https://www.technologyreview.com/s/600686/government-seeks-high-fidelity-brain-computer-interface/
Strictlyvc https://www.strictlyvc.com/2017/01/13/strictlyvc-december-22-2016/
▼ 点击“阅读原文”了解脑机接口系列课详情