Facebook
和
Elon Musk
加入脑机接口的研发
近期脑机接口开始受到业界的广泛关注。
Facebook
在
F8
大会上宣布要在两年内开发中可以每秒输出
100
个字的非侵入式消费级脑机接口产品,而
Elon Musk
则创立
Neutralink
,以创造出可植入人脑的芯片,
4
年内实现医疗级应用,
8~10
年用于健康人的智能水平提升,而终极目标是人机融合,抵御超级人工智能对人类的生存性威胁。
我们在去年
10
月的报告
《计算与生命科学合璧,
AI
、云、纳米、脑机接口、类脑芯片、
DNA
存储各显神通》
就已经对脑机接口做了介绍,并指出脑机接口目前处于早期研发阶段,市场规模
2020
年可达
14.6
亿美元,并以医疗应用为主。但
Facebook
和
Elon Musk
的参与,有望加速这一技术的商业化进程,并进一步扩大市场空间。
脑机接口,辅助和康复治疗及新一代人机界面
脑机接口(
brain-computer interface
,
BCI
或
brain-machine interface
,
BMI
)是在人或动物大脑与外部设备间建立的直接连接通路,允许大脑与外部机械设备进行交互。可分为侵入式脑机接口和非侵入式脑机接口,虽然侵入式脑机接口在时间和空间分辨率上有绝对优势,但对大脑会造成一定损伤,因此在
Neuralink
之前,对健康人使用的脑机接口都是非侵入式的。目前脑机接口最接近商业化的应用领域是医疗,并以侵入式为主,帮助
ALS
和
CLIS
患者语言交流或控制外部设备,或者帮助中风患者康复治疗,已有一些较为成功的临床试验。而在医疗之外,脑机接口还可在游戏和消费电子中作为新一代的人机界面。但目前非侵入式脑机接口面临的主要问题是由于头骨的阻拦,较难监测到高频信号,但随着生物技术和信号技术的发展,非侵入式脑机接口的检测精度也在逐渐上升。当前,从事消费级脑机接口应用的初创企业正在增多,并出现了开源平台和社区。
********************************************************************
Facebook
和
Elon Musk
加入脑机接口的研发
Elon Musk
创立
Neuralink
,打造侵入式脑机接口,提升人类智能
Elon Musk
近日宣布出任新创立的脑机接口公司
Neuralink Corp.
的
CEO
。
Neuralink
于今年
3
月创立,位于旧金山,其目标在于创造出可植入人脑的芯片,提高人的智能水平,而终极目标是实现人机融合,抵御超级人工智能对人类的生存性威胁。该公司目前包括
Musk
在内有
8
位创始成员,目前官方网站上还正在招聘
16
个类别的职位。
Neuralink
计划在四年内推出一款可以帮助治疗中风、截瘫、四肢瘫痪、失忆等患者的医疗设备,而
8~10
年后将用于健康人,以大幅提高人与人、人与机器沟通的速度,增强认知能力。当然,该时间表也取决于监管批准和公众接受度。
据对
Neuralink
进行了深入采访的博客作者
Tim Urban
总结,
Neuralink
的目标目前面临三项技术挑战:
1
)必须解决带宽(需要同时记录
100
万个神经元,但目前每
7.4
年才能使可同时记录的神经元数量翻倍,慢于摩尔定律)、芯片微型化(百万个电极需要缩微到一个很小的芯片上)、电极的双向交流性、植入后的生物兼容性、植入物所需的无线数据传输和电力等方面的问题,以及如何用复杂而危险的开颅手术以外的方式植入,到目前为止,我们还从来没有在人脑中植入过
200
个以上的电极;
2
)人类目前对大脑如何精准运转的了解还并不完整;
3
)脑机接口可能会被黑客入侵。
Neuralink
的终极目标是要抵御超级人工智能对人类的生存性威胁
提高人类的智能水平
面临的技术难题之一是带宽问题,但目前每
7.4
年才能使可同时记录的神经元数量翻倍,慢于摩尔定律
Facebook
打造非侵入式脑机接口,实现无声的语音交互界面
一年前秘密组建的硬件实验室
Building 8
在
2017
年
F8
大会上首次亮相,其负责人
Regina Dugan
(此前任职于
DARPA
、摩托罗拉和谷歌)总结了
Building8
的宗旨就是要创造出全新的、以社交为先的消费电子产品。
Dugan
宣布了两个项目,分别通过脑电波和触觉来传达信息,并称之为无声的语音
UI
(
silent speech interfaces
),兼具语音
UI
(如亚马逊
Echo
)的便利性和文字短信的隐私性。
其中第一个项目是要通过对脑电信号的解码,从脑电波直接输出语言,并达到每秒
100
个字、
5
倍于在手机上打字的速度。一旦成功,既能帮助残疾病人,又能作为
AR
设备的新输入方式(毕竟,
AR
眼镜上只会有少数几个按钮,不会有键盘)。与其他科研机构进行的项目不同,
Building 8
选择通过光学神经成像技术(
optical neural imaging
),以非侵入的方式解析人脑中布诺卡氏区(处理语言的区域)的活动。目前在临床试验中,已经能够为肌萎缩性侧索硬化症(
ALS
)的病人实现了每分钟
8
个字的速度。而要提高输出速度,需要更高级的传感器,以光速的速度来探测大脑活动。当然,为了打消对侵犯隐私的顾虑,
Dugan
特意表示,该技术只会解析大脑语言区域的活动,而非窃听所有想法。
与
DARPA
的管理结构类似,
Building 8
的项目都以两年为期,每个项目都有自己的负责人,需要在
2
年内证实项目的可行性。脑机接口的项目目前有
30
个工程师,由
Mark Chevillet
负责,并与
UC Berkeley
、
Johns Hopkins
等院校合作。此外,公司也将建立独立的道德委员会,称为“
Ethical, Legaland Social Implications Panel
”,以控制道德风险。
Facebook
的硬件实验室
Building 8
要创造社交为先的消费电子产品
第一个项目是要在
2
年内创造出每秒输出
100
字的脑机接口
脑机接口:辅助和康复治疗及新一代人机界面
脑机接口为大脑与外部设备提供交互
脑机接口(
brain-computer interface
,
BCI
或
brain-machine interface
,
BMI
)
是在人或动物大脑与外部设备间建立的直接连接通路,允许大脑与外部机械设备进行交互。目前较为常用的是利用大脑活动控制外部机械设备,其基本原理和过程是首先将脑电信号探测提取,经过放大、去噪滤波等一系列预处理后,最后利用在线分类算法(根据大脑信号的相关特征进行分类)进行解码来控制外部设备。
脑机接口可分为侵入式脑机接口和非侵入式脑机接口
,两种脑机接口分别能够探测到不同类型的脑电信号:
►
侵入式脑机接口利用手术将电极阵列直接植入脑内,探测神经元的活动,并对行为相关的信息进行编码。可分为局部场电位(
LFP
,
Local Field Potential
)、单个神经元记录(
SUA
,
Single-Unit Recording
)、多个神经元记录(
MUA
)、脑皮质振荡(
ECoG
)等
►
非侵入式脑机接口主要利用连接脑皮层的外部设备探测包括慢皮层电位(
SCP
)、感觉运动节律(
Sensorimotor Rhythms
)、
P300
事件相关电位(
P300 Event-related Potentia
,即
P300 ERP
)、血液氧化水平、大脑氧化作用变化等在内的
7
类脑电信号。其工具包括
EEG
(
electroencephalography
)、
fMRI
(
functional MRI
)等
►
除去两者之外,侵入式脑机接口还存在称为部分侵入式脑机接口的分支。该类脑机接口植入头骨之内,但不侵入灰质
非侵入式脑机接口将获得更快发展。
虽然侵入式脑机接口在时间和空间分辨率上有绝对优势,但对大脑会造成一定损伤。根据
Allied Market Research
预测,
2020
年时,非侵入式脑机接口的占比将与侵入式脑机接口和部分侵入式脑机接口的总和相当。
►
侵入式脑机接口在时间分辨率上有着绝对的优势,
LFP
、
ECoG
以及微电极阵列等探测方法的时间分辨率均小于
0.01
秒,而基于
EEG
、
MEG
(脑磁图)近红外光谱等方法的非侵入式脑机接口的时间分辨率
0.01~10
秒不等
►
空间分辨率方面,侵入式脑机接口也具有优势,即便是空间分辨率相对较差的
ECoG
也达到了
1
毫米的空间分辨率,而非侵入式脑机接口中表现较好的
fMRI
(功能性磁共振成像)仅能达到
1
毫米
►
侵入式脑机接口在目前的技术水平下,可能对大脑有一定的损伤,因此,在
Neuralink
之前,为健康人设计的脑机接口仅限于非侵入式脑机接口
►
侵入式脑机接口面临更多的公众质疑和担忧。据
Pew Research
的问卷调查,
69%
的美国民众对脑部植入芯片表示担忧,比例甚至高于基因编辑的
68%
(对基因编辑的介绍,参见报告《基因编辑,编码生命》)。
目前非侵入式脑机接口发展主要面临的问题是由于头骨的阻拦而较难监测到高频信号,因此需要更多对健康人和患者大脑执行不同指令的测试。但随着生物技术和信号技术的发展,非侵入式脑机接口的检测精度在逐渐上升。
脑机接口是在人或动物脑与外部设备间建立的直接连接通路
侵入式脑机接口在时间和空间分辨率上均具有优势
但人脑植入物也面临监管和公众接受度的问题
脑机接口可用于医疗、游戏等领域,可及市场空间
2020
年达
14.6
亿美元
脑机接口未来的主要应用领域将涵盖医疗、游戏娱乐、消费电子、商业分析、军事国防等各个行业:
►
医疗:
主要包括帮助患者与外界交流或控制外部设备的辅助脑机接口,以及帮助患者恢复神经功能的康复脑机接口
►
游戏娱乐:
例如在头戴式
VR
设备上安装脑机接口,与传感器的输入一起为用户提供更好的游戏体验
►
消费电子:
机器人、无人机、
VR
等消费电子产品可将脑机接口、特别是非侵入式脑机接口作为新的人机交互界面。例如,佛罗里达大学于今年
4
月就举办了利用脑机接口控制的无人机比赛,
16
位提前进行训练的无人机操作员利用脑电信号控制无人机进行了室内飞行比赛。赞助商包括英特尔等
►
商业分析:
可以帮助营销人员获取消费者大脑的定量信号,从而更好的了解客户需求
►
军事国防:
利用脑机接口实现大脑控制的机器人或无人机侦查、重型武器控制、军人之间的无声脑电交流等
根据
Allied Market Research
预测,
脑机接口市场将在
2020
年达到
14.6
亿美元,届时,医疗和消费电子将是脑机接口的
2
大主要应用方向。
目前脑机接口最接近商业化的应用领域是医疗,
自
1924
年人类脑电信号被首次记录至今的近
100
年内,脑机接口已经在人类医疗领域取得了一定的进展:
►
1924
年,
Hans Berger
发现并记录了人脑产生的电信号,并于
1929
年发表了关于
EEG
的论文“人脑的脑电图”(
On the Human Electroencephalogram
)
►
1968
年,首次在生物生理学的基础上控制脑电信号。当时的科学家们记录了猫的感觉运动节律,并为猫提供神经反馈,成功刺激产生更多的此种脑电波
►
1969
年,科学家们成功发现人类也可以通过连续的神经反馈学习控制自己大脑的α波
►
70
年代,在
DARPA
(
Defense Advanced Research Projects Agency
)资助下,加州大学洛杉矶分校开始尝试利用脑电信号直接控制外部机械设备,脑机接口这个名词正式出现
►
此后,脑机接口逐渐在哺乳动物上实现。
1999
年,科学家们展示了身患肌萎缩性侧索硬化症(
ALS
)的病人利用脑机接口控制一个拼写装置并与外界进行交流。该系统利用了人类可以通过反馈自主学习慢皮层电位(
Slow Cortical Potentials
,
SCP
)的规律,控制
SCP
幅度的正向或负向偏移,从而移动光标选择字母
►
2004
年,
Cyberkinetics
公司为
4
名四肢瘫痪(其中
1
名为脊髓损伤,其余
3
名为
ALS
)的患者大脑中植入了一枚称为
BrainGate
的芯片。经过一段时间的训练后,患者能够仅仅利用思考,就能控制电脑屏幕上的光标、打开电子邮件、操作电视等设备
►
2006
年,两个由于
ALS
导致四肢瘫痪的患者在大脑的运动皮层植入了
100
个微电极,并学会了利用脑机接口控制电脑光标以及机器人手臂
►
去年,科学家们研发出了可以利用脑电信号控制的纳米机器人。该类机器人可以植入生物脑内,探测记录大脑内的脑电信号,此后利用在线算法对该信号进行处理和解码,再反过来控制机器人内的电磁体,从而控制药物的释放。该技术成熟后可用于治疗精神分裂症、抑郁症和注意力缺失症等大脑疾病
►
针对脑机接口的通道数最高为
100
的现状,
DARPA
决定在未来
4
年投入
6000
万美元,与神经工程系统设计(
neural engineering systemdesign
)合作将通道数增加到
100
万
佛罗里达大学脑机接口无人机比赛
脑机接口市场将在
2020
年达到
14.6
亿美元
辅助和康复治疗已取得进展,但还需更多临床试验
脑机接口按照临床用途主要分为辅助脑机接口和康复脑机接口。
辅助脑机接口的目的是替代失去的身体功能,如交流和运动等,例如帮助瘫痪患者控制假肢。而康复脑机接口则旨在促进神经功能的恢复。
辅助脑机接口
已经在因患有
ALS
而导致闭锁综合征或完全闭锁综合征(
CLIS
)的患者上进行了一定规模的测试,并取得了一定的进展。
ALS
是一种逐渐破坏外周及中枢运动系统的疾病,但对感觉和认知功能的影响较小。拥有意识,但除眼部肌肉外所有肌肉反应全部丧失的称为闭锁综合征,而包括眼球运动功能也丧失的称为
CLIS
。
►
侵入式脑机接口最早运用在
ALS
患者身上可以追溯到
1989
年,但近年来取得了一定的成就。
2006
年,两个由于
ALS
导致四肢瘫痪的患者在大脑的运动皮层植入了
100
个微电极,并学会了利用脑机接口控制电脑光标以及机器人手臂。
2015
年,两个患有
ALS
的患者成功利用侵入式脑机接口控制光标,在
19
分钟内输入了最多
115
个单词,平均每分钟
6
个。然而,参加测试的两个患者都没有患有闭锁综合征或
CLIS
►
非侵入式脑机接口自
1999
年以来,已经多次辅助闭锁综合征患者与外界进行交流。例如,
1999
年科学家们利用慢皮层电位脑机接口,辅助闭锁综合征患者在电脑屏幕上选择字母;
2004
年科学家们成功利用感觉运动节律脑机接口,帮助闭锁综合征患者或高位脊髓损伤患者控制光标的移动以选择字母或单词;
2010
年科学家们发现使用由
P300
事件电位控制的脑机接口超过
2.5
年后,闭锁综合征患者能够利用该脑机接口进行拼写
►
截至目前,侵入式脑机接口在帮助
CLIS
患者交流上仍然没有进展,原因不明。使用上述非侵入式脑机接口的闭锁综合征患者均没有继续恶化至
CLIS
,但在
CLIS
患者上完全没有作用
►
第一起成功帮助
CLIS
患者与外部沟通的案例使用了测量大脑氧化作用的非侵入式脑机接口(基于功能近红外光谱的脑机接口)。原理是通过测量和分辨向患者展示问题后,患者大脑皮质氧化或脱氧来判断是与否。经过一年的学习后,在连续
14
次测试中达到了
72%~100%
的正确率。此后,利用基于近红外光谱和
EEG
结合的脑机接口,又成功辅助
4
名
CLIS
患者与外界进行了交流
►
控制外部机械设备方面,侵入式脑机接口成功帮助了因
ALS
导致瘫痪的患者控制机械手臂,但实验患者仍拥有一定的行为能力,因此在更加严重的瘫痪患者上的效果还有待考察。而侵入式脑机接口和非侵入式脑机接口都在帮助因脊髓损伤而瘫痪的患者进行外部设备控制上取得了一定的进展,例如基于
EEG
的非侵入式脑机接口允许患者控制轮椅。但值得一提的是,侵入式脑机接口能够使患者更好的控制外部设备,而非侵入式脑机接口的能力较为有限,更加复杂的运动还需要依赖于外部机械设备的人工智能
►
受益于脑机接口解码器的发展,斯坦福大学近期在猴子大脑中控制运动的区域里植入了微型电极阵列,使猴子在
50
秒内打出了“
To be or not to be. That is the question”10
个单词。将此前平均每分钟
6
个的记录提高到了
12
个
康复脑机接口
目前的主要用途是用在中风患者身上。尽管目前许多传统治疗策略希望能够帮助中风患者恢复部分功能,但
80%
的上肢运动能力缺失的中风患者并没有因为这些疗法重获肢体的运动能力。偏瘫患者常常过度使用正常的脑半球且未充分使用导致瘫痪的大脑部分,从而更加抑制了该部分的恢复,而脑机接口则可以利用重组大脑神经回路的方法来帮助中风患者康复。
►
2014
年进行的一组双盲控制对照实验中,中风患者利用脑机接口学习控制感觉运动节律,从而控制连接在瘫痪肢体上的神经假肢设备。获得正确反馈的对照组患者病情有了明显的改善,同时大脑内也发生了重组和连接的改变;而获得随机反馈的对照组患者病情并未明显改善。且该影响在实验后为期
6
个月跟踪调查中保持稳定
►
今年
8
月,杜克大学对
8
个慢性(患病达
3~13
年)的脊椎损伤截瘫患者在进行了
12
个月的基于多级脑机接口(非侵入式)的步态神经恢复训练。
8
名患者均获得了躯体感知的改善,并且重新获得重要肌肉的自主控制能力。其中
50%
的患者在训练后被升级归类为不完全截瘫。患者通过两台
EEG
控制的机器人帮助行走,并使用定制的下肢外骨骼提供触觉反馈,同时该训练还与沉浸式
VR
训练相结合,丰富了视觉和触觉体验
脑机接口在医疗领域的应用目前主要面临的困难在于参加临床实验的患者数量不足。
许多脑机接口的性能仍然是在健康的人体上进行测试,因此具体疗效并不明确。即便部分脑机接口已经在特定疾病的患者身上进行了临床测试,但由于数据量不足也难以进行进一步的研究。
杜克大学脑机接口研究实验使截瘫患者恢复行走
消费级应用已出现开源平台,初创企业众多
尽管脑机接口技术仍处于早期,在
Gartner
的“新兴技术炒作周期图”中位于萌芽上升区间。但从事消费级脑机接口应用的初创企业正在增多,也出现了开源平台及其社区。
脑机接口处于
Gartner
新兴技术炒作周期的萌芽上升段
开源平台
OpenBCI
和
NeuroTechX
OpenBCI
是一款低成本的开源
EEG
开发平台,可在
Windows
、
Mac
和
Linux
等操作系统上运行,让每个笔记本电脑的普通用户都能够读取自己的
EEG
和
EMG
(肌电图)。整套
OpenBCI
包括一个开源开发板,一套感知头部信号的
3D
打印头盔(拥有最多
61
个不同的采样点,佩戴和设置启动采集
16
个通道数据的时间小于
30
秒),还有一个开源数据可视化解析软件。用户能够清晰地在脑电波解析图中看到自己大脑活跃情况,每个电极都对应相应的曲线,在刻意思考某些事情或做出某个动作时,用户都能看到脑电图相应的变化,同时也就能判断是哪个电极对应的大脑区域信号比较活跃。
NeuroTechX
是一个非营利性组织,目标是建立为全球脑科学提供相互交流和资源共享的平台。该组织目前已经在北美、欧洲和南美
17
个城市上线,举办了
142
场会议,与会人数近
6000
人次,并拥有
4500
余名在线成员。其中一些成员已经成立了脑机接口相关的初创公司,例如专注于开源
EEG
并在硬件基础上建立应用的
Push The World
、为医院提供大脑损伤实时监测软硬件解决方案的
BrainsView
、能够利用眨眼控制智能手机(切换音乐等)的
Eyewink
等。
OpenBCI
的
EEG
读取界面使用户可在脑电波解析图中看到自己大脑活跃情况
OpenBCI
的开源开发板与
3D
打印电极传感头盔
ANTNeuro
位于荷兰的
ANT Neuro
公司提供了能够记录
EEG
、
EMG
、
TMS
(
Transcranial magnetic stimulation
)、
MEG
、
fMRI
等信号的非侵入式脑机接口产品。产品分为
eego
、
waveguard
和
visor2
三个产品系列,面向包括日常消费、临床研究等不同用途,通道数从
8
到
64
不等,最高可以达到
256
个电极数量。例如
eego
产品系列下的
eegosports
能够用于日常佩戴,最多通道可达
64
,并拥有
24
位分辨率、
6
小时续航时间、重量仅为
500
克等特性,能够在
15
分钟内提供
EEG
和
EMG
的数据。公司成立于
1997
年,并在德国、英国、美国、中国等地设有办公室。
ANT Neuro eego sports
可日常佩戴,
15
分钟内提供
EEG
和
EMG
的数据
Emotiv
Emotiv
早在
2007
年就推出了一款简化的科研医用级的标准
EEG
检测设备
EPOC
,并于此后进行了产品的更新,推出了
EPOC+
。该产品拥有多达
14
个检测电极和
2
个参考电极,售价仅为
799
美元。
Emotiv
还向第三方开发者提拱了
SDK
。在第三方应用的配合下,用户可以用脑电波发出指令,控制其他设备。
2015
年,
Emotiv
推出了更加亲民化的产品
Emotiv Insight
,使用了
5
个检测传感器和
2
个参考电极,售价仅为
299
美元。该产品可以检测到注意、集中、参与、兴趣、激动、亲密、放松以及压力
8
种行为现象,识别眨眼、皱眉、吃惊、微笑以及咬牙等表情,而且残障人士可用它来控制轮椅、驾驶汽车、创作音乐、控制飞行器、游戏等。公司成立于
2011
年,位于旧金山。
2015
年获得迪士尼旗下创业加速器的种子投资。
BrainCo
BrainCo
成立于
2015
年
2
月,位于波士顿,去年
12
月获得了
550
万美元的
Pre-A
轮风险投资。目前核心团队成员约有
20
人,由哈佛大学脑科学中心科学家和
MIT
工程师联合组成。公司在今年
CES
上推出了名为
Lucy
和
Focus 1
的两个非侵入式产品系列。
Lucy
可用来控制智能玩具、无人机、智能家居产品等。而主打教育市场的
Focus 1
则分为
Focus EDU
和
Focus Family
两个版本,
Focus EDU
用于在课堂上便于老师实时监控学生的注意力程度,以便调整教学方式,
Focus Family
则在家庭内使用,并配有名为
Focus Oasis
的手机
App
,在查看实施监控数据的同时,也提供可提高注意力的小游戏。
BrainCo
的
Lucy
用脑电波控制消费电子产品
BrainCo
的
Focus 1
用于学校和家庭教育,监测和提高学生注意力水平
NeuroSky
NeuroSky
位于硅谷,获得了软银和
SAIF Partners
的投资。
NeuroSky
主要目标是研发消费级的脑电波可穿戴产品。目前主打产品为
MindWave
,仅拥有夹在耳垂的参考电极和额头的检测电极,售价不足
100
美元。除产品本身外,该公司还推出了
NeuroSky App Store
以及
NeuroSky Research Tools
,前者包括了与第三方开发者共同开发的超过
100
款
MindWave
相关应用;后者包括
NeuroView
和
NeuroSky Lab
两款应用(售价
499
美元),旨在帮助理解脑电信号的行为。此外,该公司也生产芯片提供给其它脑机接口公司使用,包括可直接用于可穿戴设备的全球最小
ECG
(心电图)芯片
BMD 101
和可用于监测睡眠、
VR
等领域的
EEG
模块
TGAM
。日本
Neurowear
公司就使用
NeuroSky
的芯片做了一款称为
necomimi
的猫耳朵。佩戴者注意力集中时,猫耳会竖起;心情愉快时,猫耳会来回摆动;放松时,猫耳便会塌下。
Neurowear necomimi
是用
NeuroSky
芯片做成的电子玩具