专栏名称: 学术经纬
第一时间送上生命科学重磅学术新闻。
目录
相关文章推荐
丁香园  ·  主治医师资格考试合格标准更新! ·  13 小时前  
蒲公英Ouryao  ·  药企已将裁员大刀挥向QA,看看Deepsee ... ·  3 天前  
Clinic門诊新视野  ·  探索丨Lancet:不健康生活方式与残余胆固 ... ·  3 天前  
51好读  ›  专栏  ›  学术经纬

西湖大学团队研发出新型人工脉冲视觉神经元

学术经纬  · 公众号  · 医学  · 2025-02-20 08:31

正文

▎药明康德内容团队编辑(来源:西湖大学)

近日,西湖大学工学院朱博文课题组提出了一种通过模拟生物神经元行为, 从而实现对光信号进行脉冲编码和预处理功能的人工视觉神经元 ,相关研究工作以“ Double-opponent spiking neuron array with orientation selectivity for encoding and spatial-chromatic processing ”为题发表于《科学-进展》( Science Advances )。


颜色信息是对亮度信息的重要补充,是视觉感知的基本组成部分。人类视觉系统通过分层的细胞结构进行特征提取和冗余滤除,能够实现高效的颜色脉冲编码和预处理。当光线被光感受器吸收后,颜色信号通过视网膜中的双极细胞进行极性调整,继而通过神经节细胞以脉冲形式编码,并随后传输至大脑,在外侧膝状体和初级视觉皮层(V1)进行预处理。

在V1中,双颜色拮抗细胞形成具有空间和颜色对立特性的感受野,通过协调的颜色抑制与激发来整合和预处理颜色信号。这种预处理机制是生物系统中颜色特征提取、颜色恒常性以及精确物体感知的生理基础。然而,基于硅的现代人工视觉系统通过滤光片捕获颜色信息,并经过模数转换后,在存储与处理单元中进行顺序二进制运算。这种感知、转换和处理的分离方式限制了计算效率,并导致大量能耗。这些局限性促使人们开发用于颜色边缘计算的人工视觉神经元,结合脉冲编码和预处理功能,并期望将其集成到脉冲神经网络中以构建高效的人工视觉系统。

针对上述问题,西湖大学工学院朱博文团队提出了一种 具备方向选择性能够实现编码与空间-色彩处理的双重颜色拮抗脉冲神经元阵列 。图1A展示了人类视网膜通路对入射光编码的起步阶段。光感受器对特定波长(L、M、S)敏感,检测光信号并将其传递至双极细胞。双极细胞根据光的波长调节响应的极性。这些经过处理的信号随后被传输至神经节细胞,并编码为脉冲序列。

接下来,中脑的外侧膝状体通过同心感受野对信号进行预处理。感受野中心对特定波长的光产生兴奋,而其周围区域受到拮抗颜色的抑制。而他们的输出进一步被投射至初级视觉皮层(V1)进行下一步预处理,这里的感受野既具有空间对立性,也具有双重颜色拮抗特性。V1中的每个感受野对特定方向的视觉刺激产生响应,当输入方向与感受野的首选方向匹配时会引发最强的脉冲响应。同时,椭圆形感受野一部分表现出L-OFF和S-ON反应(长波长L引发抑制,端波长S引发兴奋),而另一部分则表现出相反的脉冲响应(L-ON和S-OFF)(图1B)。这些具有方向选择性的双颜色拮抗细胞,因其空间和色彩对立特性,在生物系统中对颜色图案、纹理和边界的感知中发挥着至关重要的作用。

图1. 生物视觉通路与人工脉冲视觉神经元阵列处理通路(图片来源:原始论文[1])

图1C展示了该工作提出的人工视觉神经元阵列,能够实现双波长光信息编码和预处理。其中,每个神经元器件由一个双向光响应光电突触晶体管与NbOx莫特忆阻器串联组成。该人工神经元阵列可以配置为类似于V1中细胞的多角度双颜色拮抗感受野,用于对编码后的脉冲信号进行预处理。这一功能通过调整晶体管的栅极电压来实现,从而使负载线相对于忆阻器的两个阈值发生偏移,使神经元在近红外或紫外照射下产生兴奋性或抑制性脉冲输出(图1D)。 最终,该神经元阵列能够实现从视网膜到V1通路的视觉处理功能从而提升脉冲神经网络在复杂自然场景中目标感知的可靠性 (图1E)。

该器件阵列有望集成于自动驾驶系统中,促进在光照不足时的特征提取从而提高自动驾驶视觉系统的可靠性。该神经元阵列能够在黑暗条件下提取颜色边界特征来补充亮度信息,并提高SNN的感知效率,最大程度地解决了低光和噪声环境下的视觉识别问题。

实验结果显示,预处理后的数据集在分类精度上表现出色,即使在亮度降低或噪声增加的情况下,性能仍能维持在高水平,相比未处理的图像提高了接近一倍的准确度。该方法展示了将脉冲编码与预处理结合的巨大潜力,为未来发展高效的神经形态视觉系统提供了有效方案。

本项研究工作的共同第一作者为西湖大学博士生李定威和刘国磊。西湖大学工学院特聘研究员朱博文为通讯作者。本工作得到了国家基金委面上项目、西湖大学工学院院长特别基金,和西湖大学光电研究院重点项目等的大力支持。

原始论文:

[1]Double-opponent spiking neuron array with orientation selectivity for encoding and spatial-chromatic processing. Science Advances (2025). DOI: 10.1126/sciadv.adt3584

免责声明:药明康德内容团队专注介绍全球生物医药健康研究进展。本文仅作信息交流之目的,文中观点不代表药明康德立场,亦不代表药明康德支持或反对文中观点。本文也不是治疗方案推荐。如需获得治疗方案指导,请前往正规医院就诊。



更多推荐








请到「今天看啥」查看全文