海归学者发起的公益学术平台
分享信息,整合资源
交流学术,偶尔风月
相比传统人工神经网络,脉冲神经网络(SNN)更加接近人脑,已成为当前类脑计算研究中被采用最多的神经网络模型。而类脑芯片正是借鉴大脑运行架构原理、为高效执行SNN而设计的智能芯片。它采用非冯诺伊曼架构的新型计算范式,被认为是解决后摩尔时代存储墙和功耗墙挑战的重要路径之一。
为了充分发挥SNN的优势,类脑芯片设计时需同时考虑多种因素:
-
神经元模型的灵活性
:
类脑芯片的关键功能之一是模拟不同生物神经元动力学特性。然而,大量研究工作关注单一模型或者采用传统处理器核心来提升灵活性,而损失了运行效率。
-
突触连接的规模与密度
:
单个神经元的功能有限,只有大量神经元协同工作才能在智能信息处理方面表现出独特优势。大规模脉冲神经网络的高效运行,直接依赖于突触结构对于神经网络拓扑结构的表达能力。
-
片上学习能力
:
学习能力是大脑智能的重要特征,类脑芯片需要进一步支持在片上在线学习机制,从而更好实现神经网络在复杂场景下的自适应与自学习能力。
基于以上考虑,
浙江大学潘纲教授课题组在达尔文一代与二代的工作基础上,联合之江实验室于2023年上半年研制了达尔文三代类脑芯片
,相关工作发表于《国家科学评论》(
National Science Review
, NSR)。
达尔文3测试板卡及芯片版图照片
关于
神经元模型的灵活性
,研究者提出了一种专用的指令集体系结构(ISA),能够高效灵活地描述不同的神经动力学模型和学习规则,利用高并行性的计算操作实现多组运行参数加载和状态变量更新,解决模型构建灵活性和运行效率之间的矛盾。
关于
突触连接的规模与密度
,研究组设计了一种高效连接表示机制,有效压缩了描述突触连接所需的信息,提升了整体片上存储的使用效率,增加了突触密度和规模,使得单芯片能够支持200万以上神经元和1亿以上神经突触。
关于
片上学习能力
,达尔文3类脑芯片具备灵活的片上学习和芯片级扩展能力,能够高效实现不同类型的神经元和突触模型,运行大规模脉冲神经网络。
与其它类脑芯片相比,达尔文3在神经元规模、突触存储密度、推理学习任务的效率等方面具有优势。
该芯片的成功研制,对探索新型的人工智能算力硬件基座具有重要的意义。