韩国科学技术院，香港大学，北京理工大学Adv. Funct. Mater.：基于自适应二维忆阻器的动态卷积神经网络

【研究背景】

卷积神经网络（CNN）通过整合多层卷积和子采样（池化）层来模拟人类视觉处理的复杂机制。CNN利用共享权重和局部连接来处理输入数据中固有的二维形状变化，推动了图像分类、语音识别和人脸识别等领域的进步。CNN能够自主检测相关特征是其在主流深度学习框架中的标志性优势。然而，CNN常受限于静态卷积核，无法适应不断变化的输入。为此，研究者提出了动态CNN (dCNN)，其中注意力网络能动态调整卷积核以适应不同输入。注意力层的输入响应操作使dCNN在不影响计算效率的前提下提升了数据表征能力和模型性能。

尽管dCNN等深度学习算法不断进步，现代计算硬件平台在能效方面仍难以媲美生物大脑。这种低效主要源于冯·诺依曼架构中CPU和内存的分离，导致显著的延迟和能量损失。为解决这些问题，研究转向神经形态计算，试图模拟生物神经元和突触的大规模并行结构。神经形态计算依赖于类似生物神经元和突触的低能耗、高效率计算和存储元件，如二维忆阻器。二维忆阻器由于其原子级薄的结构、门控调制电极以及垂直器件架构的高空间密度潜力，具有低工作电压等优势。

【成果介绍】

鉴于此， 韩国科学技术院的Heejun Yang教授，香港大学王中锐教授和北京理工大学孙林锋教授合作发表了题为“Dynamic Convolutional Neural Networks Based on Adaptive 2D Memristors”的文章在Advanced Functional Materials期刊上。 该工作开发了基于异突触可塑性的自适应二维忆阻器，专门用于dCNN的硬件实现，以实现自适应图像分类。二维忆阻器研究主要通过电门控或光门控来模拟异突触可塑性。但是，充分整合二维忆阻器动态门控调节的软件协同设计尚未实现。本工作利用了二维材料的两个独特特性：少层石墨烯电极的门控可调电导和绝缘层状三元化合物CrPS ₄ 中的定制原子空位特性。这突出了新型功能层状材料（即CrPS ₄ 和可调石墨烯电极）在复杂高效神经形态应用中的作用。该工作的关键开发在于通过由银、CrPS ₄ 和石墨烯组成的三端垂直异质结构，使石墨烯电极的工作电压和电导与CrPS ₄ 中的丝状结构形成的电学特征相匹配。本工作的自适应二维忆阻器展现了可靠、线性和精确的混合 模拟-数 字电导水平。通过垂直三端器件模拟的异突触可塑性实现了dCNN的核心功能，包括通过注意力层针对不同输入动态非线性组合卷积核。这种方法不仅捕捉了生物神经系统对不同刺激的非一致神经元激活，而且超越了缺乏动态权重和核心可调性的传统CNN性能。因此，基于自适应二维忆阻器的dCNN在CIFAR-10数据集上实现了超过90%的图像分类准确率，优于不具备这些先进特性的传统CNN。

【图文导读】

图 1. 带有自适应二维忆阻器的dCNN神经形态电路概览。a) 处理视觉信号时的生物动态系统简化示意图。b) 功能注意操作的三端忆阻器阵列。c) 自适应二维忆阻器放大示意图，用作三端阵列中的单元。

图 2. 自适应二维忆阻器的栅极驱动异突触可塑性。a) 具有 Ag/CrPS ₄ /石墨烯的人工突触装置示意图。b) 2 × 2 自适应二维忆阻器阵列的光学显微镜图像。c) HRS（左）和 LRS（右）之间电阻切换的非原位ADF-STEM图像。d) 不同栅极偏压下的源漏电流的磁滞回线。e) HRS（灰点）、LRS（红点）和开/关比（蓝点）与V _g 的关系。f) 石墨烯电极的传输曲线。g) 自适应2D忆阻器的HRS（右）和LRS（左）的能带图。h) LRS和HRS处的栅极脉冲驱动电导。

图 3. 基于尖峰的电导更新与噪声分析。a) 用于突触权重更新的多幅度脉冲条件。b) 基于尖峰的电导更新（无门控）和基于GPR的预测。c) 按脉冲数对电导更新进行SNR分析。d) V _g = 0、-10、-20 和 -30 V 时基于尖峰的电导更新。e) 不同栅极偏压下电导变化的平均值。f) SNR值超过1的状态百分比。

图 4. 自适应二维忆阻器增强型dCNN的视觉分类仿真。a) VGG11架构的动态适应性，用于视觉分类。b) dCNN与自适应二维忆阻器的集成。c) 自适应二维忆阻器中的动态V _g 映射，用于识别“猫”。d) CIFAR-10数据集的混淆矩阵可视化。e) 第一个卷积层的t-SNE分布。f) 第五卷积层的t-SNE分布。g) 不同VGG模型的分类准确率比较分析。

【总结展望】

总之，本研究展示了一种利用新型自适应二维忆阻器异突触及其增强视觉分类能力的dCNN。受到大脑中神经元激活模式选择性确定和突触权重动态调节的启发，本工作在传统双端器件结构的基础上添加了门控（对应注意力层），模拟大脑的异突触可塑性。作为dCNN关键部分的注意力层通过石墨烯电极门控和调节每个自适应二维忆阻器的电导来实现，从而生成优化图像分类的适当系数。基于Ag/CrPS ₄ /石墨烯垂直异质结构的自适应二维忆阻器展现了可靠且线性可控的低噪声多级电导值。二维绝缘体CrPS ₄ 的优化厚度实现了器件的原始突触权重功能。本工作强调了低维材料独特特性（如导电丝的可控形成和金属电极的门可调电导）为dCNN应用带来的新机遇。

【文献信息】

上 海 昂 维 科 技 有 限 公 司 现 提 供 二 维 材 料 单 晶 和 薄 膜 等 耗