基于物理储层的智能感知储备池计算(RC)系统因其需要较少的计算资源而备受关注。然而，该系统在红外机器视觉方面仍然受到限制，例如，在系统层面，与具有模拟储层的RC计算系统相比，物理储层的表达能力较低；在器件层面，主流晶体材料，如硅和基于化合物半导体的器件，由于其具有较大的带隙，在没有滤波器的情况下无法检测红外信息。在人类的视觉感知中，视网膜中的感觉神经元最初捕获连续的光刺激。随后，这些刺激被转换成离散的脉冲序列，有效地将信息传递到大脑的视觉皮层进行处理。生物视觉感知系统内的协同作用是大脑分层，紧凑和适应性学习机制的基础，也是基本的人工智能目标。
基于此，香港理工大学韩素婷副教授，深圳大学吕子玉副研究员等尝试利用核壳结构上转换纳米颗粒(UCNPs@SiO2)/P3HT纳米复合材料实现光电晶体管性能的综合提升，光伏效应和光门控效应协同作用下的光子-电子耦合动力学实现了窄带近红外辐照下RC计算系统的非线性和高维性，尝试构建具有高维表达能力的物理RC计算系统，并应用于近红外静动态手写数字图片识别和求解二阶非线性动力学方程任务。该工作以“A Near-Infrared Retinomorphic Device with High Dimensionality Reservoir Expression”为题发表在Advanced Materials上（DOI：10.1002/adma.202411225），香港理工大学为第一完成单位，论文第一作者为香港理工大学理学院博士生冷砚冰，香港理工大学韩素婷副教授与深圳大学电信学院吕子玉副研究员共同担任通讯作者。
研究思路及结果
生物视觉通路包括视网膜、视神经和视觉皮层，是视觉生理机制的基础。视网膜中的感光器将颜色、形状和亮度信息转换成电信号。这些信号被神经节细胞编码为动作电位，并通过视神经传递到视觉皮层。视觉皮层中腹侧和背侧通路分别用于运动感知和上下文理解。受此启发，设计了一个模仿生物视觉系统功能的智能红外感知系统。该系统使用UCNPs@SiO2作为光感受器，将980 nm的近红外光转换为半导体层中可检测到的黄绿色光。有机层P3HT具有可编程非线性动力学允许处理接收到的信息并将其映射到高维非线性空间。最后，RC系统具有较低的训练要求，便于对编码信息进行识别和分类。因此，本设计在单个器件上实现了人类视觉通路的感知-传输-处理能力。
图1. a) 人类视觉感知系统示意图（左图）和近红外传感器内RC系统示意图（右图）。b) 器件结构示意图和由UCNPs@SiO2向P3HT的辐射能量传递过程。c) P3HT薄膜的吸收光谱和UCNPs@SiO2的PL光谱。d) P3HT膜内UCNPs@SiO2的PL谱。e) 基于UCNPs@SiO2器件横截面SEM图像。f) 基于UCNPs@SiO2器件的AFM图像，呈现出UCNPs@SiO2分布的均匀性。g) UCNPs的TEM图像，证实了纳米颗粒的核/壳结构; 插图为UCNPs@SiO2的直径尺寸分布。红外智能器件的电编程特性：通过在栅极施加不同时间宽度的编程电压，器件展现出了优异的数据存储性能。其具有多级数据存储能力(≥8级)，优异的存储状态稳定性(≥2000 s)和耐用性(≥100次循环)。如图2所示。图2. a) 器件在施加不同编程时间后的传输曲线。b) 不同编程时间后器件的电流水平和记忆窗口。c) 不同数据存储状态下器件的保持特性。d) 100个编程/擦除操作周期的传输曲线。e) 重复编程/擦除操作时器件的电流水平。f) 100个编程/擦除操作周期中记忆窗口分布的高斯统计。近红外光照下突触反应的丰富变化：丰富的突触反应被用于支持物理储层具有更强的表达能力，进而促进有效的信息处理。将器件编程至各异的存储状态，在近红外光照条件下，光伏效应和光门控效应协同作用下的光子-电子耦合动力学实现了窄带近红外辐照下RC系统具有非线性和高维性。研究表明，电编程参数和近红外光照参数的改变均能有效调节物理储层的表达能力，为基于UCNPs@SiO2的物理RC系统处理复杂时序任务提供了性能支撑。图3. a) 在不同存储状态下，施加不同强度的近红外脉冲 (3.15、10.30、14.21和24.25 mW cm-2) 后的电流响应。b) 和 c) 不同光强、存储状态下器件的R和D*变化特性。d) PPF比率随脉冲间隔的变化特性，存储状态为S1 ~ S8，每种存储状态都可以实现约140%的最大PPF比率。e) 在不同的存储状态下施加10个连续光脉冲(频率分别为0.25,0.5,1和1.67 Hz)，发现编程时间的延长和较高的脉冲频率导致了更为明显的电流积累效应。f) 不同存储状态下，响应电流I作为施加到器件上的光脉冲数的函数。为了评估光电流增强行为的线性度，根据式(4)引入拟合曲线。器件在电编程和近红外光照时的机理研究，并借助KPFM技术进一步验证其工作机理，如图4：图4. a) 器件在电编程和近红外光照射时的原理图。b) 器件在电编程和近红外光照期间的能级示意图。黄色区域表示近红外光照下UCNPs的能级和工作机制。c) P3HT/ UCNPs@SiO2薄膜的KPFM测量示意图。扫描面积为5 μm×10 μm。d) 在施加不同的编程时间和近红外光照前后，使用KPFM记录P3HT/ UCNPs@SiO2薄膜表面电位变化特性。e) 黑暗环境下的表面电位变化趋势及近红外照射前后的表面电位差值随编程时间的延长而增加。f) 由图d) 导出的表面电位分布结果。RC在处理高维和非线性输入数据方面有着出色的能力，使其成为解决时间序列问题的理想选择，例如静/动态手写数字识别以及求解复杂的动力学系统。构建了基于P3HT/ UCNPs@SiO2的物理RC系统，对于静态和动态近红外手写图像，其识别准确率分别达到91.13%和90.07%。在求解二阶非线性动力学方程任务中，通过增加储层中所包含的存储状态数目，其预测结果的最小归一化均方误差 (NMSE)仅为1.06 × 10⁻³，如图6：图5. a) 静态/动态手写数字识别任务流程图。每个数字被预分割成28×28像素。数字图像转换成近红外脉冲序列，然后输入到物理储层。将生成的储层状态输入到训练完成的读出函数中输出识别结果。b) 16个脉冲序列的储层电流响应。c) 静态手写数字中的三个储层状态示例。d) 实验输出和期望输出的分类结果的混淆矩阵。e) 动态手写数组中的三个储层状态示例。f) 动态手写数组识别的混淆矩阵。图6. a) 利用基于UCNPs@SiO2的RC计算系统执行求解任务的示意图。将输入 (u(k)和0.5 u(k)) 分别施加到不同存储状态的器件上，并为读出层收集相应的动态响应电流。b) 近红外脉冲参数的调节支持物理储层具有丰富的动态响应电流。c) 不同存储状态下储层具有丰富的动态响应电流。d) 训练阶段方程的目标和预测结果。e) 测试阶段方程的目标和预测结果。f) 三种线性预测模型的预测精度比较。g) 储层中所包含存储状态数量与预测结果的NMSE之间的关系，其结果表明，储层所包含存储状态数量越多，预测精度越高。冷砚冰，香港理工大学理学院博士生。主要研究方向为新型信息存储器件及其在神经形态计算系统中的应用。吕子玉，深圳大学电子与信息工程学院助理教授/副研究员，深圳市高层次人才。长期从事微电子领域新型电子学器件研制（忆阻器和晶体管闪存）和神经形态应用研究，在Chemical Review, Matter, Advanced Materials, Device, Materials Today, Applied Physics Reviews, Advanced Functional Materials等高水平期刊发表论文70余篇，被引用4000余次。主持国家自然科学基金、广东省自然科学基金等。拥有国内授权专利7项。课题组长期与香港理工大学等机构联合招聘博士后及专职研究人员，税后年薪35以上（可提供三年期境外访学经历），欢迎联系：[email protected].韩素婷，香港理工大学应用生物与化学科技学系副教授，国家自然科学基金优秀青年基金、广东省自然科学基金杰出青年基金。入选斯坦福大学全球前2%科学家（2019-2023年）。2014年博士毕业于香港城市大学物理系，2014年至2016年任职香港城市大学超金刚石与先进薄膜研究中心（COSDAF）博士后研究员，2016 年加入深圳大学任副教授，2021年晋升教授（长聘），2022 年晋升特聘教授。2023年加入香港理工大学理学院任副教授（长聘）。申请人近十年来致力于新型存储器件及类脑计算芯片技术的研究，以第一作者及通讯作者身份在发表包括Science，Nature Communications, Advanced Materials，Nano Letters, ACS Nano,等在内的在SCI 论文120余篇，SCI 引用10,000 次，H因子52。声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在下方留言指正！
