文章链接：https://www.science.org/doi/10.1126/sciadv.adk8199
摘要
服务于物联网的“眼睛”和“耳朵”，光学和声学传感器是硬件系统中的基本组成部分。如今，主流硬件系统通常由多个离散的传感器、转换模块和处理单元组成，这往往导致结构复杂且效率低于人类感官路径。在此，提出了一种受人类感知系统启发的视觉-音频光电探测器，能够实现一体化的视觉和声学信号检测及计算功能。该器件不仅可以捕捉光线，还能光学记录声波，从而在单个单元内实现“看”和“听”。门控可调的正、负及零光响应带来高度可编程的响应特性。这种可编程性使得执行多样化功能成为可能，包括视觉特征提取、物体分类和声波处理。这些结果展示了在神经拟态设备中扩展感知方法的潜力，为构建智能紧凑的硬件系统开辟了新可能。
研究背景和主要内容
视觉和听觉是人类感知周围环境的重要信息源，在安防监控、智能家居、无人驾驶、人机交互等众多应用中具有重要意义。在现代传感器硬件系统中，光和声信号的检测任务往往由不同的传感器完成，且检测模块和处理模块在物理上是分开的。检测模块捕获外界刺激并将其转换为模拟数据，这些模拟数据需要经过模数转换器转换后才能传输到基于冯·诺依曼计算架构的处理模块进行计算。虽然该策略具有很高的稳定性和成熟度，但庞大的离散探测器及其配套的外围设备占用了相当大的空间。此外，检测模块获取的原始数据通常是非结构化的，并带有无关的背景信息，这给数据转换、传输和存储带来了很大的负担，从而影响了处理模块的运行效率。
为了应对这些挑战，采用从人类视网膜中汲取灵感的神经形态传感器已成为一种有前途的解决方案。在人类视网膜中，各个功能层和神经回路不仅接收视觉信号，还进行初步预处理。这些过程发生在信息传输到大脑之前，从而消除了无用数据并减轻了由大量信息传输引起的延迟，从而加速大脑内的认知计算。最近，视网膜模拟装置取得了显着进展，展现出卓越的性能。这些器件已经从块体材料发展到二维材料，并进一步向范德华异质结发展。同时，其功能也从感知和预处理的融合扩展到非易失性存储、视觉适应、目标识别、运动检测和宽带感知。然而，视网膜拟态技术的主流焦点仍然局限于视觉信号检测，而由于视觉和听觉信号的检测机制不同，将该技术迁移到听觉信号感知还有待考虑和实现。
最近，已经证明了通过光感应来感知声振动，特别是使用不可见光来增强检测的保密性。这种策略为融合视觉和听觉刺激的检测过程提供了独特的机会。例如，可以通过用高速摄像机记录表面波动或使用位置敏感检测器监测光点位移来实现声波的捕获。然而，应该强调的是，这些光学方法代表了一个间接过程，对检测器的响应度提出了很高的要求。此外，考虑到需要涵盖甚至超越人耳的可听频率范围，检测器必须具有快速的响应速度。虽然听觉传感器在声波检测方面表现出色，但差距在于它们无法进行片内信号处理。因此，仍有待探索一种具有高灵敏度和紧凑性的精细架构，以集成视觉和听觉信息的感知和预处理。
本文介绍了一种仿生视听光电探测器 (VAPD)，它基于垂直堆叠的石墨烯-锗 (Gra-Ge) 混合场效应光电晶体管，在执行片上信号预处理功能的同时，有效地融合了视觉和听觉感知。通过栅极电压控制来管理源漏电流和栅极漏电流的相互作用，该器件实现了连续可调的正光电流 (PPC) 和负光电流 (NPC)，其幅度和响应速度彼此相当。这种现象类似于感觉细胞信号采集，并有效地模仿了类似于突触行为的“激发”和“抑制”。至关重要的是，该器件表现出了令人称赞的响应度和运行速度，使其能够熟练地捕捉由声振动触发的光源变化。栅极可编程光响应还扩展了设备的多功能性，不仅可以预处理视觉图像和执行目标识别任务，还可以调节声波的强度。这种巧妙的一体化设备架构设计可以大大简化硬件，为开发智能紧凑型传感器系统提供了另一种有希望的灵感。
图1.biD -photoFET 的设计和机制。
(A ) 人类视觉和听觉系统获取外部信号、传输信号并由神经元处理的过程的简化示意图。( B ) 仿生 VAPD 的概念示意图。VAPD 不仅可以接收外部的视觉和听觉信号，还可以通过栅极电压编程其光响应来预处理和调制信号。( C ) biD-photoFET 的结构和工作原理示意图。左图：( V bg V th)：Gra-Ge 结处于正向偏置（有关 Gra-Ge 结分析，请参阅 S2 部分）。由于I ds和I g的方向一致，因此在光照下， I ds和I g会相互配合产生 PPC。右图：( V bg > V th )：Gra-Ge 结处于反向偏置。过量载流子的激发使光照下 Gra-Ge 结中的耗尽区缩小。由于I ds和I g的方向相反，它们会相互竞争产生NPC，通过改变栅极电压可以控制I ds和I g之间的相互作用，从而实现连续可调的PPC和NPC。
图2. biD-photoFET 的光响应特性。
(A ) biD-photoFET 在黑暗环境中和不同功率密度的 1550 nm 激光下的传输特性曲线。( B ) biD-photoFET 在不同栅极电压下响应周期性切换 1550 nm 激光的I - T曲线。( C和D ) biD-photoFET 在不同栅极电压下的光电流和响应度随光功率密度的变化。( E ) 不同栅极电压下 biD-photoFET 的上升和下降时间以及相应的 3-dB 带宽 ( F )。au，任意单位。( G ) biD-photoFET 的比探测率和噪声等效功率 (NEP) 与黑体温度的关系。( H )黑体温度为 1000 K 时，不同V bg值下 biD-photoFET 的比探测率和响应度。
图3.基于biD-photoFET的视觉信号感知和预处理能力的说明。
(A ) 以biD-photoFET为内核的同时感知与预处理示意图。内核中，浅蓝色单元对应负光响应，红色单元对应正光响应。正负响应度的数值比为8。( B ) 字母T的边缘增强。左：原始二值图像。中：仿真结果。右：实验结果。( C ) 以三种不同操作进行图像预处理的示例。每个白框代表一个biD-photoFET。红色、灰色和蓝色分别代表栅极电压调制下器件的PPC、
