文章链接：https://www.nature.com/articles/s41578-024-00750-6
摘要
视觉是智能机器感知和与环境互动的重要功能。然而，传统的人工视觉系统（AVS）面临诸多限制，包括视场窄、光学畸变、适应性差和效率低下等问题。纳米材料的进步促进了仿生光电技术的发展，这些技术在结构和功能上模仿生物眼睛，开启了人工视觉系统的革新。两种主要的方法推动了AVS的进步：一是仿生设计，复制生物眼睛的优越光学性能，提升视野、成像质量和适应性；二是神经形态光电技术，将处理功能集成于感知端点，从而提高计算和能效。本综述重点介绍基于纳米材料的仿生光电技术，包括新型曲面图像传感器和神经形态设备。文章深入探讨了支撑这些新型AVS的先进纳米材料和创新设计策略，并旨在为推动下一代视觉设备的开发提供宝贵的启示。
主要内容
视觉通常被视为人工智能系统感知和参与环境的主要方式，因为它可以收集各种各样的信息，适应性强并且不需要物理接触。人工智能视觉系统 (AVS) 的进步赋予了它们令人印象深刻的特性，例如高帧速率、高分辨率和广泛的动态范围。这些进步巩固了它们在广泛的人工智能 (AI) 应用中的关键作用，包括自主系统、安全和制造。然而，传统的视觉设备存在一些局限性，其中两个局限性尤为关键。第一个限制是光学像差，它源于镜头产生的光学图像与图像传感器的平面配置之间固有的不匹配，这可能导致捕获的图像出现失真。第二个重要问题是计算冗余。传统设备产生的帧数据量大，但信息量有限。因此，需要多个计算单元进行特征提取和分类，并且需要在单元之间传输信号。因此，传统设备中视觉数据的处理占用了过多的计算资源，导致能耗高且延迟明显。上述挑战使得人们必须重新考虑 AVS 设计，以提高其性能和效率。
进化磨练了各种生物视觉系统，它们在光学成像和信号处理方面都表现出色。对于光学成像，生物眼通过超宽视场 (FoV)、可靠的光谱分辨率和卓越的自适应性实现了像差校正视觉。因此，动物可以准确地捕捉视觉信息。对于信号处理，视网膜神经元可以有效地执行特征增强和提取。这种效率使得动物大脑中的计算资源可以保留下来用于识别和反应等更高级的任务。这些强大的功能在 AVS 中备受追捧。由于纳米材料的进步，人们开发出了各种仿生光电子器件。这些设备在结构或功能上模拟了自然界中复杂的视觉系统，提供了强大的视觉性能并解决了传统成像技术固有的局限性。
在本篇评论中，我们全面研究了基于纳米材料的仿生光电子学及其与 AVS 的集成。我们首先分析了依赖标准图像传感器的传统 AVS，重点介绍了其设计和性能中固有的限制。然后，我们讨论了新方法，例如从仿生眼结构中获取线索的曲面探测器几何形状，以及试图模仿生物系统中的神经处理效率的神经形态光电子学。通过全面概述快速发展的仿生光电子学领域，我们旨在指导未来的研究和开发。本文提供的见解旨在强调 AVS 技术当前面临的挑战，并促进人工智能应用的加速发展（方框1）。
框1 图像传感技术的发展
通过光学获取光信息的时间比图像检测技术的发展早了几个世纪。中国哲学家墨子和希腊哲学家亚里士多德在公元前五世纪首次描述了使用简单针孔结构的基本成像原理。随着玻璃的制造和十六世纪后期复合显微镜的发展，光学技术继续进步。几个世纪以来，光学理论和制造技术的进步导致了由多个元件组成的复杂透镜系统的发展。这些系统旨在校正各种光学像差，大大提高图像的清晰度和保真度。大约二十年前，受动物先进视觉结构的启发，仿生光学系统已显示出更强大的成像功能的潜力。
该图描绘了人工智能技术的历史进程，凸显了人类为记录和保存视觉现实所做的不懈努力。记录场景的能力曾一度局限于绘画领域，其中艺术诠释至关重要。随着约瑟夫·尼塞福尔·尼埃普斯于 1826 年拍摄出第一张照片，以及达盖尔于 1939 年发明了第一台商用相机，这一叙事发生了关键转折。早期的相机利用暗箱和化学反应的原理，在耐用介质上实现高保真度的图像保存。1969 年，博伊尔和史密斯发明的电荷耦合器件 (CCD) 技术的问世，代表了 AVS 的变革时代，它能够将光学信息转换成电子信号，为机器解读视觉数据奠定了基础，这对数字摄影和摄像来说是一个福音。随后，互补金属氧化物半导体（CMOS）传感器的出现，提供了比CCD更多的优势，例如像素内模拟-数字信号转换、与处理单元的兼容性增强、以及更高的能源效率，这些都促进了成像设备的小型化和成本降低，从而推进了人工视觉的能力和应用。
CMOS 和 CCD 图像传感器的出色分辨率归功于硅基微电子制造技术的进步。然而，与生物眼睛中的曲面视网膜不同，这些图像传感器本质上受限于平面几何形状。当与凸玻璃透镜的曲面焦平面交互时，这种限制带来了重大挑战。为了缓解这种不匹配，当前的成像系统采用透镜阵列，旨在将传入图像平坦化在平面传感器表面上。然而，这种解决方法引入了两个值得注意的问题：首先，光学像差不能完全通过透镜系统单独校正，通常需要额外的数字处理才能进行细化；其次，当远离图像中心点时，这种像差会变得越来越严重，从而限制了可以有效捕捉的视野。此外，透镜组件的复杂性不仅增加了制造成本，而且还限制了成像设备的小型化，而小型化是紧凑型和便携式电子产品发展的关键因素。
当前的视觉信号处理依赖于单独的专用单元。通常，图像传感器配有图像信号处理器，用于执行初始信号预处理任务，包括光学像差校正、对比度增强和噪声过滤。除了重建高保真图像之外，当代计算机视觉技术还使机器具备理解和响应视觉信号的能力。这些系统通常依赖于特征提取和分类功能，这些功能在相机外部的处理单元上执行。处理大量基于帧的数据，以及不同单元之间多余的信号通信，会导致计算效率和能源效率降低。这种低效率对需要实时理解和与周围环境交互的人工视觉任务提出了挑战。
义眼设计
新型纳米材料的出现促进了仿生光电子学的发展，大大提高了视觉传感器的性能。自然界中发现的极其高效的生物视觉系统启发了两项显著的创新：基于曲面图像传感器的设备和神经形态光电子学
。
曲面图像传感器模拟了动物视网膜的有效曲率，在校正光学像差方面表现出了巨大的潜力。这种仿生眼装置可以用更简单的镜头组件实现超宽视场，从而为更紧凑的装置和更高性能铺平道路。然而，大多数图像传感器都是由刚性硅制成的，制造曲面图像传感器仍然具有挑战性。在成熟的微加工技术的基础上，可以利用创新的纳米材料和制造策略来制造曲面图像传感器。
生物和仿生眼睛
在生物视觉系统领域，单腔眼和复眼均表现出不同的结构和功能特征，以满足生物的特定需求 （补充表1 和 2）。 单腔眼常见于包括人类在内的脊椎动物，其特点是设计简单而有效，由一个光学室组成。关键部件包括一个凸透镜，它将光线直接聚焦在眼睛后部的感光视网膜上（图1a ）。这种设置可以实现高分辨率和敏锐的视觉，这对于对外部环境的细节感知至关重要。视网膜处理视觉信息的能力使人能够实现复杂的功能，如彩色视觉、深度感知和弱光视觉。具体来说，角膜是眼睛的主要光线弯曲（折射）介质，将光线聚焦在晶状体上。虹膜和瞳孔相互配合，调节到达视网膜的光量。此外，晶状体可以改变形状，聚焦在不同距离的物体上。玻璃体有助于保持眼睛的形状。凹面视网膜由数百万个感光细胞组成，可检测光线并将其转换为电化学信号，其中视杆细胞和视锥细胞分别负责暗视和明视。视神经将视觉信息从视网膜传输到大脑。
图 1：生物和人工单腔和复眼的结构和配置。a、带有视网膜单元的人眼。b、典型的复眼结构（左），其中每个小眼（右）都是一个圆柱形单元，可作为独立的光感受器发挥作用。c、模仿人眼的人工电化学视觉系统的详细结构。d、人工复眼的分解图。PDMS，聚二甲基硅氧烷。
与单腔眼不同，复眼通常存在于节肢动物中，例如昆虫和甲壳类动物。复眼由数百到数千个小而独立的感光单位（称为小眼）组成。在复眼中，每个 小眼都是一个圆柱形单位，可作为独立的感光器（图 1b）。具体而言，每个小眼最外层的凸角膜晶状体有助于将光线聚焦到小眼深处的感光细胞上。位于角膜晶状体正下方的晶锥进一步折射并将光线聚焦到感光细胞上。具有中央视杆和杆状结构的感光细胞可以吸收光并将其转换为电化学信号。围绕每个小眼的色素细胞将每个小眼与相邻小眼隔离，以减少光干扰并提高图像的分辨率。由于小眼呈球形布局，复眼为昆虫提供了极宽的视野。眼睛的分段特性使昆虫能够探测到哪怕是微小的运动，例如多个小眼上光线模式的变化。然而，每个小眼只能捕捉到视野的一小部分，因此整体图像是这些微小快照的拼接。
此外，一些昆虫有复眼，可以检测偏振光并适应不同的光照条件，使它们适合于复杂的环境。对于信号处理，单眼具有分层的视网膜，其中有用于不同功能的专门神经元，而复眼由多个小眼组成，每个小眼都是一个独立的视觉单元，视叶中具有更分散的处理系统（补充表 3）。总体而言，单腔眼在提供详细和集中的视觉方面表现出色，使其成为涉及精确度和深度的活动的理想选择。相比之下，复眼提供了全景世界视图，擅长检测运动和快速导航。
受这些自然设计奇迹的启发，人们开发出了两种典型的 AVS，它们在结构和功能上与生物 AVS 高度相似（图1c 、d）。与人眼一样，电化学眼（EC-Eye）包括一个玻璃镜片，可将入射光聚焦在半球形纳米线视网膜上。EC-Eye 的半球形视网膜与人类视网膜的自然形状非常相似（图
1c）。人工视网膜由高密度钙钛矿纳米线阵列组成，这些纳米线采用气相沉积技术在半球形多孔氧化铝膜上策略性地生长。纳米线作为光感受器发挥作用，类似于人眼中的视杆细胞和视锥细胞，将光学图像转换为电信号。视网膜的半球形设计有助于补偿光学像差，从而提供宽视野和高分辨率成像能力。为了模仿人眼的连接性和流动性，EC-Eye 使用钨涂层铝壳中的离子液体电解质作为纳米线的正面公共触点，而液态金属线则用作背面触点，分别复制人眼中的玻璃体和神经纤维。离子液体促进电荷转移，液态金属线将纳米线的电信号传输到外部处理系统，从而实现对每个光电探测器信号的单独寻址和处理。先进材料和创新结构设计的集成使 EC-Eye 能够实现与人眼非常相似的功能，并有望在未来的发展中实现更高的分辨率和更复杂的图像处理。
类似于昆虫的复眼，利用节肢动物眼睛独特光学特性的数码相机也经过了纳米工程设计。凸形弹性微透镜阵列充当角膜晶状体系统，将光线聚焦在光电二极管上，模仿生物视觉系统中光线聚焦在感光细胞上的方式（图 1d）。光电检测子系统包括以网状结构排列的薄硅光电二极管和阻塞二极管，可实现矩阵寻址。光电二极管充当 节肢动物小眼中的视杆细胞，负责光电检测。对齐确保每个光电二极管从其相应的微透镜接收聚焦光，从而实现图像捕获。金属走线的蛇形结构使整个阵列可以拉伸和变形，而不会失去电连接或损坏组件。微透镜阵列与光电检测子系统集成后，接着进行液压驱动过程，将最初的平面结构转变为半球形，这对于复制复眼的宽视野和其他光学特性至关重要。此外，黑色硅树脂模仿了天然小眼中的屏蔽色素，可防止一个小眼发出的光干扰其他小眼，从而增强图像的清晰度和对比度。总体而言，这些复制自然视觉系统的仿生方法可实现紧凑、大视野和多功能相机，可用于智能监控、先进机器人和复杂的视觉假体。
仿生光学
纳米材料和纳米工程中的仿生策略正在改变 AVS 中的光学管理领域。这些先进的方法包括消除光学像差、增强光学滤波和集成自适应光学。通过模仿自然界中观察到的复杂光学功能，这些系统在处理和控制光方面实现了卓越的性能。
光学像差是成像过程中的缺陷，会导致图像偏离理想状态。典型的像差包括球面像差、彗形像差、散光、场曲、扭曲和色差。可以使用受生物光学系统启发的策略来减轻场曲、球面像差和色差等像差。场曲的发生是因为晶状体形成的图像是弯曲的而不是平面的。生物视觉系统中视网膜的自然曲率有助于抵消或消除场曲的影响。
球面像差是指光线通过透镜聚焦在不同点，这取决于它们与光轴的距离，从而导致图像模糊（图 2a）。这个问题在折射率均匀的透镜中很常见。虽然可以使用非球面透镜来缓解这个问题，但这种策略会加剧场曲，并需要将其光轴与光学系统中的其他元件精确对准，以确保最佳性能并最大限度地减少像差。受到十足目鱿鱼无球面像差眼睛的启发（图 2b），梯度折射率（GRIN）材料具有随位置逐渐变化的折射率，可以巧妙地设计和制造以消除光学系统中的球面像差 。原则上，它们允许穿过镜片不同部分的光线会聚在一个焦点上。事实上，渐变折射率镜片常见于许多动物的眼睛，甚至人类的眼睛中，有助于更好地聚焦和减少失真。GRIN 透镜非常适用于对精度和清晰度有较高要求的复杂光学设备，如显微镜、相机和 AVS。
图 2：典型的光学像差、光学滤波器及其仿生消除策略。a，球面像差的起点和校准。b，十足目鱿鱼眼的梯度折射率解剖结构和相应的晶状体。c，色差的起点和校准。d，带有纳米柱和巴比涅结构（用于分析衍射图案的互补结构）的制造的消色差超透镜的光学图像。透镜和结构的比例尺分别为：10 μm 和 500 nm。e，明场下的鸟类眼睛视网膜（左图）和中央凹的放大图（右图）。油滴标签如下：R，对长波长敏感的单锥细胞的红色油滴；Y，对中波长敏感的单锥细胞的黄色油滴；C，对短波长敏感的单锥细胞的淡蓝色油滴；T，对紫外线敏感的单锥细胞的无色油滴，以圆圈表示；P，在双锥对的主要成员中发现的主要油滴。f ，用于彩色成像的传统拜耳滤镜。g ，螳螂虾的眼睛，负责圆偏振光 (CPL) 检测。左图显示复眼中带的纵向横截面。右图显示沿纵向横截面虚线的 R8（可以检测紫外线和 CPL 的专门光感受器）和 R1–R7（可以检测可见光和线性偏振光的主要光感受器）细胞的横截面。h ，类似小眼的双层超材料设计，其中介电超表面表现为人造 R8 细胞，纳米光栅表现为 R1–R7 微绒毛，可区分垂直于或平行于微绒毛轴的线性偏振。LCP，左手 CPL；LP，线性偏振器；QWP，四分之一波片；RCP，右手 CPL。
当透镜对不同波长的光具有不同的折射率时，就会出现色差（图 2c）。因此，透镜无法将所有颜色聚焦到同一个会聚点，导致边缘显得模糊或在物体周围产生彩色条纹，尤其是在高对比度的情况下。超透镜是使用纳米结构聚焦光线的平面透镜，可以消除可见光谱内视觉系统中的色差。典型的消色差超透镜使用基于氮化镓 (GaN) 的集成谐振单元元件（图2d ） ，并在很宽的可见波长范围内（400 至660 nm）具有恒定的焦距。使用这种设计，可以完全消除色差，平均透镜效率约为 40%（更高效的透镜可以让更多的光线通过，而损失最小）。使用超透镜可实现全彩色成像，避免因不同波长的折射率不同而导致的色彩失真，而这是传统透镜的常见限制。因此，可以通过仿生设计和纳米工程减轻光学像差。
光学滤光片在视觉系统中起着至关重要的作用，可实现选择性光传输、图像质量增强和眩光减少。在生物视觉系统中，鸟类在视网膜的光感受器附近有独特的油滴（图 2e）。每个油滴都带有特定的类胡萝卜素，可以吸收特定波长的光。这种选择性吸收会使检测到的光的光谱更加清晰，从而增强色彩辨别和深度知觉。此外，这些油滴的过滤作用可保护鸟类的眼睛免受紫外线伤害并减少色差。油滴还能增强雾天、有雾或水下环境中的对比度，这对于狩猎或导航至关重要。油滴增强鸟类色彩敏感度和图像清晰度的方式启发了现代数字图像传感器中彩色滤光片的设计。此外，视网膜上光感受器的空间分布对生物视觉系统也至关重要，尤其是在鸟类的眼睛中（图
2e）。视网膜上的一个小凹陷——中央凹，负责清晰的中央视觉。与视网膜的其他区域不同，中央凹不包含视杆细胞，但包含非常密集的视锥细胞。这种特殊性使中央凹在日光视觉和颜色辨别方面非常高效，尤其是对鹰而言。传统图像传感器使用由红、绿和蓝滤光片组成的拜耳滤光片马赛克来实现彩色视觉（图 2f）。受鸟类视觉的启发，可以进一步探索新颖的滤光片排列和材料，以模仿油滴的选择性吸收和波长特异性，从而提高色彩准确度、动态范围更大并改善弱光性能。各种动物使用多个光感受器而不是滤光片来直接检测不同的颜色。例如，人眼有三种类型的视锥细胞（L 视锥细胞用于长波长、M 视锥细胞用于中波长和 S 视锥细胞用于短波长），它们的光谱敏感度曲线重叠。大脑处理这些视锥细胞的相对激活以感知不同的颜色，这可以启发更智能的彩色成像光学设计。
此外，偏振滤光片可以减少反射表面的眩光，从而提高可见度并减少明亮反射环境中的眼睛疲劳。许多动物都有自己的偏振滤光片。例如，乌贼等海洋动物对偏振很敏感，偏振可用于增强对比度并检测可能被伪装的猎物或捕食者。蜜蜂等昆虫利用天空中的偏振模式导航回蜂巢并解读太阳的位置。再比如，螳螂虾的眼睛分为三个部分，中间部分特别用于偏振检测。该中间部分内的某些行光感受器配备了特殊的 微绒毛结构，这些微绒毛以螺旋状排列（图 2g）。这些螺旋微绒毛充当天然的四分之一波片，可以将圆偏振光 (CPL) 转换为线偏振光 (LPL)。例如，螳螂虾可以通过利用相互正交的微绒毛结构（用于检测下层的 LPL）检测和区分右旋和左旋圆偏振。螳螂虾眼睛的生物结构被用作检测近红外波长偏振光的灵感。整个光学系统包含一个低损耗电介质超表面、一个氧化物间隔层和一个双层结构的纳米线偏振器（图 2h）。超表面能够以高效率（接近 80%）和高达 35 的最大消光比选择性传输 CPL，表明它能够有效区分和传输特定偏振态的光。受生物眼睛启发的光学滤波器不仅突破了光学器件性能的界限，而且通过模仿大自然自身对复杂视觉任务的解决方案提供了一种可持续的方法。
自适应光学系统会根据周围环境的光线条件动态调整以校正光学像差并调整光量，从而大大提高所捕获图像的质量。在人眼中，睫状肌控制着晶状体的形状，使眼睛能够将光线聚焦在视网膜上，从而在各种距离下都能看清楚（图 3a）。具体来说，当看远处物体时，睫状肌会放松。这种放松会增加小带纤维（连接睫状肌和晶状体的细纤维束）的张力，将晶状体拉成更平坦的形状。更平坦的晶状体会降低光学功率，而光学功率是聚焦远处物体所必需的，反之亦然。受这种自适应开关的启发，人们开发出了可调焦距的透镜。例如，基于电润湿的可变焦液体透镜使用电场来操纵液体的形状和曲率。液体透镜单元包含两种不混溶液体：非导电油和水溶液，两者之间由界面隔开（图 3b）。通过在两种液体的界面上施加电压，可以在几十毫秒内调整透镜的曲率，从而调整焦距。增加电压会进一步增加液体透镜的曲率和光学功率。此外，由于透镜中的两种液体具有相同的密度，因此该系统具有抗振动和冲击的能力。然而，由于可变焦液体透镜体积小，因此使用起来具有挑战性，这使得它们与现有光学系统的集成变得复杂。它们非常适合完全融入新的光学设计中，其中它们的紧凑尺寸不会构成限制。除了液体单元之外，带有液体或气体单元的聚二甲基硅氧烷 (PDMS) 膜也可以用作具有类似原理的可调焦透镜。
图 3：生物视觉系统和仿生设计中的自适应光学系统。a、睫状肌放松或收缩，分别对小带纤维施加张力或放松。晶状体变平或变厚，以便于在视网膜上调节远处或近处物体的图像。b、可变焦液体透镜技术。c、在电压关闭（顶部）和电压打开（底部）状态下具有不均匀单元间隙的液晶透镜的工作原理和结构。d、来自猫科动物和乌贼瞳孔的自适应光学元件。e、在强光和弱光下处于闭合和打开状态的光驱动虹膜。f、在不同电压下光通过电极孔的传输。ITO，氧化铟锡。
与形状和曲率调节不同，液晶透镜还可通过操纵液晶分子的取向来控制焦距。液晶透镜由夹在两个涂有取向层的透明电极之间的薄液晶材料层组成（图 3c）。当在电极上施加电压时，电场会改变液晶分子的取向。在没有电场的情况下，分子根据取向层排列，通常为平面或扭曲结构。当这些分子的取向发生变化时，整个透镜的有效折射率会发生变化，从而动态调整透镜的焦距。这种变化使透镜能够根据施加的电压以不同的方式聚焦光线，使其能够充当可调焦距透镜。此外，液晶透镜可以快速改变焦点，并且只需要非常低的功率即可维持特定状态，从而使其在AVS中具有潜在的应用。
生物眼睛已经进化到可以有效适应不同的光照条件，确保在明亮和昏暗的环境中都有最佳视觉（图 3d）。例如，在明亮的条件下，猫科动物的瞳孔会缩小成小缝，这不仅可以减少进入眼睛的光量以防止过度刺激，还可以保护光感受器并保持清晰的视力。在昏暗的条件下，它们的瞳孔会扩大以最大限度地捕捉光线，增强它们在黑暗中的视力。同样，乌贼的眼睛具有独特的 W 形瞳孔，通过在白天平衡垂直梯度上的光强度实现高对比度视觉。这种 W 形瞳孔设计有效地减少了从视野顶部进入的光量，使乌贼能够熟练地应对从水平到垂直方向的光线变化。此外，人类通过扩张和收缩瞳孔来适应不同的光照条件。
受这些生物策略的启发，人们开发出了一种类似虹膜的液晶弹性体装置，它可以通过对入射光功率密度做出反应来自动调整形状。该装置在暗光下打开，但在光强度增加时关闭。达到最小瞳孔尺寸后，光透射率会降低七倍（图 3e）。除了弹性体之外，由扭曲向列液晶和孔图案电极制成的液晶单元可以充当人造虹膜。施加电压时，孔边缘的液晶分子首先开始解开（图 3f）。随着电压的增加，液晶指向矢的这种解开会继续向中心移动。当扭曲向列液晶放置在两个偏振器之间时，它会表现出类似虹膜的行为，但与液体虹膜不同，液晶虹膜的光圈可以完全关闭。该装置具有很大的光圈直径变化性、良好的稳定性和低功耗。
此外，设备内暗视、明视和光谱适应方面的进步为自适应光学提供了有效且低功耗的策略。尽管人们为制造自适应光学系统做出了许多努力，但仍然存在限制和挑战。这些挑战包括装置的庞大和光学响应不一致，这使得自适应光学系统难以与曲面图像传感器集成。未来，软电子和微机械方面的进步可以激发实现更灵活、更智能的光学系统，以调节光线并与底层图像传感器更好地配合。
用于曲面图像传感器的纳米材料
曲面图像传感器和光电探测器是 AVS 的核心部件，它们与视网膜的半球形形状非常相似。不同维度的纳米材料已用于曲面图像传感器。
0D纳米材料
零维 (0D) 纳米材料是纳米级物质，其中所有三个维度都限制在纳米尺度，通常小于 100 纳米（图 4a）。这种限制使它们具有点状、颗粒状形态，从而导致大的表面积与体积比和量子限制效应，与块体材料相比，这显著改变了它们的电子、光学和化学性质。其中，量子点 (QD) 因量子限制而具有出色的量子效率和可调带隙。这种独特的特性使它们能够有效地吸收和响应不同波长的光。例如，设计了一种尺寸混合的 QD 层，以提高光电探测器中的可见颜色辨别和像素分辨率。该层由受控比例的 CdSe 和 CdS QD 组成，它们具有三种不同的光学带隙，代表红色 (R)、绿色 (G) 和蓝色 (B)，混合在一个像素中。该设计模拟了人类视网膜中的视锥细胞并支持多光谱成像（图 4b）。可以通过用短金属硫属化物替换长链配体来进一步设计QD，从而改善QD之间的电子耦合并促进薄膜晶体管器件中的载流子传输。利用这种策略，基于7×7像素化薄膜晶体管矩阵阵列的生物启发式人工系统可以在没有任何光学滤光片的情况下进行彩色图像识别。此外，颜色敏感、形状可调的光电晶体管阵列可以实现平面和曲线形式的投射RGB光图案的精确成像。该光电晶体管阵列是使用本质上可拉伸的基于QD的半导体纳米复合材料构建的，该复合材料由有机半导体聚合物、尺寸可调的CdSe-ZnS核壳QD和弹性体基质75组成（图 4c）。具体而言，由于表面能不匹配，QD在混合层中形成独特的分布，增强了电荷转移并提高了器件的感光性。
图 4：用于曲面图像传感器的多维纳米材料。a、0D 纳米材料的示例。b、基于量子点 (QD) 的光电晶体管，用于可识别颜色的人类视觉系统。c、使用本质上可拉伸的基于QD的半导体纳米复合材料 (isQDSN) 作为光吸收层的可拉伸和可弯曲光电晶体管阵列。d 、 1D 纳米材料的示例。e 、用作人类视网膜中的人工光感受器的Au -TiO2纳米线阵列。右侧面板显示 TiO2纳米线 (绿色圆柱体)上的 Au 纳米颗粒 (粉色球体)。f 、用作人类和昆虫视网膜中凹凸图像传感器的人工光感受器的钙钛矿纳米线阵列。g 、 2D 纳米材料的示例。h 、用于曲面图像传感器的基于 MoS2 -石墨烯 (GP) 的光电晶体管。i、用于凹面图像传感器的基于 MoS2 –pV3D3 的光电晶体管。j 、3D 纳米材料的示例。k 、用于半球形图像传感器的预转换硅二极管阵列。l 、用于凹面和凸面图像传感器的保形加法印章印刷剪纸硅二极管阵列。m 、基于机械转换的有机光电晶体管的半球形图像传感器。a-IGZO，非晶态氧化铟镓锌；b，蓝色；g，绿色；r，红色。
零维纳米材料用于曲面光电探测器具有高灵敏度、可调光学特性和曲面有效集成等优势。然而，化学不稳定性、潜在毒性和生产工艺复杂等挑战限制了其商业潜力。
一维纳米材料
一维 (1D) 纳米材料是纳米级材料，其一个维度明显大于其他两个维度，通常延伸到微米或毫米级，而其他两个维度则限制在 100 纳米以下。一维纳米材料包括纳米管、纳米棒和纳米线 (图 4d )。由于它们具有增强的电子迁移率和高纵横比，它们可以模拟生物视网膜中的光感受器。例如，垂直取向的 Au-TiO2纳米线阵列可以作为人工光感受器来吸收光并产生光电压并触发接口神经元中的脉冲活动，恢复光感受器退化的视网膜中的光响应 (图4e )。Au-TiO2纳米线阵列可以在平面 FTO 基板或柔性聚合物基板上生长，密度约为 109 cm− 2。然而，基底不能形成很大的曲率，从而限制了其进一步集成及其作为紧凑型曲面成像仪的应用。在半球形多孔氧化铝模板中制备了高密度（~5×108 cm −2 ）感光钙钛矿纳米线，以在结构和功能上模拟视网膜（图4f）。这些高密度纳米线用于制备凹凸图像传感器，进一步集成以实现仿生单腔眼和复眼。
一维纳米材料可以作为有效的感光单元，具有致密均匀的覆盖范围。特别是半球形纳米线，可以在非平面基板上制造高集成密度的光电器件，这对实用化AVS的发展很有前景。然而，未来的努力应该致力于提高纳米线的操作稳定性和生物相容性，以满足实际生活的需求。
二维纳米材料
二维 (2D) 纳米材料具有原子级或分子级厚度，通常在几纳米或更小的数量级，而它们的另外两个维度可以延伸到几个微米。二维纳米材料具有片状平面结构，包括石墨烯、过渡金属二硫属化物（如 MoS2）、六方氮化硼和黑磷（图 4g）。石墨烯和 MoS2尤其具有出色的电导率和高断裂应变。它们可以轻松贴合曲面，非常适合集成到非平面设备中。例如，制造了一个弯曲的 MoS2-石墨烯光电探测器阵列（图 4h）。由于 MoS2-石墨烯层的厚度超薄并且与相邻层的接触良好，因此曲面光电探测器阵列具有较低的诱导应变。此外，通过利用截角二十面体设计，可以实现几乎完全覆盖半球形表面。同样，由 MoS2和有机 PV3D3 异质结构制成的曲面图像传感器已通过转印直接应用于半球形基板，表现出光突触行为（图 4i）。
总体而言，基于超薄二维材料的光电探测器有望成为 AVS 的候选材料。然而，二维材料的制造工艺复杂，限制了其应用。此外，二维材料光电探测器在实际场景中机械不稳定，像素数量有限，从而限制了其空间分辨率。
3D纳米材料
三维 (3D) 纳米材料具有三个超出纳米级的维度，通常大于 100 纳米 (图 4j )。三维纳米材料包括多晶体、有机或无机薄膜和气凝胶。3D 几何结构对于制造高性能曲面图像传感器特别通用。可以使用两种主要策略。在一种策略中，首先制造基于 3D 材料的光电探测器单元，然后将其附着在弯曲的表面上以实现曲面成像器。还可以利用蒸发和喷涂工艺来制造基于固有弯曲基板的非平面图像传感器。在另一种策略中，首先构造薄膜图像传感器，然后使用机械变形、折纸和剪纸将其弯曲。
作为前一种策略的示例，使用光刻技术制作硅薄膜光电二极管阵列，然后将其转移到预变形的PDMS基底上（图 4k
）。释放后，整个装置变为半球形。作为后一种策略的示例，首先通过微加工制作独立的平面硅薄膜像素阵列，然后使用保形加成印章打印直接转移。在打印过程中，使用保形气球印章拾取预制的剪纸成像器并将其转移到凹凸面（图 4l）。类似地，首先在硅晶片上制作有机并五苯光电晶体管阵列，然后通过等离子键合将其剥离并转移到预拉伸的弹性体层上（图 4m）。释放应变后，整个装置恢复到其原来的半球形状。
三维纳米材料在集成到曲面图像传感器方面具有巨大潜力。然而，由于其变形时的不稳定性以及像素数量有限，其应用受到限制。此外，成像像素之间有大量未使用的空间，这对于缓解应力是必要的，但会降低有效像素密度和成像效率。例如，直接变形为半球形会产生很大的残余应力，这会带来操作过程中机械不稳定的风险。堆叠感光层是增加像素密度的有效方法。据报道，该策略已用于平面图像传感器，并且应该可以很好地应用于曲面图像传感器。
用于人工视觉的神经形态光电子学
在自然界中，高效的视觉信号处理（包括 视网膜特征提取和基于大脑的识别）能够实现快速反应，从而有力地支持动物的生存。为了模仿这些节能的神经处理功能，已经开发出集成传感和信号处理的神经形态光电子器件，以实现节能和实时操作。与通常具有复杂电路和多个处理单元的硅基器件相比，使用纳米材料可以大大简化器件结构并提高效率。
AVS 更宽的 FoV 和高分辨率功能使得对广阔场景的详细监控成为可能。然而，由于要处理的数据量巨大，这些进步的代价是计算负荷的增加。与在传感和处理之间划出明确区分的传统架构不同，仿生光电子学集成了这些功能，允许在感觉层面进行设备内数据处理（图5a）。设备内数据处理的灵感来自于在动物身上观察到的高效神经元边缘计算（动物视觉系统中不同神经元的功能详见补充表 3 ）。这种传感和处理的融合有几个好处：它减少了不必要的信号传输，便于在数字转换阶段之前进行模拟预处理，并减轻了中央处理单元的负担。因此，这些系统经过优化，可实现快速、准确的信号采集，同时将延迟降到最低并降低能耗。
图 5：基于纳米材料的神经形态光电子学。a、传统和神经形态人工视觉系统。b 、神经形态光电子学的典型材料类别。c –f 、神经形态光电子学的典型机制：导电丝的形成（c部分）、异质结构中的界面电荷捕获（d部分）、三端器件中的持久光电导性（e部分）和光子调制电化学掺杂（f部分）。ADC，模数转换器。
TS：删除 (CT)与其他神经形态硬件相比，神经形态光电子学专门处理光信号并持续处理实时任务。在这种情况下，突触可塑性会导致光反应的增强或减弱，理想情况下，突触可塑性是由光而不是电刺激来调节的，而较长的保留时间则不那么重要。此外，神经形态光电子学可以进一步降低能耗，并可能实现自供电能力，因为它们可以直接从光输入中获取能量。
不同的材料和设备策略是神经形态光电子学的基础；它们的设计方式可以增强各种应用的视觉信号处理。
用于神经形态光电子学的纳米材料
突触可塑性是神经形态视觉系统的一个基本要素。与仅仅重建输入光强度的传统光电探测器不同，突触装置中的光电流受光刺激的幅度和频率的影响。这种响应允许结合短期和长期可塑性，从而模拟在动物神经元中观察到的突触强度。这些特性使仿生光电子学能够支持学习、记忆和识别等高级功能。纳米材料的进步为神经形态光电子学的发展和普及奠定了坚实的基础。理想的纳米材料候选物应该具有出色的光敏感性和突触可塑性。包括硅、氧化物、硫化物、钙钛矿、二维材料和有机材料在内的各种材料类别都有望用于构建神经形态光电子学（图 5b）。
目前，大多数商用神经形态设备都是基于硅的，其计算功能通过各种神经形态电路实现，这些电路可以使用成熟的微电子制造技术大规模制造。然而，电路设计的复杂性会限制计算性能并导致高能耗。纳米材料可以将复杂的功能集成到简化的设备结构中，为下一代神经形态硬件的开发带来了希望。
金属氧化物和硫化物最初是为成像应用而开发的，因为它们具有跨多个时间尺度的可调电阻，这依赖于离子和空位的迁移。这些设备中的电导变化基于导电细丝的形成，通常会导致更长的保留时间。然而，制造高质量的薄膜通常需要高温工艺。此外，这些材料通常具有宽能带隙，使它们对紫外光比对可见光更敏感。
二维材料也因其可调的结构和电学特性而前景光明。尽管它们不会形成导电丝，但它们可以进行相位设计——例如利用少层 MoS2中的 2H–1T′ 相变或 MoTe2中的2H–Td相变——以表现出优异的载流子存储特性。尽管如此，大规模制造和稳定性等挑战仍然是这些设备面临的重大障碍。
钙钛矿因其出色的光吸收和可调带隙而广受光电器件和神经形态视觉系统的欢迎，这对宽光谱检测非常有利。钙钛矿既可以形成导电细丝，又可以设计异质结构，从而拓宽了其应用潜力。钙钛矿可以使用低温、低成本的溶液工艺制造。然而，稳定性仍然是用这种材料制成的器件面临的主要挑战。
有机半导体具有独特的优势，具有灵活性和可拉伸性，是可穿戴应用的理想选择。它们可以在溶液中加工，有利于低成本、大面积制造和适应各种基材。此外，它们具有出色的生物相容性，非常适合用于生物医学应用。
通常，器件的电阻会响应光刺激而逐渐变化，从而产生突触功能。通过缺陷或离子物质的迁移形成导电细丝是构建两端神经形态器件的常用方法（图5c ）。同时，对于聚合物材料，聚合物与电解质之间的氧化还原反应也能引起电导的逐渐变化。利用光传感材料中电导的逐渐变化，可以制备结构简化的两端器件。此外，利用界面电荷捕获机制的具有载流子存储效应的异质结构是开发两端神经形态光电子学的另一种可靠方法（图5d）。
对于三端器件，浮栅层中的载流子存储可导致沟道电导率的非线性变化（图 5e）。这种载流子的捕获可产生持久的光电导性，从而实现栅极可调的神经形态光响应，在神经形态计算、智能机器人和自动驾驶等各种应用领域具有巨大潜力。由于突触可塑性的调制是通过界面而不是材料处的载流子积累来实现的，因此界面工程消除了光传感材料中初始突触可塑性的要求，因此用途更加广泛。三端器件可以利用的另一种机制是光子调制电化学掺杂，其中光操纵离子插入光活性层，引起突触光响应（图 5f）。
基于上述纳米材料和新颖的仿生设计，神经形态光电子技术已经得到开发，可以执行有效的处理功能。
设备内静态光学信息处理
静态模式代表环境的不变特征，是一种可靠且一致的框架，可帮助 AVS 了解周围环境。获得高精度和清晰的图像对于有效的模式识别和分类至关重要。在传感器层面，传统的互补金属氧化物半导体图像传感器通常与图像信号处理器配对，以执行降噪、像差校正和色彩校正等特征增强任务。这种处理方法大大提高了系统效率，为现代机器视觉应用奠定了坚实的基础。神经形态光电子技术的出现，以其传感器内的计算能力为傲，也可以进一步提高系统效率。这一进步可以实现实时信号处理，同时大幅降低甚至可忽略不计的能耗。
静态模式识别的第一步是从场景中准确提取特征。由于图像通常包含复杂的物体和背景，特征提取具有挑战性。当使用纳米材料时，电荷积累使突触权重在光刺激下得到增强 。该过程对于整合输入信号至关重要，这是特征增强的基础。通常，具有更多突触权重状态的器件更适合在像素级增强特征。另一个关键方面是分辨率，因为更高的分辨率可以更精确地区分特征。诸如双端氧化物器件之类的器件通过形成导电丝来促进多种电阻状态，并且其简化的结构有利于将其集成到阵列中。同时，基于二维材料的三端结构可以帮助抑制阵列中像素之间的串扰，从而提高准确性。此外，钙钛矿由于其可调的带隙和出色的光吸收特性而显示出区分颜色的潜力，可以检测更细微的信息并优化特征检测。
通常，视觉信号预处理依赖于相对较长时间或多次曝光，在此期间可以增强目标模式的对比度、锐化边缘并降低随机噪声（图 6a、b）。因此，可以轻松地从场景中提取特征，从而使后续基于人工神经元网络 (ANN) 的分类或识别过程能够在更少的周期内更有效、更准确地运行。此外，神经形态光电子学的长期可塑性使得能够通过预训练提取特征。在训练过程中（通常涉及反复接触目标特征），构成目标的像素的突触权重会得到加强
