北京理工大学，Nature！

特别说明：本文由米测技术中心原创撰写，旨在分享相关科研知识。因学识有限，难免有所疏漏和错误，请读者批判性阅读，也恳请大方之家批评指正。

原创丨米测MeLab

编辑丨风云

研究背景

高光谱成像可以捕获物理世界的空间、时间和光谱信息，描述每个位置的固有光学特性。与多光谱成像相比，高光谱成像可获得大量波长通道，并且与光谱法相比具有更优越的空间映射能力。这些高维信息可以精确区分颜色相似的不同材料，以更高的光谱分辨率和更宽的光谱范围实现比人类视觉更智能的检查。凭借这些优势，高光谱成像已广泛应用于遥感、机器视觉、农业分析、医学诊断和科学监测等各个领域。

关键问题

然而，高光谱成像的研究主要存在以下问题：

1、现有的高光谱成像系统存在体积、重量和成本问题

现有的高光谱成像系统通常需要使用单个光学元件和机械部件进行扫描，这导致系统体积大、重量重、成本高，并且操作费时。这些问题限制了高光谱成像技术的广泛应用，尤其是在需要轻便和低成本解决方案的场合。

2、高光谱成像存在空间和光谱分辨率之间的权衡    

引入更多的窄带滤光片虽然可以扩展成像传感器的光谱范围，但同时也会导致光吞吐量的浪费，并且可能降低空间分辨率。此外，现有的单片技术大多数覆盖的光谱范围较窄，光吞吐量低，且存在空间和光谱分辨率之间的固有权衡问题。   

新思路

有鉴于此，北京理工大学边丽蘅、张军等人报告了一种具有高空间和时间分辨率的单片计算高光谱成像框架。通过在图像传感器芯片上集成不同的宽带调制材料，目标光谱信息以非均匀的方式内在地耦合到每个像素，具有高光通量。使用智能重建算法，可以从每帧中恢复多通道图像，实现实时高光谱成像。按照这个框架，作者使用光刻技术制作了一个宽带可见光-近红外（400-1,700nm）高光谱图像传感器，平均光通量为 74.8%，有 96 个波长通道。展示的分辨率为 1024×1024 像素，帧率为 124 fps。作者展示了它的广泛应用，包括智能农业的叶绿素和糖分定量、人体健康的血氧和水质监测、工业自动化的纺织品分类和苹果瘀伤检测以及天文学的远程月球探测。集成的高光谱图像传感器重量仅为几十克，可组装在各种资源有限的平台上或配备现成的光学系统。该技术将高维成像的挑战从高成本制造和笨重的系统转变为可通过单片压缩和敏捷计算解决的系统。    

技术方案：

1、概述了HyperspecI工作原理

本工作开发的HyperspecI 传感器集成了BMSFA掩模和宽带单色图像传感器芯片，利用SRNet神经网络高效重建高光谱图像。

2、验证了HyperspecI传感器的定量和定性性能

HyperspecI 传感器经实验验证，具有高光谱和空间分辨率，与商用光谱仪数据匹配，光通量高，低光照下表现优异，能实时动态成像。

3、展示了Hyperspecl传感器在多领域的实际应用

作者展示了 HyperspecI 传感器在智能农业监测和实时人体健康监测中的广泛应用，验证了 HyperspecI 技术的多功能性、灵活性和稳健性。

技术优势：

1、开发了使用光刻技术的宽带多光谱滤波器阵列 (BMSFA) 的制造技术

作者所报道的HyperspecI 传感器采用了BMSFA制造技术。BMSFA 由不同空间位置的不同宽带光谱调制材料组成，可以在整个宽光谱范围内调制入射光，从而产生更高的光吞吐量，有利于低光和长距离成像应用。    

2、展示了所开发创拿起在多个领域的实际应用能力

作者做了两个可见光-近红外高光谱图像传感器，并在智能农业的土壤植物分析开发、可溶性固体含量评估、人类健康的血氧和水质监测、工业自动化的纺织品分类和苹果瘀伤检测以及用于天文学的远程月球探测展示了HyperspecI 技术的高信噪比 (SNR)、高分辨率、超宽带和动态高光谱成像能力。

技术细节

HyperspecI原理

HyperspecI传感器由宽带多光谱滤波器阵列（BMSFA）和宽带单色图像传感器芯片组成。BMSFA在光谱域中编码高维信息，而图像传感器芯片获取二维测量值。通过混合神经网络SRNet，该传感器能高效重建多通道高光谱图像（HSI）。作者采用光刻技术制造BMSFA，利用有机材料与负性光刻胶制备宽带光谱调制材料，并将其固化在石英基板上。BMSFA与CMOS和InGaAs图像传感器集成，实现高光谱精度和丰富的空间细节捕捉。SRNet在高光谱图像重建的准确性和效率上优于现有算法。HyperspecI传感器展示了其在多种应用中的潜力，包括智能农业、健康监测和工业自动化。    

图  HyperspecI技术的工作原理

HyperspecI性能

作者通过一系列实验验证了HyperspecI 传感器的性能，包括光谱和空间分辨率。实验结果显示，传感器能重建合成RGB格式的HSI，并与商用光谱仪收集的数据相匹配。HyperspecI-V1和V2的平均光谱分辨率分别为2.65nm和8.53nm，可分辨双峰距离分别为3.23nm和9.76nm。空间分辨率测试表明，HyperspecI传感器与商用单色相机相当，能区分约0.26mm宽的线。光通量比较显示，HyperspecI-V1和V2的光通量远高于其他技术。成像实验表明，即使目标尺寸小于超像素，传感器也能稳定、准确地重建光谱。在低光照条件下，HyperspecI传感器表现出色，具有高光吞吐量和信噪比。实时成像性能展示中，HyperspecI传感器在47 fps帧速率下进行动态成像，而传统扫描相机无法捕捉。这些实验证实了HyperspecI传感器在宽光谱范围、高分辨率、高光通量和实时帧率方面的优势。    

图   HyperspecI传感器的高光谱成像性能

图  高光谱成像高分辨率、高光通量、实时性性能演示

智慧农业应用

HyperspecI传感器在智能农业中展现了其非破坏性测量的潜力，特别是在SPAD和SSC的测量上。通过使用基于朗伯-比尔定律的SPAD检测原理，HyperspecI传感器能够获取叶片透射光谱，并建立回归模型以预测叶绿素含量，精度高，均方根误差为1.0532，相对误差为3.73%。对于SSC的无损检测，HyperspecI传感器通过偏最小二乘回归模型准确预测了苹果的SSC，训练集的校正系数为0.8264，测试集的校正系数为0.6162，均方根误差为0.6132%，预测集的相对误差为5.30%。这些结果突出了HyperspecI传感器在农业应用中的潜力，尤其是在无损分析方面。    

图  HyperspecI传感器在智能农业中的应用

对人类健康的应用

HyperspecI传感器在健康监测领域展现出其动态高分辨率的优势，尤其在血氧检测和水质评估方面。该传感器通过检测动脉血液吸收变化来监测血氧饱和度，实现了高达100 Hz的收集帧率，与商用血氧仪的测量结果相比较，显示出良好的一致性。在水质评估实验中，HyperspecI传感器能够区分成分不同但颜色相似的溶液，通过光谱曲线和NIR范围的光谱图像轻松识别。这些实验结果证明了HyperspecI传感器在实时健康监测和水质评估方面的潜力，可作为传统设备的便携式替代品。    

图  HyperspecI传感器在血氧和水质监测中的应用

工业自动化应用

HyperspecI 传感器在纺织品分类和苹果损伤检测中展现了其近红外高光谱成像的能力和准确性。在纺织品分类实验中，通过获取204个棉和涤纶样本的反射光谱，使用SVM算法自动分类，测试阶段分类准确率达到98.15%。对于苹果损伤检测，HyperspecI传感器捕捉到擦伤区域在近红外光下的光谱特征，通过YOLOv5检测网络，近红外光谱图像的检测精度和召回率明显高于RGB图像，证明了其在捕捉关键光谱特征方面的优势。这些应用展示了HyperspecI传感器在工业自动化和农产品质量检测中的潜力。    

图  HyperspecI 传感器在纺织品分类和苹果损伤检测中的应用

展望

总之，本研究介绍了一种单片高光谱图像传感器技术HyperspecI，该技术遵循计算成像原理实现集成和高通量的高光谱成像。HyperspecI传感器首先通过集成BMSFA和宽带单色传感器芯片获取编码的高光谱信息，然后使用深度学习重建高光谱图像。大量实验证明了HyperspecI传感器在高空间光谱时间分辨率、宽光谱响应范围和高光通量方面的优势。 

参考文献：

Bian, L., Wang, Z., Zhang, Y. et al. A broadband hyperspectral image sensor with high spatio-temporal resolution. Nature 635, 73–81 (2024). 

https://doi.org/10.1038/s41586-024-08109-1

纳米人学术QQ交流群

一维材料群-1：463352826

二维材料群-2：1075914107

复合材料群-2：834770793

可穿戴器件学术群：1032109706

光催化群-2：927909706

电池讨论群-1：418038617