如何兼顾场发射扫描电镜（FESEM）的大视场和高分辨？

场发射扫描电镜（FESEM）作为现代科学研究中的重要仪器，技术的核心在于利用场发射电子枪产生高度聚焦的电子束，通过与样品表面的相互作用产生二次电子，继而通过复杂的信号处理系统实现高质量和高分辨成像。结合当代先进的数字图像处理技术，FESEM能够提供极高放大倍数下的清晰图像，这一特性使其成为材料科学、生物学和地质学等领域不可或缺的研究工具。

然而，在使用FESEM定位样品中特定感兴趣区域时存在一个问题。由于分辨率和视场（FOV）之间的平衡关系，大视场的图像分辨率相对较低，使得细节模糊，难以准确定位。相反，如果我们提高分辨率以实现准确定位，视场就会变得非常有限，无法覆盖所有可能的目标区域。这个问题在很大程度上限制了FESEM的应用。

传统上，图像拼接和插值方法被用来提高图像分辨率。然而，图像拼接需要高机械精度，且多次成像限制了成像速度。提高图像分辨率的插值方法是通过识别实际捕获图像中的特定像素点来计算其周围的逻辑像素点，并将其视为补充像素，从而提高图像的整体分辨率。常见的算法包括最近邻插值、双线性插值和双三次插值。虽然插值方法快速且易于实现，但在图像边界处仍然存在缺陷，如锯齿状边缘和模糊效果。此外，这些插值方法都有一个共同的问题。相同的算法被用于不同设备的超分辨率任务，这意味着生成的HR图像不一定与特定设备的原始HR图像具有最佳相似度。

深度学习作为人工智能领域的重要分支，通过模拟人脑神经元的工作机制，构建多层神经网络，通过复杂的拓扑结构实现数据的深度处理和分析。在众多深度学习架构中，深度卷积神经网络因其优异的性能而备受关注。它在图像分类、风格迁移等多个领域都展现出了强大的应用价值。

然而，随着网络深度的增加，传统卷积神经网络面临着性能瓶颈的挑战。为解决这一问题，残差网络的提出开创了新的技术方向。通过创新性地采用残差函数拟合方法，残差网络不仅克服了深层网络的训练困难，还在多个实际应用场景中取得了显著成果。

值得注意的是，残差网络在图像处理领域展现出突出的优势，从断层扫描到磁共振成像，这一技术都得到了广泛应用。特别是在FESEM图像处理方面，基于残差网络的深度学习模型能够显著提升图像分辨率和质量，同时实现大视场成像和降噪的双重效果。

1 实现超分辨的方法

选择蝴蝶标本（图1）作为获取图像数据集的实验样品。超分辨率任务不仅关注提高整个图像的分辨率，还关注提高不同纹理或图案的细节。蝴蝶翅膀覆盖着扁平的鳞毛，不同品种的蝴蝶具有不同的鳞毛图案，这使它们非常适合用作图像数据。

图1 蝴蝶样品及翅膀的显微细节https://doi.org/10.3390/ai1010001

剪下不同蝴蝶标本的翅膀并将其粘在导电胶上，由于蝴蝶翅膀的导电性较差，需要镀膜以避免充电效应。共拍摄1000组图像数据，每组包含一张低分辨率（LR）图像（1000倍放大）和一张HR标签图像（2000倍放大）。

数据集：为获得最佳结果，用于训练神经网络的图像必须成对，即LR输入图像与HR标签图像。由于LR图像具有大视场，HR图像具有小视场，而超分辨率任务中使用的图像集需要具有恒定的视场，因此需要裁剪LR图像以匹配HR图像的视场。由于在拍摄过程中切换放大倍数时会产生位置偏移，我们不能直接在中心位置裁剪LR图像。在裁剪LR图像之前需要进行像素匹配。

本研究使用像素匹配方法将HR图像缩小四倍，然后在LR图像中扫描到最佳匹配位置并进行裁剪。此外，考虑到数据集相对较小，我们在创建数据集时使用了数据扩充。原始图像进行水平和垂直翻转，既可以单独翻转也可以同时翻转。最终，共有4000组数据用于我们深度神经网络的训练、验证和测试，其中每组图像包括一张LR图像（200×200）和一张HR图像（400×400）。

数据集的准备在神经网络训练中扮演着至关重要的角色。由于低分辨率（LR）和高分辨率（HR）图像在视场大小上存在差异，需要采取特殊的处理方法确保它们的匹配性。首要任务是解决图像配准问题。在改变放大倍数时会产生位置偏移，简单的中心裁剪方法并不可行。为此，采用了像素匹配策略：先将HR图像缩小四倍，在LR图像中寻找最佳匹配位置，随后在该位置进行裁剪，以确保两种分辨率图像的视场一致性。

为了扩充相对有限的数据量，对原始图像进行水平翻转、垂直翻转或同时进行两种翻转，显著增加了训练样本的数量。最终建立了包含4000组图像对的数据集，每组包含一张200×200像素的LR图像和一张400×400像素的HR图像，为深度神经网络的训练、验证和测试提供了充足的数据支持。

2 超分辨率深度神经网络结构

超分辨率深度神经网络结构主要由输入处理、特征提取、残差学习和上采样四个关键部分组成。在输入阶段，系统接收大小为W×H×3的低分辨率图像，并通过均值减法转换进行预处理，这一步骤有效提升了网络的训练效率。随后，输入卷积层将原始的3通道RGB图像转换为64个特征图，其中卷积核参数经过精心调优，包括核数量(C=64)、核大小(K=3)等关键参数。

图2 输入卷积层的详细信息https://doi.org/10.3390/ai1010001

网络的核心部分是由32个残差模块构成的深层结构。每个残差模块包含两个卷积层和整流线性单元（ReLU）激活函数，通过特殊的跳跃连接设计，有效缓解了深度网络的梯度消失问题。最后，上采样层通过巧妙的像素重排列操作，将特征图尺寸扩大为原来的四倍，最终输出高质量的超分辨率图像。

3 训练结果

研究团队采用严谨的数据采集方案，通过FESEM在1000倍和2000倍放大倍率下获取配对的图像样本。为确保模型的可靠性，研究使用3000组样本进行训练，1000组用于验证。训练过程采用标准的深度学习方法，通过L1损失函数评估网络性能，并使用Adam优化器进行参数调整。

实验结果表明，该方法取得了显著成效。网络在验证集上的性能指标持续改善，最终达到令人满意的水平，PSNR值为26.88 dB，SSIM达到0.7740。特别值得注意的是，该方法不仅提升了图像分辨率，还保持了较大的视场范围。在1000倍放大条件下，处理后的图像既具有与2000倍放大相当的分辨率，又保持了54 × 36 μm的大视场，这对于显微观察研究具有重要的实践意义。

图3 神经网络输出结果与真实细节的对比https://doi.org/10.3390/ai1010001

将输出图像再次输入网络，生成800×800像素的输出图像。与400×400像素的真实图像相比，图像分辨率进一步提高。噪声的影响也在一定程度上得到减少，因此图像看起来更加清晰。

接下来，将训练好的网络与传统图像插值方法进行比较。仍然选择训练集和验证集之外的图像数据进行测试，将300×300像素的图像输入网络生成600×600像素的输出图像。同时，使用OpenCV提供的最近邻插值方法和三次插值方法对300×300像素的图像进行插值和放大。将三种不同的输出图像与600×600像素的真实图像进行比较。

通过计算峰值信噪比（PSNR）和结构相似度（SSIM），深度学习方法的表现明显优于传统方法，获得了PSNR值22.40 dB和SSIM值0.9451的优异成果。值得注意的是，测试阶段仅对单张图像进行评估，因此性能指标与验证期间的平均值存在一定差异。但总体而言，深度学习方法在图像超分辨率处理方面展现出了明显的技术优势，为高质量图像重建提供了新的解决方案。

图4 深度神经网络与传统插值处理方法的输出图像对比https://doi.org/10.3390/ai1010001

在显微成像技术领域，图像分辨率与视场大小之间存在着固有的权衡关系。通过深度神经网络技术，成功实现了蝴蝶翅膀FESEM图像的超分辨率处理，有效解决了这一技术难题。在不改变FESEM物理结构的前提下，能显著提升了图像分辨率和质量。

该方法最显著的优势在于其高效的处理速度——即便在普通笔记本电脑上，也能在约0.5秒内生成大视场的高分辨率图像，充分展现了其在实际应用中的价值。该深度神经网络还具有优异的可迁移性，可以通过针对性训练来适应不同的成像设备，这为其在更广泛领域的应用提供了可能。

参考文献

AI 2020, 1(1), 1-10; https://doi.org/10.3390/ai1010001