如何兼顾场发射扫描电镜（FESEM）的大视场和高分辨？

老千和他的朋友们 · 公众号 · 科技创业科技自媒体 · 2025-01-18 09:41

主要观点总结

场发射扫描电镜（FESEM）作为科学研究的重要仪器，其核心是利用场发射电子枪产生电子束，与样品相互作用产生二次电子，实现高质量和高分辨率成像。文章讨论了在使用FESEM定位样品中的特定区域时面临的问题，即分辨率和视场之间的平衡关系。传统方法如图像拼接和插值方法存在局限性。为此，利用深度神经网络解决这一问题，特别是在FESEM图像处理方面展现出显著优势。

关键观点总结

关键观点1: FESEM的技术核心和挑战

FESEM利用场发射电子枪产生电子束，实现高质量和高分辨率成像。然而，在使用中面临分辨率和视场之间的平衡问题，导致难以准确定位细节。

关键观点2: 传统方法的局限性

传统方法如图像拼接和插值方法用于提高图像分辨率，但存在机械精度要求高、成像速度慢以及图像边界缺陷等问题。

关键观点3: 深度学习在图像处理中的应用

深度学习通过模拟人脑神经元的工作机制，构建多层神经网络，实现数据的深度处理和分析。深度卷积神经网络在图像分类、风格迁移等领域展现出强大应用价值。

关键观点4: 残差网络的优势

残差网络通过创新性地采用残差函数拟合方法，克服了深层网络的训练困难，并在多个实际应用场景中取得显著成果。在FESEM图像处理方面，基于残差网络的深度学习模型能显著提升图像分辨率和质量，实现大视场成像和降噪的双重效果。

关键观点5: 超分辨率任务的数据集准备

研究使用蝴蝶标本作为获取图像数据集的实验样品，通过拍摄不同放大倍数的图像，创建配对图像样本。由于LR图像和HR图像在视场大小上的差异，采取了特殊的处理方法确保它们的匹配性，包括像素匹配策略和数据扩充。

关键观点6: 深度神经网络结构

超分辨率深度神经网络结构主要由输入处理、特征提取、残差学习和上采样四个关键部分组成。网络采用残差模块构成的深层结构，通过特殊的跳跃连接设计，有效缓解了深度网络的梯度消失问题。

关键观点7: 实验成果

研究团队通过严谨的数据采集和训练过程，实现了显著成效。网络在验证集上的性能指标持续改善，最终达到令人满意的水平。与传统插值处理方法相比，深度学习方法表现出优异性能，显著提升了图像分辨率并保持了较大的视场范围。

正文

场发射扫描电镜（ FESEM ）作为现代科学研究中的重要仪器，技术的核心在于利用场发射电子枪产生高度聚焦的电子束，通过与样品表面的相互作用产生二次电子，继而通过复杂的信号处理系统实现高质量和高分辨成像。结合当代先进的数字图像处理技术， FESEM 能够提供极高放大倍数下的清晰图像，这一特性使其成为材料科学、生物学和地质学等领域不可或缺的研究工具。

然而，在使用 FESEM 定位样品中特定感兴趣区域时存在一个问题。由于分辨率和视场（ FOV ）之间的平衡关系， 大视场的图像分辨率相对较低，使得细节模糊，难以准确定位 。相反，如果我们 提高分辨率以实现准确定位，视场就会变得非常有限 ，无法覆盖所有可能的目标区域。这个问题在很大程度上限制了 FESEM 的应用。

传统上， 图像拼接和插值方法 被用来提高图像分辨率。然而，图像拼接需要高机械精度，且多次成像限制了成像速度。提高图像分辨率的插值方法是通过识别实际捕获图像中的特定像素点来计算其周围的逻辑像素点，并将其视为补充像素，从而提高图像的整体分辨率。常见的算法包括最近邻插值、双线性插值和双三次插值。虽然插值方法快速且易于实现，但在图像边界处仍然存在缺陷，如锯齿状边缘和模糊效果。此外，这些插值方法都有一个共同的问题。相同的算法被用于不同设备的超分辨率任务，这意味着生成的 HR 图像不一定与特定设备的原始 HR 图像具有最佳相似度。

深度学习作为人工智能领域的重要分支，通过模拟人脑神经元的工作机制，构建多层神经网络，通过复杂的拓扑结构实现数据的深度处理和分析。在众多深度学习架构中，深度卷积神经网络因其优异的性能而备受关注。它在图像分类、风格迁移等多个领域都展现出了强大的应用价值。

然而，随着网络深度的增加，传统卷积神经网络面临着性能瓶颈的挑战。为解决这一问题， 残差网络 的提出开创了新的技术方向。通过创新性地采用残差函数拟合方法，残差网络不仅克服了深层网络的训练困难，还在多个实际应用场景中取得了显著成果。

值得注意的是，残差网络在图像处理领域展现出突出的优势，从断层扫描到磁共振成像，这一技术都得到了广泛应用。特别是在 FESEM 图像处理方面，基于残差网络的深度学习模型能够显著提升图像分辨率和质量，同时实现大视场成像和降噪的双重效果。

1 实现超分辨的 方法

选择蝴蝶标本（图 1 ）作为获取图像数据集的实验样品。超分辨率任务不仅关注提高整个图像的分辨率，还关注提高不同纹理或图案的细节。蝴蝶翅膀覆盖着扁平的鳞毛，不同品种的蝴蝶具有不同的鳞毛图案，这使它们非常适合用作图像数据。

图 1 蝴蝶样品及翅膀的显微细节 https://doi.org/10.3390/ai1010001

剪下不同蝴蝶标本的翅膀并将其粘在导电胶上，由于蝴蝶翅膀的导电性较差，需要镀膜以避免充电效应。共拍摄 1000 组图像数据，每组包含一张低分辨率（ LR ）图像（ 1000 倍放大）和一张 HR 标签图像（ 2000 倍放大）。

数据集：为获得最佳结果，用于训练神经网络的图像必须成对，即 LR 输入图像与 HR 标签图像。由于 LR 图像具有大视场， HR 图像具有小视场，而超分辨率任务中使用的图像集需要具有恒定的视场，因此需要裁剪 LR 图像以匹配 HR 图像的视场。由于在拍摄过程中切换放大倍数时会产生位置偏移，我们不能直接在中心位置裁剪 LR 图像。在裁剪 LR 图像之前需要进行像素匹配。

本研究使用像素匹配方法将 HR 图像缩小四倍，然后在 LR 图像中扫描到最佳匹配位置并进行裁剪。此外，考虑到数据集相对较小，我们在创建数据集时使用了数据扩充。原始图像进行水平和垂直翻转，既可以单独翻转也可以同时翻转。最终，共有 4000 组数据用于我们深度神经网络的训练、验证和测试，其中每组图像包括一张 LR 图像（ 200×200 ）和一张 HR 图像（ 400×400 ）。

数据集的准备在神经网络训练中扮演着至关重要的角色。由于低分辨率（ LR ）和高分辨率（ HR ）图像在视场大小上存在差异，需要采取特殊的处理方法确保它们的匹配性。首要任务是解决图像配准问题。在改变放大倍数时会产生位置偏移，简单的中心裁剪方法并不可行。为此，采用了像素匹配策略：先将 HR 图像缩小四倍，在 LR 图像中寻找最佳匹配位置，随后在该位置进行裁剪，以确保两种分辨率图像的视场一致性。

为了扩充相对有限的数据量，对原始图像进行水平翻转、垂直翻转或同时进行两种翻转，显著增加了训练样本的数量。最终建立了包含 4000 组图像对的数据集，每组包含一张 200×200 像素的 LR 图像和一张 400×400 像素的 HR 图像，为深度神经网络的训练、验证和测试提供了充足的数据支持。

2 超分辨率深度神经网络结构

超分辨率深度神经网络结构主要由输入处理、特征提取、残差学习和上采样四个关键部分组成。在输入阶段，系统接收大小为 W×H×3 的低分辨率图像，并通过均值减法转换进行预处理，这一步骤有效提升了网络的训练效率。随后，输入卷积层将原始的 3 通道 RGB