在医学领域,特别与显微成像相关的病理学研究中,传统的病理学分析主要依赖于显微镜下的实体切片观察,这种方法费时且人力成本高,通常需要一至两天才能得出初步的筛查结果。然而,随着光学显微成像技术的进步,现在已经能够将这些实体切片高效地扫描成全视野切片(Whole slide image,简称WSI),并通过电脑进行数字化诊断,这一技术极大地提高了筛查效率和诊断准确性。为了实现这种现代化的数字诊断方式,关键技术包括高通量快速切片扫描仪的开发、计算机辅助诊断软件系统的构建以及人工智能辅助诊断工具的应用。当前研究正在积极探索利用人工智能模型,对WSI进行分类、检测、分割和预测,以提供更准确、更高效的定量定性诊断结果,助力病理专家更准确地评估患者的病情和预后。
由于计算资源的限制,特别是在处理WSI这种大规模高分辨率图像时,传统的人工智能方法面临一定的挑战。WSI通常具有非常高的分辨率,如10万×10万或更大,这也导致了大量的硬盘存储和显存需求。由于这些特点,从传统的自然图像处理技术直接应用到组织病理学分析中变得困难。
为了克服这些挑战,通常采用的方法是首先使用预处理和分割技术来识别图像中的前景区域,这些区域通常包括组织的轮廓、腺体、细胞等。之后,这些分割出的区域(通常称为“patch”)被输入到神经网络中进行训练,以实现更高效的分析。
以前的方法主要依赖于全监督学习的方案,通过为这些patch打上相应的标签并使用可学习的聚合器或传统的非学习聚合器进行预测,以实现WSI的分类。然而,这种方法需要大量的patch级别的标注,这在病理学领域是难以接受的,因为医院的病理专家通常难以为研究者提供足够的标注数据。
为了解决这个问题,当前的研究趋势是将WSI分析方法扩展到弱监督学习领域。现在最常见的方法是基于特征嵌入级别的多示例学习(Multiple instance learning,简称MIL)。MIL首先使用预训练的特征提取器来提取patch的相关特征嵌入,然后将这些嵌入输入到可学习的聚合器中,以学习WSI级别的全局表示,最后通过这些表示进行进一步的分析,得到下游任务的相关指标。这种方法允许在较少的标注数据下实现更高效的分析和诊断。
目前利用MIL对WSI进行分析的研究通常都是在基于注意力机制下的聚合方法进行设计的。然而,这些方法难以有效建模patch之间的相互作用,因为注意力机制主要关注于各自patch的特征。为了解决这一问题,基于图表示的WSI分析方法被逐渐重视起来,因为它可以将patch表示成节点,通过建模节点之间的拓扑关系来实现patch之间的内部上下文关联。具体而言,这种方法通过建模节点间的空间位置关系来设计图层级网络,从而更新特征,包括最终的聚合,以获取WSI级别的全局图表示。这种图结构的方法能够更好地捕捉patch之间的内部关系,从而提高模型的性能和准确性。
典型应用
基于图表示的方法已在多个应用场景中显示了其有效性和潜力。首先,应用图结构方法,能够成功地预测癌症患者的生存率,为临床医学研究提供了有力的工具。其次,还能够对病理免疫组化相关指标进行评分,这对于准确评估疾病的严重性和患者的治疗需求至关重要。第三,也可以应用于基本癌症的检测,辅助医生更准确地区分切片的良恶性,从而为个体化治疗提供指导。最后,也可以用于组织肿瘤的分型和分期,这将帮助医生进一步提高诊断的准确性和治疗的针对性。
总的来说,与传统的MIL对WSI进行分析的方法相比,图表示方法在众多研究中已被证明具有更高的准确性和可靠性。这些研究结果进一步验证了作者所提方法的有效性,显示出其在医学诊断和研究中的巨大潜力。