在医疗科技日新月异的今天，病理图像分析正经历着一场深刻的变革。从传统的显微镜观察到如今的全切片图像（WSI）扫描，技术的每一次进步都在推动医学诊断的精准化和高效化。图一：病理切片多采用金字塔结构扫描图像，可以存储不同放大倍数的信息
而在这一过程中，感兴趣区域（ROI）的自动检测无疑成为了关注的焦点。ROI 是指在整个病理切片图像中选定的特定区域，这些区域通常包含对诊断、预后或研究特别重要的信息。今天，我们就来聊聊这一领域的最新突破——基于视觉变换器（Vision Transformer, ViT）的ROI检测方法，以及它在乳腺癌HER2分级中的应用。
零基础保姆级ROI勾画教程
扫码免费学习
传统方法的局限与挑战
在病理组学中，ROI的选取至关重要。这些区域往往蕴含着对诊断、预后或研究至关重要的信息。然而，传统的手动标注方法却面临诸多挑战。首先，手动标注耗时费力，对于成千上万张图像的大规模数据集来说，几乎是不可能完成的任务。其次，手动标注过程中存在主观性和不一致性，不同病理学家之间甚至同一病理学家在不同时间点的标注结果都可能存在差异，这严重影响了诊断的准确性和一致性。
自动标注技术的崛起
为了克服这些挑战，自动标注技术应运而生。自动ROI检测不仅能够快速处理大量病理图像，显著提高标注效率，还能有效减少人为误差。随着算法和模型的不断进步，自动标注技术已经能够支持更复杂的任务，如多类别标注、精细分割等。在乳腺癌HER2分级这一领域，自动ROI检测更是展现出了巨大的潜力。
Vision Transformer：ROI检测的新利器
最近，一项发表在自然杂志上的研究提出了一种基于Vision Transformer的ROI检测方法，并将其成功应用于乳腺癌患者的HER2评分中。Vision Transformer（ViT）是一种新兴的深度学习模型，它借鉴了自然语言处理中Transformer的成功经验，将图像分割成一系列小块（patches），并通过自注意力机制进行特征提取和分类。
与传统的卷积神经网络（CNN）相比，ViT在处理图像时更加注重位置和方向信息，这对于ROI检测这种需要精确定位的任务来说至关重要。实验结果显示，使用Vision Transformer的ROI检测方法在HER2分级任务中达到了惊人的准确率，即使在较低放大倍数的图像上也能保持较高的性能。
实验与结果：从理论到实践的跨越
在这项研究中，研究团队首先由三位经验丰富的乳腺病理学家独立选择代表性的ROI，并取交集作为训练正样本，以消除单一病理学家意见带来的偏倚。这种方法不仅提高了模型的泛化能力，还确保了训练数据的准确性和可靠性。
随后，研究团队分别使用10倍和20倍放大的WSI图像对Vision Transformer模型进行训练，并进行了详尽的性能测试。结果显示，在20倍放大下，模型达到了99%的准确率；而在10倍放大下，准确率也高达97%。这一结果表明，Vision Transformer模型在不同放大倍数下均能保持良好的性能。
图二：人工标注和AI标注的ROI区域高度重合
图三：VIT的准确率显著高于其他模型
图四：VIT的AUC显著高于其他模型随后，作者将其应用在HER2的分级中，Shimaris 系统可根据原位杂交 WSI 确定乳腺癌患者的 HER2 等级。首先，由乳腺病理专家在 H & E 标本上手动选择适合确定 HER2 等级的 ROI。然后，Shimaris 将 H &E 中 ROI 的坐标位置复制到 CISH WSI 中。然后，它利用机器学习从 ROIs 中检测出适合进行 HER2 分级的奇异核。利用该系统在HER2分级任务中，该模型更是将诊断一致性提高到与临床评分的99.3%一致，并将自动HER2评分的时间缩短至15秒。这意味着病理学家可以在极短的时间内获得准确的HER2评分结果，从而更快地制定治疗方案，提高患者的生存率和生活质量。
实际应用与未来展望
这项研究不仅验证了Vision Transformer在ROI检测中的有效性，还为其他基于WSI的医学图像分析提供了有力的技术支持。未来，随着技术的不断发展和完善，自动ROI检测方法有望在更广泛的病理图像分析领域得到应用和推广。
例如，在肺癌、脑肿瘤等其他类型的癌症诊断中，自动ROI检测同样可以发挥重要作用。通过自动识别和标注出肿瘤区域及其边界，医生可以更准确地评估肿瘤的恶性程度、浸润范围以及是否存在淋巴结转移等情况，从而制定更加个性化的治疗方案。
此外，随着人工智能和大数据技术的不断发展，我们还可以将自动ROI检测与基因组学、蛋白质组学等其他组学技术相结合，开展更加深入和全面的医学研究。通过挖掘病理图像中的丰富信息，我们可以更好地揭示疾病的发病机制和演变规律，为精准医疗和个性化治疗提供更加坚实的理论基础和技术支持。
结语
总之，自动ROI检测技术的出现为病理图像分析带来了革命性的变化。它不仅提高了诊断的准确性和一致性，还显著降低了病理学家的工作负担。未来，随着技术的不断发展和完善，我们有理由相信自动ROI检测方法将在医学领域发挥更加重要的作用，为人类的健康事业贡献更多的智慧和力量。
Ref:
Hossain, M.S., Shahriar, G.M., Syeed, M.M.M. et al. Region of interest (ROI) selection using vision transformer for automatic analysis using whole slide images. Sci Rep 13, 11314 (2023). https://doi.org/10.1038/s41598-023-38109-6
