科技的飞速发展让我们能像侦探一样，从各个角度分析病人的数据，捕捉那些连医生都看不见的微小线索！
现在，研究人员正努力把各种类型的临床数据融合起来，这样才能更全面地理解复杂的疾病，比如癌症。在去年发表在《Nat Mach Intell》（IF:18.8）名为：“通过深度学习进行癌症生物标志物发现的多模态数据融合，Multimodal data fusion for cancer biomarker discovery with deep learning”的研究文章。
贴合临床，利用深度学习挖掘肿瘤新亮点
个性化多模态方案，发现临床新视角
这篇文章已经发现了医院里收集的一堆数据，比如病历、基因信息、病理报告和X光片等，如果分开来看，它们就像没拼起来的拼图，没法讲一个完整的故事。但是，如果我们能把这些东西拼在一起，就能更清楚地了解病人的情况，给他们更精确的治疗。然而这篇文章介绍了数据融合的3种不同形式，以及在病理组织学领域，发现一种能从前列腺癌的组织图像中预测TP53基因突变的方法，这有助于我们更好地理解癌症发现，在基因表达方面，利用SHAP值来解释dan模型预测，帮助我们预测癌症患者的生存情况。
在去年文章中只简单提出的深度学习算法为加速精确肿瘤学领域的发展提供了一个有希望的选择，并没有进行深层次验证。而在今年的7月30日，发表在《nature medicine》（IF:58.7）名为：“利用多模态深度学习预测子宫内膜癌复发风险，Prediction of recurrence risk in endometrial cancer with multimodal deep learning”的研究文章则在深度学习方面有了新突破！用于预测子宫内膜癌复发的HECTOR模型。
预测子宫内膜癌（EC）复发对治疗超级重要！但以前的检测方法又贵又复杂，很多人都用不上。这篇文章作者团队研发了HECTOR模型，利用深度学习的方法只要看看苏木精-伊红染色的玻片图像和肿瘤分期，就能预测子宫内膜癌复发！
HECTOR概述：
HECTOR 是一个两步式深度学习模型
第一步，是自我监督的肿瘤图像表征学习，就像我们学习认字一样，它能从图像中捕捉到肿瘤的特征。
第二步，根据这些特征来预测患者是否会发生远处复发。其中第一步包括自监督肿瘤图像表征学习，第二步包括远处复发预测任务。
图1数据情况：
1、含有肿瘤的子宫切除标本的H&E 染色 WSI 和综合临床病理数据集。
2、8个队列的2,072名肿瘤分期(FIGO 2009) I-III EC患者的分子和临床远处复发数据。
3、两个外部测试集：格罗宁根大学医学中心，160 名患者；莱顿大学医学中心，151 名患者。
注意：排除接受化疗的患者数据。
结果：
1、HECTOR设计和性能
它分成两步：先是用视觉变换器学习肿瘤图像，然后是多模态三臂架构，是一个三合一的预测模型。这个模型能整合三种信息：肿瘤组织的染色图像、图像预测的分子类型和癌症的分期。经过反复测试，HECTOR的预测能力超级强，C指数平均高达0.795。加上分子类型和癌症分期信息，HECTOR的预测准确度能再上一层楼！内部测试集上，HECTOR的C指数达到了0.789，而在UMCG外部测试集上更是高达0.828。利用训练集的数据和用Cox比例风险模型计算，HECTOR的风险比（HR）在各个测试集上都很高，说明它预测远期复发的能力很强！
2、与当前预后金标准的比较
用HECTOR模型和目前用于子宫内膜癌（EC）预后的标准方法进行比较，不仅比较了基本的风险模型，还加上了解剖阶段和分子分类，让比较更全面。结果显示HECTOR模型表现出色，不仅超越了只用病理图像的模型，还和那些需要复杂检测的模型一样准确！在多变量分析中，HECTOR也能独立预测癌症复发的风险，而且比传统的风险评分更准确。
3、具有多个WSI的性能
在LUMC队列中，我们观察了大多数患者的多个肿瘤组织样本，这让我们能够在实际诊断环境中检验HECTOR的外部性能。初步评估显示，随机选择一个样本进行HECTOR评分，重复100次，预测远处复发的平均C指数高达0.802！不仅尝试了将所有样本组合成一个单一的图像输入包，还从分层来看外部性能，都显示了HECTOR稳健和能够在实际的临床环境中提供准确的预后信息，更能帮助医生做出更好的治疗决策。
图24、与预后因素和输入贡献的关联
DL 预后模型可能提供决定临床结果的相关性或特征的信息。通过多元线性回归对内部测试集进行初步分析，发现HECTOR风险评分低的患者往往有较好的预后因素，进一步研究H&E图像、im4MEC分子分类和解剖阶段对预测的影响，我们发现H&E图像通常对风险评分有正面影响，而且随着HECTOR风险评分的增加而增加。特别是对于高级别EEC或非EEC类型和LVSI，H&E图像的贡献更大，这可能意味着图像中捕捉到的不利形态特征是预测风险评分的关键因素。HECTOR通过分析病理图像和分子数据，帮助我们更好地理解癌症的预后，并可能指导治疗决策。
图35、结果风险的形态相关性
为了确定 HECTOR 可能使用的预后形态学特征，提取了对风险评分影响最大的 H&E WSI 的前 5% 区域（降低和增加）并妇科病理专家进行审查。在低风险组中，光滑的边界、发炎的基质和丰富的子宫肌层等特征让风险评分降低。而在高风险组中，不规则的肿瘤表面、LVSI、实体瘤生长和有丝分裂象等特征让风险评分升高。AI工具帮助发现：低风险区域炎症细胞多，而高风险区域有丝分裂多且肿瘤核大。研究还发现，风险评分增加的区域更多地来自肿瘤区域，而不是侵袭性边界区域。通过这些发现，HECTOR模型不仅帮助预测风险，还让我们更深入地理解了癌症的形态学特征。
图46、基因组改变、免疫和转录特征
深入分析TCGA-UCEC数据集，发现HECTOR风险评分高低的患者往往有不同的基因驱动突变，利用转录数据研究了免疫细胞群，发现HECTOR评分高与某些免疫细胞的增加有关，而与CD8+ T细胞等的减少有关。进一步分析显示，HECTOR高风险肿瘤中有些基因表达上调，这些基因与较差的预后相关，而低风险肿瘤则显示与激素信号传导相关的基因上调。HECTOR模型不仅帮助预测风险，还可能指导我们发现新的治疗靶点。
图57、HECTOR辅助化疗反应预测
HECTOR模型在PORTEC-3随机试验中，观察了442名I-III期的EC患者， 结果显示，化疗对HECTOR高风险患者特别有效，降低了他们的癌症复发风险！HECTOR低风险和中等风险的患者，无论是否接受化疗，预后都很好，复发概率相似。但对于那些HECTOR高风险的患者，化疗让5年无复发概率从42.0%提高到了62.2%！这表明HECTOR不仅预测了风险，还可能指导谁应该接受化疗，超越了现有的预测方法。
图6总结
科学信息的逐渐发展为病理组织学和影像学的发展提供了理论和技术支持，同时存储的大量的医学数据，为医学研究和教学提供了丰富的资源。通过分析和挖掘这些数据库中的数据，可以发现新的医学疾病特征、提出新的诊断方法，从而推动医学科学的进步。HECTOR模型作为一种新的突破，利用病理切片图像和肿瘤分期信息预测子宫内膜癌的复发风险，有更精准的预测方法。HECTOR模型的开发让我们离个性化治疗又近了一步，它不仅提高了预测的准确性，还可能帮我们降低治疗成本，真是一举多得！
贴合临床，利用深度学习挖掘肿瘤新亮点
个性化多模态方案，发现临床新视角
