原文来源
：Google
作者：
Po-Hsuan (Cameron) Chen、Krishna Gadepalli、Robert MacDonald、Yun Liu、Kunal Nagpal、Timo Kohlberger、Greg S. Corrado、Jason D. Hipp、Martin C. Stumpe
「雷克世界」编译：嗯~是阿童木呀、KABUDA、EVA
最近，深度学习在包括眼科、皮肤科、放射科和病理学在内的医学学科中的应用显示出了极大的发展前景，可以提高世界各地患者对高质量医疗保健的准确度和可获得性要求。在谷歌，我们也发表了一份研究结果，显示一个卷积神经网络能够检测出淋巴结中的乳腺癌转移，其准确度与经验丰富的病理学家相当。然而，由于使用复合光学显微镜进行直接的组织可视化仍然是病理学家诊断疾病的主要手段，所以在病理学中广泛采用深度学习技术的关键性障碍是依赖于对微观组织的数字表示。
前不久，我们在美国癌症研究协会（AACR）年会上发表了演讲，在一篇名为《用于实时自动检测癌症的增强现实显微镜》（正在审查中）的文章中，描述了一个原型增强现实显微镜平台，我们认为，该显微镜（ARM）平台将有助于加速和民主化世界各地的病理学家对深度学习这一工具的采用。该平台由改进的光学显微镜组成，可实现实时图像分析，并能够将机器学习算法的结果直接呈现在视野中。重要的是，仅使用低成本、易于获得的部件，就可以将ARM改装到世界各地的医院和诊所中现有的光学显微镜中，而不需要对组织的整个切片数字化版本进行分析。
现代的计算组件和深度学习模型（例如建立在TensorFlow上的模型）将允许大范围的预训练模型在此平台上运行。比如在传统的模拟显微镜中，用户通过目镜观察样品。而机器学习算法将其输出实时投影到光路中。该数字投影在视觉上被叠加在样本的原始（模拟）图像上，以帮助观看者定位或量化有用的特征。重要的是，计算和视觉反馈的更新速度很快——我们目前的实现成果近似以每秒10帧的速度运行，因此当用户通过移动玻片和/或改变放大率扫描组织时，模型输出会不停顿地进行更新。
左图：ARM的示意图。数码相机捕获到与用户相同的视图（FoV），并将图像传送到一个能够运行机器学习模型的实时推断的附加计算单元。然后结果将被反馈到一个自定义的AR显示屏中，该显示屏与目镜一致，并将模型输出投影到与玻片相同的平面上。右图：该图展示了原型机已被改装成典型的临床级光学显微镜
原则上，ARM可以提供各种各样的视觉反馈，包括文本、箭头、轮廓、热图或动画，并且能够运行多种类型的机器学习算法，旨在解决诸如目标检测、量化或分类等不同的问题。
为了展示ARM的潜在用途，我们将其配置为运行两种不同的癌症检测算法：一种检测淋巴结标本中的乳腺癌转移，另一种检测前列腺切除标本中的前列腺癌。这些模型可以在4—40倍的放大倍数下运行，并且给定模型的结果可以通过用绿色轮廓列出所检测到的肿瘤区域来显示。这些轮廓有助于将病理学家的注意力吸引有用的区域中，而不会模糊潜在的肿瘤细胞外观。
通过ARM镜头的样本视图。这些图像显示了使用具有4x、10x、20x和40x显微镜目标的淋巴结转移模型所观测到的样本
虽然这两种癌症模型最初都是在由一个具有完全不同光学配置的整个玻片扫描仪所获得的图像上进行训练的，但这些模型在ARM上执行得非常好，且不需要进行附加的重新训练。例如，在ARM上运行时，淋巴结转移模型的曲线下面积（AUC）为0.98，我们的前列腺癌模型在视图中国的癌症检测（FoV）的AUC为0.96，只比在WSI上所得到的性能稍微低一些。我们认为，通过在直接从ARM本身所获取的数字图像上进行附加训练，可以进一步提高这些模型的性能。
我们认为，ARM有潜力对全球健康产生重大影响，特别是对发展中国家传染病（包括肺结核和疟疾）的诊断。此外，即使在不久将要采用数字病理学工作流程的医院中，ARM也可以与数字工作流程结合使用，即扫描仪仍面临重大挑战或需要快速周转的数字工作流程（如细胞学，荧光成像或手术后的冷冻切片）。当然，光学显微镜在病理学以外的很多行业都被证明是有用的，我们相信ARM可以适用于医疗保健、生命科学研究和材料科学等广泛的应用。我们很高兴能够继续探索ARM将如何帮助加速采用机器学习，从而在全球范围内产生积极影响。
论文简述
目标
对玻璃玻片上的组织进行显微镜检查是癌症诊断的黄金标准，并为癌症生物学提供了基本见解。利用数字图像，人工智能（AI）算法已经被证明可以提高诊断的精确性，并提供无法单独在玻璃组织玻片上呈现的定量指标；然而，这需要对数字病理学工作流程进行大量的投入。在本文中，我们描述了将现代AI集成到一种标准显微镜中，这种显微镜常规上用于检查癌症试样并进行基础和转化研究。
实验设计
我们修改了一个标准光学显微镜，以内置实时AI功能。这要求将增强现实显示器集成到光学器件中，训练一个用于癌症检测的深度神经网络，并以低延时运行连接到显微镜的AI算法。作为样本应用，我们训练了AI算法，以检测前哨淋巴结中的转移性乳腺癌和前列腺切除术试样中的前列腺癌。
结果
将投影光学器件集成到现有的显微镜中，提供了一个无视差、高分辨率的信息显示，这些信息是通过机器学习对样本进行覆盖检测得到的。该AI算法是实时运行的，它使用来自相机的实时图像馈送，并生成了高精度的癌症检测结果。对该设备进行测试的病理学家报告了一种无停顿运行的体验，提供了即时有用的信息。
结论
这种增强显微镜在研究和临床应用方面有所应用，并且可以为基于整个玻片图像的数字病理学提供一种补充技术。它的主要作用在于扩大现代AI算法的可用性。
在本文中，我们提出了一种新型解决方案：集成了实时AI功能的增强型显微镜使这些AI算法能够被无缝集成到现有工作流程中和相对较低的设备成本中。通过利用最新的AI算法，我们的显微镜修改有可能提高对于临床实践和转移组织实验的定量组织评估的速度、质量和精确度。
显微镜是解剖病理学中癌症诊断的黄金标准。它在上百年的时间里，在各种各样的试样和染色剂中，都已经被证明是有效的。这些模拟显微镜对于患者的AJCC（American Joint Committee on Cancer，即美国癌症联合委员会）癌症分期至关重要。该分期使得治疗决策和预后决断成为可能。对于病理分期，一位病理学家检查了组织切片，以确定癌症的类型和等级、淋巴结的扩散和向其他器官的转移。AJCC和临床研究的最新版本要求病理学家对他们的组织或试样检验提供更多的定量评估。例如，乳腺癌分期需要病理学家通过测量肿瘤病灶的最大尺寸和计数肿瘤细胞来量化前哨淋巴结的肿瘤数量。其他研究已经表明了计数肿瘤浸润淋巴细胞的重要性。虽然这些任务耗时、乏味，并且表现出相当大的相互变异性和内部变异性，但它们有助于临床医生确定免疫治疗计划。最后，对人类表皮生长因子受体2（human epidermal growth factor receptor 2，HER2）、雌激素受体（Estrogen Receptor，ER）和孕酮受体（Progesterone Receptor，PR）免疫组织化学（immunohistochemistry，IHC）生物标记表达进行定量测量对乳腺癌治疗的选择至关重要。在癌症分类、治疗和伴随诊断方面取得的这些进展，对病理学家而言，增加了复杂度并提高了报告要求，在某些情况下，延伸了人类进行有效评估的能力。
作为一种潜在的解决方案，在人工智能领域，特别是深度学习方面的最新进展，已经证明计算机系统能够在医学图像分析中，完成人类智能水平的任务。研究还表明，将深度学习算法应用于对癌症进行分类和检测的完整的病理切片图像中，将有效提高诊断准确率、量化能力和效率。然而，由于扫描仪、传输和存储图像所需的基础设施以及对操作设备的人员进行培训需要大量前期成本，因此数字病理学在临床和转化医学领域的采用进展缓慢。
为了扭转这一局面，将深度学习的优势引入模拟世界，我们提出了一种增强光学显微镜，可以实时使用和显示AI算法的结果。与在传统模拟显微镜下一样，用户可以通过目镜观测样本，而人工智能算法可以看到与用户眼中相同的样本视图，并将其预测结果实时投影到光路中。这个投影图像被叠加在样本的原始（模拟）图像上。由于用户仍能看到实际样本，而非数字化版本，因此这一过程被称为增强现实，所以我们将我们的显微镜称为增强现实显微镜（ARM）。虽然我们在本文中着重讨论了这一新技术在癌症诊断领域的应用，但ARM本身的应用并不局限于此，它同样适用于生命科学及其他更多领域。
鉴于这些优势和限制，我们认为，ARM的主要潜力在于将AI的服务范围涵盖至更多的用户，而这些用户在不久的将来不太可能会采用数字化工作流程。这其中包含数字工作流程一体化或经济门槛过高的领域，例如小型实验室或诊所，尤其是在发展中国家，显微镜的部署较为容易，而推行标准化数字病理学解决方案则不切实际。在发展中国家，ARM在诸如传染病检测（例如：肺结核、疟疾）等方面的应用尤为突出。即使在即将采用标准数字病理学工作流程的领域，仍有一些数字扫描仪面临重大挑战（例如：细胞学或荧光成像），或需要降低延迟（例如：冰冻切片），在这些领域，ARM可以同数字工作流程结合使用。
博客链接：
https://research.googleblog.com/2018/04/an-augmented-reality-microscope.html?m=1
论文链接：
https://drive.google.com/file/d/1WRBCqJItaGly-9PDSMlwQ5Ldhc8lB0lf/view
欢迎个人分享，媒体转载请后台回复「转载」获得授权，微信搜索「raicworld」关注公众号
