综述万字精读 | Nature Reviews Cancer，人工智能技术在科研中的应用

Basic Information

• 英文标题： A guide to artificial intelligence for cancer researchers
• 中文标题：为癌症研究者提供的人工智能指南
• 发表日期：16 May 2024
• 文章类型：Review Article
• 所属期刊：Nature Reviews Cancer
• 文章作者：Raquel Perez-Lopez | Jakob Nikolas Kather
• 文章链接：https://www.nature.com/articles/s41568-024-00694-7

Abstract

1. 人工智能（AI）已经变得普及。
2. 它已从一种专业资源演变为癌症研究人员可以轻松获取的工具。
3. 基于AI的工具可以在日常工作中提高研究效率，也可以从现有数据中提取隐藏信息，从而促进新的科学发现。
4. 掌握这些工具的基本知识对每位癌症研究人员都有用。
5. 具有传统生物科学背景的研究人员可以通过现成的软件使用基于AI的工具，而那些更倾向于计算方面的研究人员则可以开发自己的基于AI的软件流程。
6. 在本文中，我们为非计算型癌症研究人员提供了实用指南，帮助他们了解如何利用基于AI的工具获益。
7. 我们传达了AI在图像分析、自然语言处理和药物发现应用中的通用原则。
8. 此外，我们还举例说明了非计算型研究人员如何开始在自己的工作中有效利用AI的旅程。

Introduction

1. 人工智能（AI）是一组旨在使机器能够执行通常由人类保留的任务的计算技术。
2. 几十年来，AI主要是一个理论构造，对现实世界的影响有限。
3. 然而，在过去的15年里，AI在包括生物医学研究在内的广泛领域达到了与人类相当的表现水平。
4. AI已经发展成为具有现实意义的多种产品。
5. 从技术上讲，当今许多AI应用严重依赖于人工神经网络（ANN），这是一种受大脑生物神经网络启发的计算模型。
6. 人工神经网络由称为‘神经元’的连接单元组成，这些单元被组织成层。
7. 人工神经网络通常包含多层，每层包含大量神经元：输入层接收输入数据；输出层产生最终输出；而隐藏层则执行大部分计算。
8. 当人工神经网络包含大量的隐藏层时，它被称为深度人工神经网络。
9. 这里的‘深度’一词指的是网络的深度，即层数。
10. 深度神经网络由于其扩展架构能学习复杂的模式，这种架构允许更多的抽象层次和数据表示。
11. 深度神经网络通过使用大型数据集训练，并根据输出误差调整网络参数（如神经元之间的连接权重）。
12. 这一过程被称为深度学习。
13. 在深度学习过程中，网络从例子中学习执行任务。
14. 如今，在癌症研究中，AI的概念与深度学习高度重叠，以至于这些术语经常被互换使用。

Fig. 1: AI workflows in cancer research.

• 深度学习的应用连接了基础研究、转化研究和临床研究。
• 在基于人工智能（AI）的图像处理中，三种方法占据主导地位（如图b至d所示）。
• 标准的图像分析任务，例如细胞计数或分割感兴趣区域（ROI），通常需要快速解决方案，并使用现成工具。
• 有许多开源工具可用于完成这些任务。
• 例如，ilastik非常适合进行亚细胞水平的分析，而QuPath和3D Slicer分别常用于组织水平和全身成像。
• Fiji、ImageJ和CellProfiler是多功能工具，可以处理不同尺度范围内的各种图像分析任务。
• 选择了一些此类工具列于补充表1中。
• 另一类图像分析任务涉及那些需要在大量数据集上进行迭代训练和微调的任务。
• 这些工具通常是针对特定任务设计的，旨在解决一个具体问题。
• 构建、训练和验证这些流程需要编程技能。
• 图像分析的未来趋势正朝着基础模型发展，这些模型是在大量异构数据集上训练的，可以在多种任务上进行微调。
• 在零样本学习中，模型可以直接应用于测试集，无需特定任务的训练；而在少量样本学习中，模型则被提供少量标记示例来适应特定任务。

1. 人工智能方法在癌症研究中变得越来越普遍。
2. 因此，我们假设如今任何从事癌症研究的人都需要获得一定程度的人工智能素养。
3. 如今，能够理解、解释和批判性评估人工智能输出变得非常重要。
4. 此外，一些癌症研究人员会发现深入理解人工智能并开发自己的基于人工智能的软件工具是有益的。
5. 目前，人工智能已被商品化，这意味着它不再是一种专业资源，而是一个广泛可获取的工具，癌症研究人员可以方便地利用这一工具。
6. 此外，一些生物医学研究软件具备可以针对特定任务进行训练的人工智能系统，例如具有图形用户界面的图像分析工具，允许用户训练自定义的人工智能模型。
7. 尽管完全且详细地理解人工智能系统的精确机制仍然是一个充满挑战且不断发展的研究领域，但重要的是要根据对人工智能系统如何训练以及如何做出预测的一般理解来认识到这些系统内在的局限性和潜在偏见。
8. 本综述旨在为希望深入了解人工智能在癌症研究中应用的癌症研究人员提供全面指南。
9. 我们在与生物学、医学和生物化学等跨学科领域的专业人士合作的过程中发现，迫切需要对与癌症研究相关的AI概念和工具进行明确和指导。
10. 本综述着重于癌症研究中人工智能的关键概念和工具，包括图像分析、自然语言处理（NLP）和药物发现等方面的应用。
11. 本综述旨在作为实用指南，并不会深入涵盖人工智能算法的数学基础或高度技术性的方面。 [div_box]

Understanding deep learning

Types of deep learning

深度学习的类型

1. 深度学习算法可以分为监督学习、无监督学习和强化学习。
2. 监督学习是最常见的深度学习类型。
3. 在监督学习中，模型是在带有标签的数据集上进行训练的，这意味着每个训练样本（例如，一张照片）都会与一个输出标签或真实标签（例如，‘猫’或‘狗’）配对。
4. 模型根据输入数据做出预测或决策，并从真实标签中学习正确的预测模式。
5. 深度学习初学者通常可以从使用适度规模的数据集训练监督深度神经网络开始，这类数据集通常包含几百到几千个标注良好的示例。
6. 干净的标注数据集指的是其中的标签准确且一致、没有错误标注或模糊示例的数据。
7. 相比之下，无监督学习是一种方法，其中模型在没有任何明确标签或注释的数据集上进行训练以识别模式。
8. 它通常用于聚类、异常检测和关联任务等场景，在这些场景中，模型确定数据的内在结构以得出推断。
9. 自监督学习（SSL）是无监督学习领域的一种特定方法，涉及在数据集中训练深度神经网络，其中标签不是以传统意义上的方式提供的。
10. 相反，在SSL中，模型通过一个伪任务生成自己的标签。
11. 例如，可以要求模型从扭曲版本重建图像或预测句子中的缺失单词。
12. 如今，SSL通常用作第一步来"预训练"深度神经网络，以便随后使用监督学习进行‘微调’。
13. 第三类深度学习方法是强化学习。
14. 强化学习系统涉及通过与环境互动来做出决策以达成目标的代理、实体或系统。
15. 随着时间推移，代理学会基于来自环境的反馈来采取最优行为。
16. 这种反馈形式为对成功结果的行动给予数值奖励，而对不成功的行动则施加惩罚。
17. 目标是让代理学会一种策略，以随时间最大化累积奖励。
18. 强化学习可以自动化基于规则的过程，如计算机游戏或无人机导航。
19. 在某些特定领域，如寻找个性化癌症筛查的最优策略或设计临床试验，强化学习被应用于癌症研究中。

Neural network architectures

神经网络架构

1. 深度学习能够有效处理诸如图像和文本等非结构化数据。
2. 非结构化数据指的是缺乏特定模式、不遵循传统数据模型的信息。
3. 利用计算机自动分析图像的学科被称为计算机视觉，而专注于分析和解释文本形式的人类语言的学科则称为自然语言处理（NLP）。
4. 在整个2010年代的大部分时间里，卷积神经网络（CNN）一直是推动计算机视觉进步的核心。
5. 而在自然语言处理领域，则广泛使用了长短时记忆（LSTM）网络及相关架构。
6. LSTM网络因其处理序列数据的能力而闻名，相比早期模型，它们能够记住更长序列中的信息。
7. 尽管LSTM网络非常有效，但在处理极其复杂或长序列时有时会遇到困难。
8. 这一局限性促使人们在2020年代探索并采用替代架构，例如变压器神经网络，也称作变压器，它在某些自然语言处理任务中能更有效地解决一些挑战。
9. 有趣的是，变压器也可以应用于图像分析，并且在许多医学图像分析任务上甚至超越了卷积神经网络。
10. 与设计上受限于局部模式的卷积神经网络不同，变压器能够捕捉图像中的远程依赖关系和全局上下文。
11. 截至2024年，变压器代表了图像和语言处理任务的最新技术水平，展现了它们在处理多样性和复杂数据类型方面的通用性和能力。
12. 特别是，结合自我监督学习（SSL）的变压器推动了所谓的基础模型的发展，下文将进一步讨论这一点（图1b-1d和2a,2b）。

Fig. 2: Development from simple, specialized, shallow models to deep, multimodal, generalist models for computer vision.

• 人工智能（AI）技术在医学影像领域的进展始于21世纪初，当时采用监督学习方法，利用带有手工设计特征的机器学习模型。
• 这些模型依赖领域专业知识来手动从图像中提取相关特征，然后使用标记的数据集对模型进行训练。
• 大约在2012年左右，出现了监督深度学习，特别是卷积神经网络（CNN），它们可以在大型标记数据集上自动地从原始图像数据中学习层次化的特征。
• 这种方法显著提高了AI模型在医学影像任务中的性能和泛化能力。
• 进入2020年代初期，许多研究团队开始采用新兴的自监督学习方法，这些方法使模型能够通过预测数据本身的属性来从无标签数据中学习有意义的模式，而无需依赖外部标签。
• 在AI应用于癌症研究的初期阶段，方法是依赖从医学影像中精心挑选的模式作为分析的基础。
• 随着时间的推移，手动特征选择的需求被消除，模型可以直接从数据中学习关键特征。
• 目前的重点在于通过多模态模型整合各种数据源，这类模型可以结合来自不同数据模态的信息，例如放射影像、病理切片、基因组数据和临床记录。
• 设想的未来涉及基础模型，这些大规模的自监督模型在多种模态的多样化无标签数据集上进行了预训练。
• 这些模型只需少量的任务特定训练数据就可以针对各种下游任务进行微调。
• AI在肿瘤学应用中的最终目标可能是一种通用综合模型，一种多功能工具，具有分析、解释以及与患者和医疗专业人员互动的能力。
• 这种综合模型将整合来自多个来源的数据，支持诊断和治疗建议，并以人类可理解的方式解释其决策。

Uses of deep learning in cancer research

深度学习在癌症研究中的应用

1. 深度学习在癌症研究中有着广泛的应用，并可能提高研究人员的生产力。
2. 它分析非结构化数据的能力适用于许多实验测定结果的分析，例如显微图像，以及来自研究和临床常规的各种文本来源。
3. 深度学习还有效处理其他复杂的数据类型，包括基因组信息。
4. 在这些背景下，深度学习主要以两种方式被应用。
5. 第一种是通过用户友好的工具，无需编程技能，提供易于使用的图形界面。
6. 例如，像QuPath或ilastik这样的软件提供了直观的界面来分析显微图像，并可以通过深度学习模型扩展用于细胞分割或分类等任务。
7. 第二种更为高级的方法涉及使用如Python之类的编程语言与深度学习架构（如卷积神经网络或转换器）进行交互，通过脚本实现。
8. 这种方法提供了更大的灵活性，但需要具备基本的编程知识。
9. 深度学习算法也被用于分析医学影像数据，例如在核磁共振成像或计算机断层扫描中检测肿瘤，其精确度可与经验丰富的放射科医生相媲美。
10. 这项技术还帮助识别遗传数据中的细微模式，从而理解癌症的遗传起源。
11. 在药物发现领域，通过分析计算和实验数据，深度学习能够更高效地筛选潜在化合物，加速寻找新的癌症治疗方法的过程。
12. 此外，在组织病理学中使用深度学习来分析组织样本，可以非常准确地区分良性和恶性细胞，或者直接从影像数据中提取可用于临床的生物标志物。 [div_box]

AI for biomedical image analysis

1. 2010年代深度学习的突破，例如卷积神经网络（CNNs）的发展和大规模标注数据集的可用性，扩大了基于计算机的图像分析在更复杂任务中的应用范围。
2. 例如，在深度学习出现之前，传统的机器学习方法可以在显微镜图像中检测细胞。
3. 这些方法进一步应用于许多下游应用，比如根据组织切片中淋巴细胞的数量来预测癌症患者的预后。
4. 20世纪90年代早期至21世纪初的早期计算机视觉工具依赖于手工制作的特征，如边缘检测、纹理分析和基于颜色的分割，这需要领域专业知识，并且通常在不同数据集之间的泛化能力有限。
5. 虽然使用深度学习方法已经改进了简单的细胞检测，并使其更具泛化性，与前深度学习工具相比，如常用的StarDist工具，深度学习并非在显微镜图像中合理检测细胞所必需。
6. 然而，在更复杂的任务中情况则不同。
7. 对于从患者样本中进行的更为微妙的属性分析，例如生物标志物分析，几乎所有临床批准的系统都是基于深度学习。
8. 其中许多生物标志物是基于图像分类这一简单原理，下面将对此进行讨论

Cellular and molecular imaging analysis

细胞与分子成像分析

1. 癌症研究人员经常处理数字图像。
2. 在基础研究的情况下，这些实验可能涉及视觉评估，例如通过观察细胞培养物的汇合度、形态或生长作为初步步骤，或者通过明亮场或荧光显微镜等方法在活体中评估肿瘤生长。
3. 生物研究中的许多图像分析任务传统上是手动完成的，然而这不仅效率低下且容易出错，而且如果需要分析数千张输出图像，可能会使实验变得不可行。
4. 一般来说，通过使用深度学习来量化实验读数，可以使分析更加客观、可靠和快速。
5. 例如，在相差显微镜下的细胞检测中，深度学习可以快速可靠地检测单个细胞，并将它们分类为活细胞或死细胞。
6. 此类分析正被广泛使用，例如，通过商业平台如 Incucyte AI 细胞健康分析软件模块（Sartorius AG 公司）。

Open-source AI solutions for microscopy image analysis

开源人工智能解决方案用于显微镜图像分析

1. 一般来说，商业软件利用深度学习进行基础科学研究的应用仅限于常见的标准化任务，例如相位对比图像中的细胞计数。
2. 然而，开源社区已经提供了数十种深度学习方法用于显微图像分析。
3. 例如，QuPath是一款常用的软件，用于查看千兆像素级显微图像，在单个图像文件中包含多千兆字节的压缩数据，并且无需编程技能即可访问流行的深度学习模型，如‘stardist’用于细胞检测。
4. 同样地，ImageJ、ImageJ2和Fiji是生物学中许多图像查看和分析任务的标准工具，包括查看多通道、多维度的图像，即使是在较为罕见的文件格式（如CZI或MRXS）中，通过与Bio-Formats集成实现。
5. 在这些平台上，可以通过各种开源平台和插件运行预训练的深度学习模型，包括deepImageJ。
6. 一些预训练模型用于细胞分割、核分割或更专业的任务，如电子显微镜图像中的线粒体分割，可通过预训练模型库或集合（称为模型‘动物园’）获得，例如可在BioImage.io上找到。
7. 对于许多专业的小众应用而言，市面上并没有现成的模型或平台可供使用。
8. 在这种情况下，研究人员最好自行开发基于深度学习的软件，并在开源许可下将其重新分发给其他研究者。
9. 例如，深度学习已被多个学术研究团队成功应用于研究软件管道中，用于评估亮场显微镜下的肿瘤类器官34,35。
10. 这些研究团队已将他们的软件以开源许可的方式提供给其他研究者，从而促进了更广泛的采用和合作。
11. 此外，一些高级生物成像技术，如从低分辨率或嘈杂数据重建高分辨率荧光图像，如果没有深度学习则无法高效执行36。
12. 虽然ImageJ可以执行诸如拼接等基本图像重建任务，但基于深度学习的方法可以通过学习去除噪声、提高分辨率和从现有数据推断缺失信息，显著提高重建图像的质量。
13. 通常，研究团队必须开发先进的计算方法，比如定制的深度学习架构或新颖的训练策略，以便解决没有通用解决方案的具体图像分析需求。
14. 这些定制模型通过学习利用数据中的模式和关系来规避传统图像重建技术的局限性，而这些模式和关系是手工设计算法难以捕捉的。

Histopathology

组织病理学

Capabilities of deep learning in pathology image analysis

深度学习在病理图像分析中的能力

1. 在基础和转化癌症研究中，通过组织病理学17分析来自患者或动物模型的肿瘤组织以诊断和评估肿瘤。
2. 肿瘤的组织病理形态代表了肿瘤基因组、表观基因组及环境中的大量分子过程的结果。
3. 因此，将这些切片数字化为高分辨率、千兆像素图像至关重要。
4. 分析这些图像的挑战来自于它们巨大的尺寸与详细内容相结合。
5. 这种复杂性通常超出了标准显微镜图像分析工具（如ImageJ或Fiji29,31）的能力，尤其是在处理大量数据时。
6. 尽管ImageJ和Fiji提供了强大的图像处理和分析工具，包括创建宏和脚本实现自动化工作流程的能力，但它们并不适合处理千兆像素图像或大型数据集。
7. 其他软件，如QuPath，专为处理此类千兆像素图像而优化，但还有许多其他方式可以利用深度学习进行病理图像分析，下面我们将对此进行描述。

Computational pathology

计算病理学

1. 虽然数字病理学涉及获取、存储和查看这些图像，但对其进行分析则被称为计算病理学。
2. 从技术角度来看，在深度学习模型得到更广泛应用之前，图像分析流程由一系列高度工程化的步骤组成，这些步骤针对特定类型的分析进行了定制。
3. 例如，一个机器学习模型会检测细胞，之后另一个模型会对细胞进行分类，将其归入不同的细胞类型，最后还有一个模型会根据这些测量结果预测患者的预后。
4. 然而，由于整合多个处理阶段的复杂性，很难使用传统机器学习方法构建这种多步骤的管道。
5. 这些任务的复杂性导致基于深度学习的端到端模型被越来越多地采用作为一种替代方法，因为它们步骤较少，依赖于较少明确定义的专家知识。
6. 它们利用深度神经网络，并能直接从原始数据中学习，无需经过不同的中间步骤即可生成输出结果。

Tasks in computational pathology

计算病理学中的任务

1. 计算病理学可以应用于解决两类任务。
2. 一类任务包括重现人类对图像的评估，例如计数细胞或测量组织大小。
3. 根据Echle的观点，‘基本’任务旨在简化目前仅由病理学家执行的常规工作流程。
4. 原则上，这些基本任务可以由人类完成，但如果手动操作则耗时且不具备可扩展性。
5. 相比之下，根据先前建立的定义，高级任务包括从图像数据直接预测更高级别的属性，例如直接从苏木精和伊红（H&E）染色组织预测基因改变。
6. 某些基因改变，如结直肠癌中的微卫星不稳定性（MSI），与已知的形态特征相关联，这一点甚至在深度学习出现之前就已经为人所知。
7. 然而，深度学习方法能够自动分析这些形态特征，并仅通过观察常规病理切片就对潜在的基因改变做出定量预测。
8. 深度学习方法已经重新发现了基因型与表型之间已知的联系，并因此有可能被扩展用于检测许多其他基因改变的新基因型-表型联系，这些基因改变具有未知的形态表现。
9. 各种研究表明，单个基因的突变状态、有缺陷的DNA修复机制（如MSI）、同源重组缺陷或肿瘤突变负担都可以通过深度学习从H&E切片中进行预测。
10. 此外，这些模型有能力识别肿瘤上皮和间质区域内的形态模式，或者无需针对受体进行免疫组化或免疫荧光就可以预测乳腺癌样本中的激素受体表达状态。
11. 总之，将深度学习应用于病理学已经证明，可以通过基本的H&E图像识别肿瘤的分子特性。

Identifying and quantifying biomarkers from images

从图像中识别和量化生物标志物

1. 计算机基于的图像分类方法可以根据图像的视觉内容将其分类或归类到不同的组别。
2. 这一技术的一个显著应用是在医学图像分析领域，特别是在组织病理学中，其中图像分类方法被用来根据是否存在癌细胞来区分组织病理学图像。
3. 例如，可以使用深度学习来识别H&E染色组织切片中的肿瘤。
4. 图像分类的应用扩展到了更为复杂的任务，这些任务被称为高级计算病理学任务。
5. 这类应用的一个例子是对组织病理学图像进行分类，以直接从图像预测高级属性，如分子改变、未知原发癌症患者的肿瘤来源、患者的生存期或患者对免疫疗法的反应。
6. 这些高级计算病理学任务展示了深度学习能够直接从组织病理学图像中提取临床相关的生物标志物的潜力。
7. 通过学习识别图像数据中的复杂模式和关联，深度学习模型能够识别与特定分子改变、肿瘤类型、患者预后或治疗反应相关的视觉特征。
8. 因此，图像分类方法不仅有助于诊断过程，还促进了预测性生物标志物的发展，为个性化治疗策略提供了宝贵的见解。
9. 在接下来的部分中，我们将更详细地讨论癌症研究中的此类组织病理学图像分析任务

Commercially available and custom-built deep learning tools for computational pathology

商用现成及定制构建的深度学习工具用于计算病理学

1. 像QuPath这样的易于使用的软件提供了一些基于深度学习或机器学习的能力用于分析，包括自动组织分割、肿瘤检测和分类（补充表2）。
2. 通过使用脚本，QuPath还允许用户训练自定义模型来识别特定的细胞类型或量化生物标志物。
3. 此外，QuPath支持外部机器学习模型的集成，使用户能够在不需重新训练新模型的情况下应用高级算法进行复杂分析。
4. 尽管QuPath为基本计算病理学任务提供了用户友好的界面，但大多数专注于在组织病理学中更高级AI应用的研究团队通常使用自己开发的Python编程语言编写的管道。
5. 此外，研究人员经常开发自己的工具来进行数据注释或结果可视化，但也可能使用现有的工具；在过去3年里，已经出现了几个用于癌症研究中的计算病理学的多用途开源软件包，其中许多已被广泛重用。
6. 这些软件包包括FastPathology、TIAToolbox、CLAM和STAMP，它们都是建立在通用的数据处理和机器学习框架之上，如PyTorch、MONAI、OpenSlide和LibVips（补充表1）。
7. 非计算型癌症研究人员会发现熟悉Python编程很有帮助，然后完成基于Python的图像处理的基本课程（在许多在线平台包括商业平台如YouTube、Coursera和edX上均可获得），之后再深入到计算病理学管道库的文档和应用中去。

Challenges in computational pathology

计算病理学中的挑战

1. 计算病理学不仅能产生实用的工具，还能通过可解释性方法产生新的科学见解。
2. 这些方法帮助我们理解哪些形态学模式与深度学习系统的预测相关。
3. 然而，可解释的人工智能方法仍然有限，因为在深度学习流程中加入可解释性功能并非易事。
4. 这是因为大多数深度学习模型本质上是复杂和不透明的，拥有数百万个参数和多次非线性变换，这使得从输入到输出的决策过程难以追踪。
5. 为现有的深度学习流程增加可解释性需要精心设计的技术，例如注意力机制、显著性图或概念激活向量，这些技术可以突出显示输入数据中对模型预测有贡献的相关区域或特征。
6. 将这些技术开发并整合到生产就绪的计算病理学工作流中是一项非平凡的任务，需要在深度学习和可解释人工智能方面的专业知识。
7. 此外，在北美和欧洲缺乏数字病理学工作流阻碍了基于人工智能的工作流在癌症组织病理学中的实际临床应用。
8. 监管和伦理考虑、现有工作流中的集成挑战以及医疗保健专业人员对于人工智能可解释性和可信度的问题进一步限制了这一点。

Radiology

放射学

1. 用于诊断、治疗和监测治疗反应的临床放射学可包括用于癌症检测的计算机断层扫描（CT）、磁共振成像（MRI）或正电子发射断层扫描（PET）。
2. 与组织病理学不同，放射学产生的图像本质上是数字化的，因此不受数字化过程的限制。
3. 将计算机视觉模型融入放射学领域显著提升了该领域的分析能力，彻底改变了研究人员分析和解读放射图像的方式。
4. 这为提高诊断准确性、制定个性化治疗方案以及更深入地理解癌症铺平了道路。
5. 传统的机器学习模型通常依赖于预定义的手工制作的放射组学特征，在识别图像数据中的模式和特征方面展现出了显著的成功，这些模式和特征往往难以被肉眼直接识别。
6. 同时，深度学习模型处理原始放射学数据，通过自动识别相关特征而无需人工干预提供了一种更为灵活的方法。
7. 这种能力在处理大量数据时尤为重要，其中深度学习模型能够揭示图像中的复杂模式和关系。
8. 试图将手工制作的先验知识注入任何机器学习系统的效果不如无假设或数据驱动的深度学习方法，后者随着使用更多数据往往会表现出更佳性能，从而最终超越手工制作的管道。
9. 换句话说，随着可用数据量的增加，从数据中自动学习相关特征的深度学习模型倾向于超越依赖于基于先验知识手工设计特征的模型的性能。
10. 在放射学领域，大量的数据使深度学习通常优于诸如手工制作的放射组学等传统机器学习方法。
11. 然而，在某些情况下，传统机器学习相比深度学习可能具有优势。
12. 在数据有限（仅有几十到一百例样本可用）的情况下，深度学习模型从数据中学习的强大能力可能导致过拟合，因此使用较为简单的‘特征’如肿瘤大小和形状的传统机器学习模型可能更加可靠。
13. 总的来说，选择合适的方法来解决问题至关重要，只有深刻理解方法论原则和手头的数据才能做出恰当的决策。

Applying AI in radiology: key considerations and approaches

在放射学中应用人工智能：关键考虑因素和方法

1. 在将机器学习或深度学习模型应用于医学影像时，一个关键步骤是对数据进行预处理，以减少因同一影像模式下的不同采集协议而产生的变化。
2. 这包括标准化图像参数，如切片厚度和体素大小，降低噪声以及标准化信号强度。
3. 随后，可以使用预定义算法从放射学图像中提取深入信息，这些算法计算标准化的放射组学特征。
4. 这些是通过数学算法从医学图像中提取的手工制作参数，也称为工程化放射组学特征，旨在量化图像的特定方面，例如信号强度、纹理和形状。
5. 它们提供了关于体素密度或信号强度（取决于图像模式）的宝贵信息，并且还提供了有关感兴趣区域（ROI）的大小和形状的见解。
6. 在众多用于从医学图像中提取手工制作放射组学特征的算法中，Pyradiomics是一个广泛使用的Python包。
7. 要使用它，用户必须首先安装Pyradiomics并将必要的库导入到您的Python笔记本中。
8. 接下来，设置特征提取器以满足您的特定需求，包括图像预处理和特征选择选项。
9. 加载医学图像及其相关联的分割掩模后，该掩模勾勒出ROI，用户就可以从ROI中提取放射组学特征。
10. 这个可定制的过程可以根据您的研究要求进行调整。
11. 使用手工制作的放射组学特征，通常与经典的机器学习模型结合使用（即，在深度学习架构出现之前使用的模型，如逻辑回归、支持向量机（SVM）或随机森林），可以训练来测试各种假设。
12. 然而，重要的是要记住，应用手工制作的放射组学特征需要精心的图像标注，例如在癌症研究中勾画出对应于肿瘤的ROI。
13. 这个勾画过程应该由专业放射科医生手动完成。
14. 虽然一些软件，如3D Slicer或ITK-SNAP，提供了便利这一过程的工具，但它仍然是一项耗时的任务。

Deep learning applications for radiology

深度学习在放射学中的应用

1. 或者，神经网络在医学图像分析中提供了一种强大的方法。
2. 虽然它们也可以用预标记的肿瘤数据进行训练，但它们在处理整幅图像方面表现出色。
3. 使用整幅图像数据训练神经网络可以消除手动标记感兴趣区域这一劳动密集型过程。
4. 这也使模型能够从肿瘤以及医学扫描捕捉到的其他解剖结构中学习模式。
5. 此外，与依赖预定义手工特征的传统方法不同，深度学习模型可以直接从图像数据中自动学习相关特征。
6. 这一点对于提高图像质量同时减少采集时间至关重要。
7. 最近，通过大规模训练，放射学中的深度学习变得更加稳健，现在能够从全身扫描中精确地勾画出人体内的每个器官，为医学影像设立了新的标准。
8. 目前，几种计算机辅助系统被用于增强放射学影像分析，例如，作为改进肺癌检测（如aview LCS、syngo.CT Lung CAD、三星Auto Lung Nodule Detection和InferRead CD Lung）和乳腺癌（如breastscape v1.0和MammoScreen在筛查项目中及脑肿瘤诊断）的医疗设备。
9. 这些人工智能支持的放射学图像分析在肿瘤筛查应用中已经在大规模前瞻性临床试验中得到了验证。
10. 除此之外，机器学习和深度学习模型在识别放射学成像中的细微癌症模式方面也显示出巨大潜力，这些模式与特定突变以及对不同治疗方法的反应可能性相关，在临床前和临床环境中都是如此。
11. 由于临床前实验通常涉及较小的数据集，通常只有几十只小鼠，而临床试验则涉及数百名患者，因此一些应用将图像中的每个体素视为输入，这有助于缓解深度学习模型因数据有限而面临的挑战。
12. 这种基于体素的方法允许进行更详细的分析，通过将每个体素视为单独的数据点，可能增加对研究相关的细微特征的敏感性。
13. 这种方法与使用整幅图像作为信息来源形成对比。
14. 分析整幅图像允许整合上下文和空间信息。
15. 再次强调，了解可用工具的基本原理（不一定需要具备所有工具的编程技能）有助于研究人员为手头的问题选择最合适的分析工具。

Foundation models in biomedical image analysis

生物医学图像分析中的基础模型

1. 基础模型，也称为基础性模型，是一种深度学习模型，使用SSL在大规模多样化的数据集上进行预训练。
2. 基础模型可以在任何类型的数据上进行训练，包括图像、文本或两者结合。
3. 这些模型的目标是学习可以应用于广泛任务的一般特征和模式，而不是从零开始为特定任务进行训练。
4. 例如，不同条件和不同显微镜下获得的各种显微图像，包括明场和荧光成像，被用来训练基础模型。
5. 这些模型在其训练数据中学习一般特征和模式；例如，在显微图像上训练的模型可以了解强度、形状和结构关系。
6. 这种预训练使模型能够捕获对数据的广泛理解，然后可以使用较小的标注数据集进行微调，以适应特定任务。
7. 自2020年代初以来，随着SSL的出现，基础模型已在生物医学图像分析领域崭露头角。
8. 基础模型通常用作起点，通过使用较小的标注数据集进行微调来产生更专注、更专业的模型。
9. 在医学图像分析中，这一程序可以为任何任务生成更好的模型，例如图像分类任务。
10. 类似的，针对其他医学成像方式的基础模型正在开发中，包括跨模态应用（图1d）。
11. 跨模态应用指的是能够处理和整合不同类型数据信息的人工智能系统，如将放射学图像与临床笔记相结合，或将病理图像与基因组数据相结合，或者通常来说，图像与文本相结合。
12. 要做到这一点需要大量的计算能力和工程资源，以及访问大量数据集。
13. 理想情况下，需要一个配备多个甚至是数十个图形处理器（GPU）的计算集群。
14. 2023年，多个研究团队和商业实体发布了开源的基础模型，使它们得到了广泛的利用。
15. 总之，基础模型的兴起标志着癌症研究的重大进步，这已经导致相关任务性能的实际提升，使得可以用更少的数据训练出更有效的模型。
16. 使用这些模型仍然需要Python编程技能，但未来的发展可能会进一步普及这项技术，使其对编程技能有限或没有编程经验的研究人员也变得可及。
17. （图2a,b）

AI for language

Natural language processing

自然语言处理

1. 自然语言是一种非结构化数据，对其进行计算机分析极具挑战性。
2. 自2020年代初以来，大型语言模型(LLMs)的出现显著提高了基于计算机的方法处理自然语言处理(NLP)的能力，现在它们已成为处理任何文本的最先进方法。
3. NLP是人工智能领域内一个广泛的领域，专注于计算机与人类语言之间的交互，而LLMs是一种用于NLP任务的特定类型的深度学习模型。
4. 基于变换器架构的LLMs近年来已成为NLP中最流行和有效的方法。
5. LLMs属于生成式AI的一部分，这意味着它们不仅能改写、总结或翻译文本，还能合成新的文本。
6. LLMs的日益普及和标准化使得NLP方法更加易于获取，使非专家也能使用现成的模型来解决NLP任务，例如OpenAI的chatGPT。
7. 除了存储和检索知识外，LLMs还能对文本进行推理，能够翻译和改变文本风格，并能从放射学报告、病理报告和医疗记录中提取结构化信息。
8. LLMs还具有医学知识，并且可以利用这些知识，例如根据影像报告提供建议。
9. 这些能力在癌症研究中尤为重要，因为该领域在多个层面上依赖于文本——从记录初步想法和实验数据到交流见解和传播科学发现。
10. 预计在癌症研究环境中LLMs的日益普及和应用将对研究方法产生重大影响，尽管由于监管和验证挑战，它们在临床应用仍处于早期阶段

Fig. 3: Text-based hypothetical AI workflows in cancer research.

• 自然语言处理（NLP）模型的发展经历了从循环神经网络（RNN）架构向变换器架构的转变。
• 在这些变换器模型中，输入标记（例如，单词）首先通过NLP模型的关键部分——嵌入层转换为向量。
• 在这里，单词或短语被转化为数值表示形式，使模型能够处理语言。
• 这些向量加上位置和段落嵌入（这些嵌入提供了关于标记顺序和关系的上下文信息）随后通过"变换器编码器"。
• 变换器编码器是模型中的高级组件，它们通过考虑每个词与其他词的关系来处理输入，从而使模型能够理解复杂的语言模式。
• 变换器模型的输出层根据处理后的输入生成最终预测或表示，这些可以用于诸如文本分类、命名实体识别或文本生成等各种下游任务。
• 训练好的NLP模型可以应用于癌症研究的各种任务。
• 例如，它们可以将非结构化的临床笔记或研究论文转换为结构化格式，使信息更易于访问和分析。
• 这可以通过在大量标注文本数据上训练模型来实现，其中所需的结构化格式作为标签提供。
• 模型学会识别关键信息，并将其映射到结构化格式中的相应字段。
• NLP模型还可以总结长文档，如研究文章或临床试验报告，突出关键点和发现。
• 这些模型的训练和微调取决于数据集大小和计算能力。
• 从头开始训练大型语言模型（LLM）需要互联网规模的数据集，包含数十亿个单词以及庞大的计算基础设施。
• 然而，一旦这些大型模型预训练完成，就可以使用小得多的领域特定数据集对其进行微调以执行特定任务，这些数据集通常包含几百到几千个样本。
• 这种微调过程对计算资源的需求较小，可以在较小规模的基础设施上进行。
• 对于某些任务，LLM可以采用‘零样本’方式执行，即无需任何额外训练即可执行任务，仅依赖于它们预先存在的知识。
• 这种零样本能力使LLM能够在各种任务上得到应用，甚至可以在资源受限的设备如手机上使用。
• 在上下文中学习和基于检索的生成（RAG）是另外两种方法，前者是在输入提示中提供几个所需任务的例子，后者是给模型提供额外文档，使模型能够在没有明确微调的情况下适应任务。
• 这些不同的方法使得语言理解和生成能力更加易于获取和高效

1. 大型语言模型的出现为癌症研究开启了众多应用领域，其中许多领域才刚刚开始被探索。
2. 研究人员现在可以利用这些现成的模型执行各种任务：解析和完善他们的想法、总结实验记录、推理复杂概念、获取新技能、压缩文档以及更有效地传播研究成果。
3. 随着自然语言处理技术的进一步发展，我们不断发现新的用途，每一种都有潜力提高学术研究的效率和范围，并最终改变肿瘤学的临床实践。
4. 值得注意的是，大型语言模型标志着与传统机器学习方法的偏离，因为传统的机器学习需要特定的数据集来解决问题，随后在这些数据上训练模型并进行评估。
5. 例如，OpenAI 的流行‘生成预训练转换器（GPT）’模型，包括支持 chatGPT 的模型，从设计上就是基础模型。
6. 通过自我监督学习在涵盖各个领域的大量文本语料库上进行训练，包括医学和科学文本，大型语言模型积累了广泛的知识库。
7. 因此，由于所需的巨大计算资源，研究人员通常不会从头开始重新训练这些模型。
8. 相反，基础大型语言模型通常以零样本的方式直接应用于研究任务中

Zero-shot applications

零样本应用

1. 流行的方法被称为零样本应用，其中大型语言模型直接用于任务上，而无需使用任何训练实例进行预先特定的训练。
2. 例如，研究者可以通过将文本输入到大型语言模型中来提示模型结构化或总结他们的非结构化笔记，该模型处理文本并返回摘要。
3. 零样本应用的有效性依赖于提示工程。
4. 有效地表述提示可以在不需要额外数据或算法调整的情况下显著提高结果。
5. 在医学应用中，零样本方法已被用来总结非结构化的放射学报告、病理报告或临床记录；此外，还可以根据放射图像提供治疗建议或回答医学检查问题。
6. 零样本应用通常在简单的任务上表现良好，每当这种情况下，可以说是使用大型语言模型最简单和最快的方式。

Beyond zero-shot applications