技术博客 | 人工智能推动科学计算革命

AI 及其最新子域， 生成式人工智能 正在显著加快 科学计算 研究。 从药物和材料科学到天文学，这项改变游戏规则的技术正在开辟新的可能性，并以前所未有的速度推动进步。

2022 年戈登·贝尔特别奖表彰了来自顶尖机构的一组研究人员，他们在建模导致大流行的病毒进化方面所做的开创性工作。利用基因组数据，他们开发了 大语言模型 （ LLM ）称为基因组规模语言模型（ GenSLM ）。这些模型在超过 110M 个原核基因序列上进行了预训练，并在 1 . 5M 个严重急性呼吸系统综合征冠状病毒 2 型基因组上进行了微调。

GenSLM 代表了第一个全基因组规模的基础模型之一，并在北极星和赛琳娜超级计算系统上展示了令人印象深刻的规模。

图 1 ：2022 年关于严重急性呼吸系统综合征冠状病毒 2 型的最初基因序列 LLM 项目的工作流程

图 1 显示了从在 110M PATRIC 序列上训练的基础模型开始的工作流程。然后对严重急性呼吸系统综合征冠状病毒 2 型 ORF 进行微调。经过训练的基础模型可能有两条路径：

• A . 预测工作流程 它使用扩散模型来获得基因组织的层次结构并生成严重急性呼吸系统综合征冠状病毒 2 型基因组。这是生成式 AI 。输出可以发送到 OPENFOLD 。

• A . 检测工作流程 生成语义相似度评分（嵌入），该评分着眼于免疫逃逸并识别关注度评分的变异毒株。似然性得分的序列日志用于进行适应度评估，并创建关注度得分的变体（关键输出）。

OPENFOLD 模型用于检查表位改变，该改变为免疫逃逸分析步骤提供了依据。OPENFOLD 还通过分子动力学模拟提供 PPI 相互作用，为适应度评估分析提供信息。

LLM 与基因组学和蛋白质组学有着天然的亲和力，因为它们是简单意义上的字母或语言。就像在语言中一样，远离序列的字母的上下文可能具有意义。

这种理解上下文的能力使 LLM 有助于模拟基因组不同部分基因之间的相互作用。这种相互作用被称为上位性， transformer 模型有助于理解序列的多个部分如何在 3D 空间中相互作用以支持折叠。

最初的 GenSLM 工作流程正在使用 GPT-3 和强化学习进行扩展和更新，取得了良好的初步结果，并正在 Perlmutter 超级计算机上进行大规模训练。

图 2 ：使用 GPT-3 和强化学习的工作流程

在图 2 中，种子模型，一个预训练的 LLM ，用于生成策略模块，其中包含模型（ policy ）和参考模型（ reference policy ）。策略模块进入序列生成、奖励步骤，然后是参考学习损失步骤。奖励模型（序列、结构、函数）也输入到奖励步骤中。反向传播反馈到策略模块中。在 110M PATRIC 序列上训练的基础模型用于微调蛋白质靶点上的模型，从而创建训练过的基础模型。

许多代理处理强化学习策略以输入多目标损失函数：

• 代理 1 ： 使用进化耦合分析来评估序列。

• 试剂 2 ： 通过实验观察评估序列、结构和动力学。

• 代理 k ： 通过分子动力学模拟评估序列、结构和能量学。

  
  

输入到多功能损失函数中的奖励的结果通知奖励模型。

使用扩散模型，使用 AlphaFold 处理的合成序列似乎折叠成所需的野生型结构。AlphaFold 是 DeepMind 创建的一个人工智能系统，可以根据蛋白质的氨基酸序列预测蛋白质的 3D 结构。

图 3 ：生成的变体在进化上接近 BQ . 1

现在，您可以生成具有不同程度序列同一性和正匹配的新序列。你也可以生成具有功能结构域的最小序列，并可以作为生产酶发挥作用。随后将进行体外表达和酶促验证。

预计阿贡国家实验室的研究团队明年将把他们的工作流程升级为 GPT-4 。由于人工智能在科学计算中的作用，科学的变化速度是前所未有的。仅在 3 年前使用的模型现在已经过时，如果当前模型在未来 3 年内过时也就不足为奇了。这种快速的进步正在推动科学研究的进步并开辟新的可能性。

在环形等离子体的实验中，掌握等离子体不稳定性的准确信息可以帮助成功地控制等离子体。

例如，等离子体中主要破坏的一个常见原因是新古典撕裂模式（ NTM ）。这些干扰可能会对实验装置造成损坏。通过识别和控制可以激发 NTM 的等离子体扰动，可以防止这些破坏。

这个 ITER 项目 是一项国际努力，旨在建造一个能够产生无限无碳能源的聚变反应堆。ITER 的运行和等离子体控制系统的设计依赖于从较小的实验设备中推断信息。

通过使用基于第一性原理的模拟研究等离子体的不稳定性，有可能提高我们对 ITER 等未来聚变装置中动力学和输运的理解和预测。然而，这些模拟的计算成本可能很高，运行时间也很长，因此很难在实时实验中使用。

机器学习模型已被用于预测等离子体控制系统中的等离子体行为。最近，基于深度学习的模型在预测干扰和扰动磁信号方面显示出了有希望的结果。研究人员 DIII-D National Fusion Facility 美国最大的磁聚变研究实验通用原子公司开发了一个基于深度学习的替代模型，利用全球回旋动力学环形代码模拟的数据模拟等离子体的不稳定性。

该模型已经证明了对线性扭结模式不稳定性特性的强大预测能力，并可以提供基于物理的不稳定性信息，以补充实验测量并指导等离子体控制系统。该模型的推理时间约为毫秒，适用于实时等离子体控制系统。这种方法显示了在聚变实验中使用机器学习来模拟和预测等离子体不稳定性的潜力。

回旋动力学超环面代码的 S GTC 替代模型（ S GTC ）改变了游戏规则，将模拟时间减少了至少六个数量级。有史以来第一次，有可能将基于第一性原理的大规模并行模拟中基于物理的不稳定性信息引入现代托卡马克的等离子体控制系统。DIII-D 聚变实验的初始替代模型和 “控制预测” 包含在 NVIDIA Omniverse 以创建聚变反应堆工作流程的数字孪生。

正在评估 S GTC 模型，以从神经网络演变为基于 transformer 的模型。

详细的探测器模拟是粒子和核物理的重要组成部分。模拟用于将预测与数据进行比较，并设计未来的实验。这些模拟中使用最广泛的程序是 GEANT 。

然而，通过这些模拟实现精度需要大量的计算时间，因为粒子必须通过材料传播，从而导致许多二次粒子发生相互作用。

热量计是最难模拟的探测器，因为它们的工作是阻止粒子并测量它们沉积的能量。 High energy physics （ HEP ）是一个物理学领域，探索自然的基本组成部分，以及它们如何在最小和最大的尺度上相互作用。在 HEP 中，所有计算资源中有一小部分用于使用 GEANT 进行这些模拟。

然而，由于计算预算的限制，不可能对大型强子对撞机的所有事件进行完整的模拟。因此，已经开发了快速模拟方法，该方法使用调整为完全模拟的更简单的模型。这些模型的参数较少，更容易优化和验证，但精度较低。

深度学习提供了一种互补的方法，使用灵活的神经网络将随机数转换为结构化数据。

不同类型的深度生成模型用于模拟量热计淋浴和其他粒子探测器。每种方法都有其优点和缺点：

• 甘斯 是快速和灵活的，但是优化可能具有挑战性并且可能遭受模式崩溃。

• 可变自动编码器 （ VAE ）可以学习输入数据的平滑潜在状态表示，但与标准自动编码器相比，训练起来可能更复杂且计算成本更高。

• 规范化流程 （ NFs ）往往对模式崩溃具有鲁棒性，并且具有凸损失函数，但难以扩展到更高维的数据集。

一类新的深度生成算法称为 SCORE-based generative models 利用单个生成器网络最小化凸损失函数，并在训练后提供对完整数据可能性的访问。这些模型在其网络架构中具有更大的灵活性，并且可以引入瓶颈层，这可以减少可训练参数的数量并提高可扩展性。

制定有效的战略来缓解和适应气候变化的影响，取决于我们能否创建准确的气候模型，准确预测长期内的区域气候趋势。超高分辨率气候建模需要比目前高出数百万到数十亿倍的计算能力，可以提前几十年模拟云层形成和区域极端天气事件预测。

通过利用 GPU 的能力——加速计算、深度学习、基于物理的神经网络、人工智能超级计算机和海量数据集，我们可以实现计算速度的百万倍加速。此外，超分辨率技术使我们更接近超高分辨率气候建模所需的十亿倍飞跃。

这些进步使早期预警成为可能，帮助国家、城市和城镇适应和加强其基础设施。预测准确性的提高将激励人民和国家采取更紧急的行动。