当物理学遇到机器学习：基于物理知识的机器学习综述

集智俱乐部 · 公众号 · · 2022-05-15 16:43

正文

摘要

物理信息机器学习（Physics-informed machine learning，PIML），指的是将物理学的先验知识（历史上自然现象和人类行为的高度抽象），与数据驱动的机器学习模型相结合，这已经成为缓解训练数据短缺、提高模型泛化能力和确保结果的物理合理性的有效途径。在本文中，我们调查了最近在PIML方面的大量工作，并从三个方面进行了总结：（1）PIML发展的动机，（2）PIML中的物理知识，（3）PIML中的物理知识整合方法。我们还讨论了当前PIML的挑战和相应的研究机会。

研究领域：机器学习，物理学

潘佳栋 | 作者

梁金 | 审校

邓一雪 | 编辑

论文题目：

When Physics Meets Machine Learning: A Survey of Physics-Informed Machine Learning

论文链接：

https://arxiv.org/abs/2203.16797

1. 简介：物理知识嵌入机器学习

机器学习/深度学习模型已经在一些领域取得了巨大的成功，如计算机视觉[1-5]和自然语言处理[6-14]，大量的训练数据和高表现力的神经网络架构给出了超越之前方法的解决问题的方案。因此，研究人员也开始探索应用机器学习模型来推进科学发现和进一步改善传统分析建模的可能性[15-21]。

虽然给定一组输入和输出对，深度神经网络能够在充分的大量数据上通过适当的优化来得到输入和输出之间的复杂关系，但先验知识仍然在寻找最优解方面起着重要作用。作为对数据分布和任务属性的高层次提取， 先验知识如果纳入得当，可以提供在有限的训练数据中不存在或难以提取的丰富信息，并有助于提高数据效率、泛化能力和产生模型的合理性。

在漫长的历史中，物理知识在理论和实验上都得到了明确的收集和验证，在许多重要的科学和工程应用中包含了对自然现象和人类行为的抽象和总结。因此本文重点讨论了将先验物理知识整合到机器学习模型中的课题，即 物理信息机器学习 （PIML）。与其他类型的先验知识，如知识图谱、逻辑规则和人类反馈[22]的整合相比，由于物理知识的特殊属性和形式，物理知识的整合需要特殊设计。

本文调查了最近在PIML方面的大量工作，并从三个方面对其进行总结。(1) PIML的动机，可以进一步归类为使用机器学习来服务于物理领域的任务，和将物理学原理融入到现有机器学习模型中用于现实世界的任务。(2) PIML中的物理知识，每一类都是涵盖广泛问题的一般原则。(3) PIML中物理学知识整合的方法。根据知识整合的位置，我们将这些方法分为数据增强、神经网络架构设计和物理信息优化。

本文的结构如下。第2节使用 PIML分析了两大动机：一类主要服务于物理领域的任务，另一类服务于现实世界的问题。第3节介绍了PIML中广泛使用的几个通用物理原理。第4节研究物理知识整合的方法。第5节讨论了PIML的挑战和潜在的未来研究方向。第6节是整篇论文的总结。

2. PIML的动机：

物理用于机器学习，机器学习用于物理

物理科学问题涉及各种数据密集型任务，包括时空数据建模、因果推理、计算机视觉、概率推理等。由于机器学习方法在这些任务中取得了巨大的成功，近年来使用机器学习模型来促进物理学的科学发现越来越受到关注。

另一方面，与现有的基于数值或纯物理的方法相比，基于物理的机器学习方法在灵活性、通用性和计算成本方面具有优势。同时，它们仍然具有物理上的合理性。本节介绍了将机器学习用于若干物理相关任务的最新进展，包括替代模型模拟、数据驱动的PDE求解器、物理模型的参数化、降维模型和知识发现。

3. PIML中的物理知识

本节介绍了集成在PIML中的几类通用物理知识。虽然有更多的领域/任务特定的知识可以用于相应的解决方案，但我们在本节中介绍的每个类别都涵盖了广泛的问题，并给出了一系列普遍适用的解决途径，而不是仅仅解决一两个特定任务的方案。

首先是 经典力学和能量守恒定律 。牛顿力学、拉格朗日力学和哈密顿力学是描述经典力学系统的三种典型方法。牛顿力学被广泛用于描述位置、速度、加速度和力之间的关系，而拉格朗日和哈密顿力学则提供了有效的工具，遵守动力学系统建模中的能量守恒定律。

其次是 对称性和不变量 。定义在一个物体或系统上的对称性是一些保持某些属性不变的变换。典型的对称性包括视觉对象分类问题中的移动、分子属性预测问题中的旋转以及粒子系统中的排列组合。

PIML中的通用物理知识还包括 偏微分方程的数值方法和Koopman理论 。

4. PIML的方法

机器学习问题的典型解决方案涉及三个关键部分： 数据、模型 和优化，每个部分都可以与物理知识相结合。接下来的部分分别介绍将物理知识结合到每个部分的现有技术。但是，我们应该注意到，这些技术并不是相互排斥的：物理知识可以集成到机器学习解决方案的多个部分中。

我们根据物理知识的形式和整合方法对现有的工作进行分类。我们注意到，对于具有分析形式的知识，现有的工作可以将知识整合到所有三个方面，包括数据、模型和优化。然而，关于整合其他通用类型物理知识的研究工作，包括能量守恒定律、对称性、偏微分方程的数值方法和Koopman理论，主要侧重于将相应的知识纳入计算图。主要原因是这种通用的物理知识有可能转化为可重复使用的网络架构中的归纳偏差，这在预测性能和数据效率方面比数据增强和基于物理知识的损失函数有优势。这是由于 (1) 通用的物理知识适用于各种问题，从而导致通用的网络架构，(2) 与为特定领域问题（如天气和湍流）设计的复杂数值模拟器相比，归纳偏差具有更简单的形式，可以转化为有限数量的不同可微算子的组合。

当物理学遇到机器学习：基于物理知识的机器学习综述

正文

1. 简介：物理知识嵌入机器学习

2. PIML的动机：

物理用于机器学习，机器学习用于物理

3. PIML中的物理知识

4. PIML的方法

5. 挑战和未来的方向

请到「今天看啥」查看全文

当物理学遇到机器学习：基于物理知识的机器学习综述

正文

1. 简介：物理知识嵌入机器学习

2. PIML的动机： 物理用于机器学习，机器学习用于物理

3. PIML中的物理知识

4. PIML的方法

5. 挑战和未来的方向

请到「今天看啥」查看全文

2. PIML的动机：

物理用于机器学习，机器学习用于物理