何恺明带队驯服AI更懂物理！去噪方法+哈密顿网络，清华校友一作

梦晨 西风 发自 凹非寺
量子位 | 公众号 QbitAI

不过半个月，何恺明又有新作了，这次的主题是：

去噪方法 结合 哈密顿神经网络 ，让AI更懂物理。

何恺明团队认为，现有机器学习框架在处理物理问题时存在以下局限：

• 主要关注局部时间关系 ，如预测下一个时间步长的物理状态，而忽略了长程和高层物理交互

• 主要聚焦于正向模拟 ，如根据初始条件预测系统的演变，而忽视了其他物理推理任务

受到生成图像的扩散模型启发，新框架去噪哈密顿网络 将哈密顿神力学运算符推广为通用的神经运算符 ，既遵循物理约束，又利用神经网络的灵活性和表现力，并在钟摆等物理推理任务中展示了去噪哈密顿网络的有效性和灵活性。

让AI更懂物理，怎么做到的？

首先来介绍哈密顿力学，将系统的演化通过相空间中的轨迹表示，其中的动力学规律由 哈密顿方程 给出。

传统的哈密顿神经网络 （HNN） 将哈密顿量视为由神经网络参数化的黑盒函数，并通过优化参数最小化损失函数。

但HNN在推理时却受到挑战，由于确定新的系统状态需要解决优化问题，当可用数据由单个仿真轨迹组成而没有额外的参考点时，就会变得困难。

新的解决办法是把优化过程合并到网络中，统一了每个时间步长状态优化的去噪更新规则和跨时间步的哈密顿建模状态关系。

首先， Block-wise哈密顿量 设计将系统状态按块划分和设置步长，建立起不同时间块之间的联系，可以观察系统在不同时间尺度上的行为，超越了经典HNN仅对相邻时间步的建模局限。

由于期望Block-wise哈密顿量不仅能对跨时间步的状态关系进行建模，还能学习每个时间步的状态优化，以用于推理。

因此采用 掩码建模策略 ，在训练网络时，将部分输入状态掩码掉。

具体操作上，向输入状态添加不同幅度的噪声，而不是简单地掩码掉输入状态。

通过设计不同的掩码模式，可实现适应不同任务的灵活推理策略：

• 自回归掩码： 掩码掉最后几个状态，类似于物理模拟中的下一状态预测的前向建模。在正向模拟任务中，训练时模型根据前面已知状态预测被掩码的后续状态，学习状态随时间的演变规律，推理时利用这些规律预测未来状态。

• 超分辨率掩码： 掩码掉中间的状态，可用于数据插值。在轨迹插值任务中，通过这种掩码模式，模型学习根据周围已知状态来推断中间被掩码状态的值，从而实现对稀疏轨迹的超分辨率处理。

• 任意顺序掩码： 包括随机掩码，可根据任务需求自适应设计掩码模式，增强模型在不同场景下的适应性。在表示学习任务中，随机掩码有助于模型学习到更鲁棒的物理系统特征表示。

基于Block-wise哈密顿量构建的神经网络基于仅解码器Transformer。

总体是与GPT系列类似的架构，但没有因果注意力掩码，对每个轨迹使用潜空间编码z作为哈密顿值输出的查询token，编码每个状态的噪声标度并添加到位置嵌入中。

该架构不是依靠编码器从轨迹数据中推断全局潜空间编码，而是采用自解码器框架，为每个轨迹维护一个可学习的潜空间编码z。

这种方法允许模型存储和优化特定于系统的嵌入，而无需单独的编码过程。

在训练过程中，共同优化网络权重和Codebook。训练后，给定一个新的轨迹冻结网络权重，只优化新轨迹的潜空间编码。