LOGS第2024/03/23期 ||中国科学技术大学王泓：利用Krylov recycling算法加速PDE数据集生成

深度学习与图网络 · 公众号 · · 2024-03-20 11:31

正文

独行速，众行远。图学习研讨会（LOGS）公众号不定期地举行图学习以及机器学习相关的研讨会，邀请相关领域的专家，一线科研人员和顶会论文作者进行分享，希望能够给大家提供一个相互交流，研讨，和学习的平台。如果您有相关的研究，想要研讨与分享，或者有感兴趣的topic和论文也欢迎给我们留言。

报告内容

	图学习研讨会
报告时间	2024年03月23日（周六） 10:00（北京时间）
报告主题	利用Krylov recycling算法加速PDE数据集生成 (ICLR'24 Spotlight)
报告嘉宾	王泓（中国科学技术大学）

内容简介

神经算子等数据驱动的PDE算法是AI for PDE的主流算法，在PDE求解的任务上取得了很好的效果，甚至用于了很多其他AI领域。但是各类不同的 PDE 差距巨大，在数值求解 PDE 领域本身就没有 “ 泛化性 ” 这一说。也就是说，为了训练这些 AI 算法，反而需要针对不同的 PDE 反复调用高昂的传统算法来生成训练数据集。这已经成为限制该领域发展的最大障碍。然而计算数学中 NPDE 主要研究的是如何更好地求解一个 PDE 问题，并不存在求解一系列 PDE 问题生成数据集这种问题。即传统计算数学领域并不存在加速生成 PDE 数据集的任务。

因此现有的做法，例如 FNO 、 DeepONet 等工作的数据集都是通过反复调用传统算法来生成的，没有任何优化。但事实上，这些 PDE 问题本身就存在很强相关性（神经算子就是在学这个）。我们设计了一种基于 Krylov subspace recycling 的算法，从纯计算数学的角度来获取 PDE 之间的相关性，从而加速了线性方程组的求解，最终加速了数据集生成。我们的算法从矩阵算法、子空间加速角度出发的，是纯加速，没有误差损失，也就是不会改变最后生成数据的结果。并且我们从理论上，分析了为什么我们的算法能加速，以及如何对数据集排序让效果更好。