英文原题：
Applications of Transformers in Computational Chemistry: Recent Progress and Prospects
通讯作者：
李有勇，纪玉金，李述汤，苏州大学，澳门科技大学
作者：
Rui Wang (王瑞), Yujin Ji (纪玉金) , Youyong Li (李有勇) , Shuit-Tong Lee (李述汤)
最近，诺贝尔物理学奖和化学奖授予了人工智能领域的科学家，突显了机器学习的革命性力量。物理和化学学科具有悠久的研究历史，积累了大量的实验数据，这为数据驱动的机器学习模型提供了发展基础。机器学习模型可以探索数据背后隐藏的逻辑关系，从而提供有价值的分析预测，降低实验成本，加快研究速度。
Transformer模型由Vaswani等人于2017年提出，具有强大的多头注意力模块，不仅可以捕获长序列数据中的内部依赖关系，准确建模底层逻辑，还支持并行计算，从而提高运算效率。近年来，基于Transformer架构的模型被应用于计算化学领域，表现出显著优势，吸引了研究人员的广泛关注。
近日，澳门科技大学李述汤院士/李有勇教授团队教授在
JPC Letters
上发表了 关于Transformer模型在计算化学领域的应用展望。首先介绍了在计算化学领域中两种具有代表性的Transformer模型架构：基于序列的Transformer模型和基于图的Transformer模型，然后从性质预测，化学结构生成，化学反应模拟和多模态任务四个方面介绍了具体的研究，最后对未来的发展方向进行了展望。
图2. Transformer在计算化学领域的四种主要应用
尽管Transformer模型已经取得了显著的成就，但未来仍需进行更深入的探索。首先，深度学习模型的普适性相对有限。未来的研究应注重建立统一、标准化的数据集，完善动态更新机制，使模型能够及时适应最新的实验要求。此外，还应关注模型压缩等技术的开发，从而降低模型的部署门槛。
其次，模型的可解释性仍然较低。未来的研究应以开发具有高可解释性的模型为目标，将可视化技术、注意力机制分析和可解释性算法相结合，使研究人员和用户能够理解模型的决策过程。
最后，模型的集成性尚不完善。未来可尝试将专用模型和通用模型结合，使模型同时具有两者优点，从而构建性能更强大、应用范围更广的模型以满足不同应用场景的需求。
相关论文发表在
JPC Letters
上，澳门科技大学博士研究生
王瑞
为文章的第一作者，
纪玉金
副教授、
李有勇
教授和
李述汤
院士为通讯作者。
纪玉金，苏州大学副教授，2019年博士毕业于苏州大学，2018-2019年于美国得州大学奥斯汀分校进行联合培养。主要从事二维材料在能源存储与转化领域的理论模拟与设计研究，发表学术论文 100余篇，他引6000余次，H-index 41，工作主要集中于基于多尺度模拟方法探究二维材料表面微观原子结构及形貌动态演变过程，揭示材料表面化学反应机制以及原子-电子层面的构效关系，并结合二维材料数据库进行高通量筛选、材料设计与性能优化。
李有勇 教授
李有勇，苏州大学教授、博士生导师。连续5年入选科睿唯安全球高被引科学家，担任中国化学会计算化学委员会委员，曾获宝钢奖、 IET奖等奖项，入选江苏省第四期 333 高层次人才培养工程和苏州紧缺人才。长期从事材料模拟与设计研究， 发表学术论文 600余篇，他引30000余次，H-index 90，工作主要集中于结合不同多尺度的模拟方法（密度泛函理论、分子力场方法、介观尺度模拟方法等）对功能纳米材料和复杂分子体系进行研究。
李述汤 院士
李述汤，中国科学院院士，发展中国家科学院院士，苏州大学、澳门科技大学教授、博士生导师。担任苏州大学功能纳米与软物质研究院（FUNSOM）院长，澳门科技大学澳门材料科学与工程研究院（MIMSE）院长。长期从事有机光电子材料及显示器件、纳米功能材料及器件、以及金刚石和相关超硬薄膜领域的研究，发表学术论文 1100余篇，他引92000余次，H-index 148。
课题组网站：
http://www.modeling.org.cn/
J. Phys. Chem. Lett.
2025, 16, XXX, 421–434
https://doi.org/10.1021/acs.jpclett.4c03128
Published December 31, 2024
© 2025 American Chemical Society
