图1. 自动模拟智能体ASA（autonomous simulation agent）通过LLM提示工程设计，实现了从实验设计到报告生成的全模拟科研流程自动化。通过使用命令 do prj1.txt 提交研究计划文件，ASA 将自动执行所有任务，无需任何人工干预。在科学研究中，理论模拟是一个至关重要的环节，尤其是在材料科学、化学和物理等领域。传统的模拟研究流程通常包括编写模拟程序、上传到远程服务器执行、数据分析和报告生成等步骤。这些步骤在确定研究计划后往往是标准化的，但通常需要研究人员手动操作，耗时且繁琐。随着人工智能（AI）技术的快速发展，特别是大型语言模型（LLMs，如ChatGPT）的崛起，利用AI实现科学研究自动化、简化工作流程并提高科研效率的设想逐渐成为可能。然而，如何实现从实验设计到报告生成的全流程自动化，仍然是一个亟待解决的重大挑战。针对这一挑战，复旦大学李剑锋课题组首次提出了一种基于LLM提示词工程设计的自动模拟助手（ASA），能够根据研究计划（RP）自动完成从编写程序、远程执行到数据分析和报告撰写的全流程模拟研究。这一工作标志着理论模拟科研全流程自动化的首次实现，为未来的科学研究自动化提供了新的思路。ASA的核心亮点在于，它能根据简短的描述自动设计详细的RP并执行。例如，研究人员要求ASA选择两种机器学习方法预测材料性能，ASA自动建立了神经网络和随机森林模型并进行了训练，验证集R-squared值分别达到0.9589和0.9236，且生成了高质量报告比较两种方法的特点。此外，ASA-GPT-4o和ASA-Claude-3.5展现了出乎意料的智能表现，如主动整理文件、分析理论与模拟偏差、用丰富图表呈现数据等，展示了ASA的自主性。未来，科研自动化是重要方向，ASA的成功应用展示了AI在这一领域的巨大潜力。该研究以“Toward Automated Simulation Research Workflow through LLM Prompt Engineering Design”为题发表于《Journal of Chemical Information and Modeling》。本文的第一作者为复旦大学高分子科学系2021级博士研究生刘之菡，通讯作者为复旦大学高分子科学系李剑锋教授。该研究得到国家自然科学基金等项目的支持。大语言模型（LLMs）能够根据提示生成多样内容，但无法保证代码完全正确，且可能忽略复杂任务中的子任务。此外，LLMs无法直接控制本地计算机执行程序。为解决这些问题，本文开发了一个自动化系统，能够在本地运行LLM生成的代码，并通过提示工程和多轮交互指导LLM调试错误、检查任务完整性。最终构建了一个端到端的自动模拟助手（ASA）。ASA可以通过一行命令如“do prj.txt”启动，自动读取任务，分解任务，并执行，甚至能将程序上传至远程服务器进行模拟，这是基于网页的LLM无法实现的。
图2. (A) AI自动化流程示意图。研究人员提供研究计划（RP）给自动模拟助手ASA。ASA生成模拟程序，上传至远程服务器，执行模拟计算并收集数据，最终撰写报告。(B) ASA与LLM对话流程图。研究人员仅在开始时输入RP，随后ASA根据RP和与LLM的对话历史采取行动，实现全流程自动化。2. 不同LLM驱动的ASA在标准问题上的可靠度测试为评估ASA在自动化研究中的可行性和可靠性，本文基于已知结果的高分子物理问题，设计了3个标准测试问题。研究人员向ASA提供详细RP，要求其执行编写程序、远程模拟、整理数据、绘图及撰写报告等任务。
图3. 高分子物理标准问题。本文设计了三个聚合物链模拟RP，包含模拟、绘图和报告撰写等步骤。RP 1和RP 3要求ASA生成Python程序并在本地运行模拟；RP 2要求ASA修改程序并在远程服务器运行模拟。图中省略了模拟程序和服务器信息。研究人员制定了多项评估标准（如模拟、作图、标度关系等），以测试ASA在无人干预下能否正确执行任务，并比较了不同LLM（如GPT-4o、GPT-4-Turbo、Claude-3.5等）驱动的ASA表现。其中，ASA-GPT-4o、ASA-GPT-4-Turbo、ASA-Claude-3.5和ASA-Gemini-1.5-Pro表现较好。ASA-GPT-4o和ASA-Claude-3.5在生成详细报告（超1000字）和精确引用文献方面表现突出。此外，它们展现了出乎意料的智能行为，比如它们会在RP没有要求的情况下，自动将生成的同类型文件归到一个文件夹中；ASA-Claude-3.5会在报告中主动引用经过理论推导和实验验证的准确自回避行走标度关系，并附带模拟结果偏差的简要分析；此外，ASA-GPT-4o 会以更丰富的图表呈现实验数据，例如端到端距离的频率分布图和基于网页的交互式图表。这些结果展示了ASA在处理复杂任务时的自主性。这些结果展示了ASA处理复杂任务的自主性。
图4. 搭载不同LLM的ASA对RP 1-3的完成度统计。(A) 测试的LLM模型表。(B) 各ASA在20次实验中满足评估标准的次数统计。每个RP设定了七个标准，统计了达标次数（部分零结果未显示）。(C) 使用EWM和TOPSIS方法计算各ASA在RP 1-3中的相对得分。(D) ASA-GPT-4o为RP 1生成的Word报告示例，包括四个章节、链构象图和标度关系拟合图。本文通过天体引力模拟问题进一步测试了ASA处理复杂任务的能力。该任务要求ASA模拟太阳系天体运行并评估陨石对地球的威胁，即使对物理系毕业生也具有挑战性。ASA自动获取太阳系参数，编写程序计算小行星轨迹，并生成了报告。这一结果证明了LLM提示工程和自动化程序设计策略的有效性，展示了ASA跨领域解决问题的能力。
图5. 引力模拟标准问题。(A) RP S1要求模拟引力公式修改后的行星轨迹，RP S2要求模拟太阳系行星及小行星轨迹，并评估小行星撞击地球的风险。(B1) ASA-GPT-4o生成的RP S1轨迹图。(B2) 模拟地球轨道与实际轨道对比，两者完全重合，证明ASA编写的引力模拟程序正确。(C) ASA-GPT-4o生成的RP S2中地球、火星和小行星的轨迹投影图（左）及地球与小行星距离曲线（右）。本文还探索了通过多AI协作和多层RP设计提升复杂任务执行质量的方法。例如，引入管理者AI和执行者AI协作模式，管理者AI分解任务，执行者AI完成子任务，以平衡全局与局部注意力。此外，通过双层RP嵌套，主AI生成20个次级AI重复执行任务，最终主AI收集文件并分析完成度，执行长流程任务。实验中，ASA-GPT-4-Turbo独立编写了66个程序（含26个错误版本），进行了20多次模拟，生成120张图像，并撰写了超5000字的20份报告，全程无需人工干预。这展示了多层RP结构处理大规模任务的能力。
图6. (A) 管理者AI的回复示例。管理者AI将RP分解为子任务，生成以“<<< prompt”开头、“end >>>”结尾的子RP，并传递给执行者AI执行。(B) 错误和不完整的子RP示例。黑框标出缺少必要信息（如服务器用户名和密码），红框标出无关信息。(C) RP 4内容。命令“python AI4SCI_VE13.py -s p1.txt -n i”生成次级AI执行RP 1任务，其中AI4SCI_VE13.py是ASA自动程序，p1.txt为RP 1文本文件，i表示第i次执行。此外，本文还探讨了ASA处理长任务时的共性问题和局限性：（1）遗漏任务要求。ASA可能会忽略部分任务要求，需提高关键信息优先级；（2）缺乏专业领域知识。通用LLM缺乏专业知识，需在RP中补充信息；（3）错误循环。LLM可能依赖先前内容持续犯错，需内存管理策略；（4）全局与局部平衡。确保ASA兼顾全局概览和细节专注是挑战；（5）信息传递准确性。确保信息正确理解和使用仍存在问题。这些局限性为改进LLM驱动的AI科学研究提供了重要参考。
图7. 提高自动化模拟研究流程可靠度的策略。通过与LLM迭代对话并遵循特定设计逻辑，自动化流程的成功率和效率显著提高。左右两图分别展示了未实施和实施策略的场景对比。在上述工作基础上，本文开发了Brief-RP ASA，增强了AI的自主性和灵活性。Brief-RP ASA能根据一两句话的问题描述自动生成详细AI RP。例如，研究人员要求Brief-RP ASA用两种机器学习方法预测聚合物粘度，Brief-RP ASA自动设计了AI RP，将数据集按8:2划分，通过神经网络和随机森林进行训练和预测，R-squared值分别达到0.9589和0.9236。此外，它还分析了随机森林的特征重要性，并强调了其可解释性优势，展示了其在自动化科研中的强大潜力。
图8. 简短任务描述以及Brief-RP ASA设计的AI RP，用于设计预测聚合物粘度的机器学习训练和验证流程。
图9. Brief-RP ASA根据AI RP设计的流程自动执行得到的结果报告。报告包含丰富和文字和图表信息，提到使用神经网络和随机森林两种方法进行了训练和预测，准确率R-squared值分别达到0.9589和0.9236。此外报告中还对随机森林模型进行了特征重要性分析，并强调了其在可解释性方面的优势。除上述例子外，Brief-RP ASA还可广泛应用于其他研究问题，如文中给出的自然灾害频率对草地生态系统的影响，以及几何受限下的聚合物链构象问题例子。尽管其在新问题上的结果可靠性需进一步验证，但随着LLM能力的提升，Brief-RP ASA的潜力无限。1. 首次实现理论模拟科研全流程AI自动化：ASA能根据研究计划（RP）自动完成从实验设计到报告生成的全流程，无需人工干预，展示了其在科研自动化中的强大能力。2. 智能表现突出：ASA在实验中展现了超出RP要求的自主性，如主动整理文件、分析模拟偏差、用丰富图表（如概率分布图和交互式图表）呈现数据等，体现了ASA的强大智能。3. 自主设计研究计划：ASA能根据简短描述自动生成详细AI RP并执行。例如，它成功设计了基于机器学习的聚合物粘度预测模型、草地生态系统模拟及受限聚合物链构象研究等跨领域任务，并根据能够成功执行设计流程，生成丰富的数据和详细的图文报告。4. 推动科研自动化发展：本工作的意义在于，科研领域的未来方向之一是自动化整合。ASA的成功应用展示了AI在科研中的巨大潜力，能够实现从实验设计到报告生成的全流程自动化，提供高效、可靠的解决方案。未来，通过优化AI算法、提升任务准确性和扩展应用领域，科研自动化将迎来更广阔的发展空间，显著提高效率，并为探索复杂科学问题提供新工具，推动科研迈向智能化、自动化的新阶段。
原文链接：
https://doi.org/10.1021/acs.jcim.4c01653
相关进展
复旦大学李剑锋团队 ACS AMI：基于深度学习的嵌段共聚物定向自组装模板的反向设计
复旦大学李剑锋教授课题组：超空间方法将高分子缠结理论坚实地推进了一步
欢迎专家学者提供稿件（论文、项目介绍、新技术、学术交流、单位新闻、参会信息、招聘招生等）至[email protected]，并请注明详细联系信息。高分子科技®会及时推送，并同时发布在中国聚合物网上。
欢迎加入微信群 为满足高分子产学研各界同仁的要求，陆续开通了包括高分子专家学者群在内的几十个专项交流群，也包括高分子产业技术、企业家、博士、研究生、媒体期刊会展协会等群，全覆盖高分子产业或领域。目前汇聚了国内外高校科研院所及企业研发中心的上万名顶尖的专家学者、技术人员及企业家。
申请入群，请先加审核微信号PolymerChina （或长按下方二维码），并请一定注明：高分子+姓名+单位+职称（或学位）+领域（或行业），否则不予受理，资格经过审核后入相关专业群。
