CoELA一作张洪鑫：使用大语言模型构建合作型具身智能体｜智猩猩AI新青年讲座预告

近来，大型语言模型（LLMs）在单智能体决策中取得了令人印象深刻的表现，并且可以为机器人控制设计奖励函数。但目前的具身智能体亦或缺乏彼此间的有效交流合作能力，亦或行为不能被人类理解，给人与智能体之间的协作带来了很大的阻碍，且LLMs是否具备多智能体协作所必需的能力也仍尚未明确。”

针对以上问题，马萨诸塞大学阿默斯特分校在读博士张洪鑫利用如今大语言模型丰富的世界常识、自由形式语言生成（free-form language generation）、复杂推理等能力，构建了基于LLMs的具身智能体CoELA，以在具有挑战性的分散环境中完成长期多目标任务，最终实现了与其他智能体和人类进行高效的计划、通信与合作的功能。相关论文《Building Cooperative Embodied Agents Modularly with Large Language Models》收录于 ICLR 2024 。

CoELA由五个关键模块组成：

（1）感知模块：处理传感器获得的外部原始数据，更新记忆模块的存储信息；

（2）记忆模块：模仿人类的长期记忆，以语义、情景和程序记忆的形式存储智能体关于世界和他人的事实与经历；

（3）沟通模块：从记忆模块检索相关信息，引导LLMs利用其强大的自由形式语言生成能力生成最佳信息；

（4）决策模块：利用LLMs的强大推理能力 ，根据从记忆模块中检索的相关信息和针对当前状态决定采取哪种方案，生成的计划会再次更新记忆模块；

（5）执行模块：检索记忆模块中存储的程序知识，将高级计划转化为可在环境中执行的基本行动。

4月12日上午10点 ，智猩猩邀请到 论文一作、马萨诸塞大学阿默斯特分校 在读博士张洪鑫 参与「AI新青年讲座」234讲，主讲《使用大语言模型构建合作型具身智能体》。

张洪鑫

马萨诸塞大学阿默斯特分校 在读博士

师从淦创教授。研究兴趣为具身智能，人机交互，自然语言处理。在ICLR, NeurIPS, ACL, EMNLP等会议上发表有多篇论文。为NeurIPS, CVPR，ACL等会议担任审稿人。