中国人民大学高瓴人工智能学院GeWu-Lab拟在2024年招收博士生和硕士生若干名（2025年9月正式入学），同时也
长期开放
研究助理的申请（通过实验室面试即可加入），具体说明如下:
研究方向
实验室的主要研究方向为机器多模态感知与学习，即以大脑的多通道知觉为背景，挖掘并探究多模态信息（如图像、声音、触觉等）在机器感知、推理与理解等方向的潜在问题与方法，让机器具备”多感官认知能力“。具体的研究聚焦于以下四个方向：
-
复杂、自然多模态场景下的感知与推理.
-
多模态学习机制中的理论研究与算法设计.
-
多模态具身交互中的感知、学习与决策.
-
多模态/跨模态内容生成，多模态生成与理解的相互增强.
导师介绍
胡迪老师现任中国人民大学高瓴人工智能学院准聘副教授，他于2019年获得西北工业大学博士学位（博士导师为李学龙教授，ACM/IEEE等学会Fellow，AAAI首位来自中国大陆的执委），曾任百度研究院人工智能研究员，于2020年8月加入中国人民大学。胡迪老师受中国科协青年人才托举工程资助，曾荣获2020年中国人工智能学会优博奖，2022年度吴文俊人工智能优秀青年奖；并主办/协办多场国际顶级会议的多模态学习讲习班，如CVPR'21
Tutorial on Audio-Visual Scene
Understanding。代表性工作包括视音多模态场景理解算法DMC与场景问答任务MUSIC-AVQA；平衡多模态学习理论，机制与方法；和以运动学为引导的铰链物体操纵等。
实验室具体情况
工作内容
：实验室的同学须对客观事物存在强烈的好奇心和求知欲，以做前沿探索性、有价值的科学研究为目标，并在人工智能领域的顶级期刊和会议上发表有国际影响力的论文。一般情况下，实验室不会给学生分配对科学研究没有帮助的工程项目.
指导风格
：胡迪老师会亲自指导每一位学生，并每周定期和学生一起对研究的问题展开深入讨论。对于学生的第一个科研项目，胡迪老师在方法设计、实验分析、论文写作上都会提供手把手的指导；在打牢研究基本功的前提下，会逐步放手提供学生以更大的自由探索空间，满足自身的探索欲望。
研究成果
：最近，以实验室同学为一作的文章，在AAAI'24、ICLR'24、ICRA'24、CVPR'24等顶会上均有论文发表. 最近一段时间，实验室的部分代表性工作有：
(1)
视听问答系列工作：认知神经科学表明，人类的大脑通过整合异质的多模态信息来获取对周围环境的整体认知。受此启发，我们致力于让机器整合多模态信息，特别是视觉和声音等自然模态，以达到与人类相当的场景感知和理解能力。为此，我们提出一个视听问答任务（Audio-visual
Question
Answering，AVQA），旨在回答有关不同视觉对象、声音及其在视频中的关联的问题，从而对动态复杂的视听场景进行细粒度理解和推理。为推动此领域的研究进展，我们构建了一个大规模
的MUSIC-AVQA 数据集，当前已经成为评估视听场景细粒度理解和时空推理的基准平台（CVPR 2022 Oral, 项目主页, 论文链接, 论文解读）。在此基础上，我们进一步提出针对视听问答任务的渐进式时空感知模型，以探索更加高效的视听时空感知 (ACM MM 2023, 论文链接, 论文解读).
(2)
平衡多模态学习系列工作:
实验室研究发现，多模态学习过程中不同模态在训练进程、判别性能力等方面均具有差异化的学习特点和表现，因此对不同模态的差异化学习进程现象、产生原因和潜在影响进行了深入研究，并将此问题在国际上首次命名为
"平衡多模态学习（Balanced Multimodal
Learning）"，提出了一系列面向模态间高效协同学习的工作，得到广泛关注，如梯度优化角度下的调制方法（On-the-Fly Gradient
Modulation, OGM）（CVPR2022 Oral, 论文链接, 论文解读）; 合作博弈视角下的多模态合作联盟 （CVPR 2024, 论文链接）; 模态偏好影响下的多模态鲁棒性分析 （ICLR 2024, 论文链接）.
(3) 可泛化物体操纵工作：实验室研究认为大语言模型中蕴含的世界知识可以有效地帮助机器人在复杂的交互环境中实现可泛化操纵，基于这种思想，我们通过深度挖掘基础模型的感知、推理、决策等能力，实现机器人对复杂铰链物体的可泛化操纵 （ICRA 2024, 论文链接, 论文解读）.
出国交流/企业实习
：胡迪老师鼓励并会帮助推荐实验室的博士/硕士生去国外交流访问（如CMU，UMich，NUS等）或去企业（如百度，腾讯，上海AI Lab等）实习，如实验室已有博士生在CMU进行联合培养。
实验室氛围
：实验室不定期会有聚餐和团建，学生之间互帮互助，交流密切。同学与老师携手构建团结向上的GeWu-Family。
毕业条件
：与高瓴人工智能学院的毕业条件一致。
我们希望你
-
良好的数学基础（高数/线代/概率论/数值计算），良好的学术英语读写能力，良好的编程能力和编码风格。
-
对人工智能、深度学习、多模态学习的前沿研究有着浓厚的兴趣，尤其以做有趣、有温度、有价值的研究为目标，愿景是星辰大海！
-
热爱，自驱，对科研保持专注。同时具有良好的心态和一定的抗挫折能力。
-
如有机器学习/深度学习的知识基础或研究经历更佳。发表过顶级会议/期刊者优先考虑。
联系方式
如有意向申请，请直接联系胡迪老师dihu
ruc.edu.cn，并在邮件中附上个人简历，注明希望申请的学生类型.
如果想深入了解实验室的研究，欢迎访问实验室主页，或阅读实验室发表的论文.
如果对实验室的研究、氛围，或对RA期间的研究方向、补贴等有任何疑问，欢迎直接联系胡迪老师。对于实验室研究成果、实验室氛围等方面，也可在该页面直接查询实验室学生的联系方式并联系。
特别说明
：希望加入实验室的直博生和硕士生需首先通过高瓴人工智能学院组织的夏令营/预推免，希望加入实验室的普博生需首先通过高瓴人工智能学院组织的申请-考核制博士招生。实验室无法回答关于夏令营/预推免/普博申请考核的笔试/面试的相关问题。
