专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

Talk预告｜人民大学卫雅珂：Balanced multimodal learning - 异质多模态数据的平衡之道

将门创投 · 公众号 · 科技创业 · 2024-07-10 08:22

主要观点总结

本文报道了TechBeat人工智能社区第608期线上Talk，由中国人民大学博士生卫雅珂分享主题为“Balanced multimodal learning - 异质多模态数据的平衡之道”的演讲。文章介绍了演讲的主题、嘉宾、时间、地点，以及Talk的内容大纲、预习资料、提问交流、嘉宾介绍等相关信息。

关键观点总结

关键观点1: TechBeat人工智能社区举办第608期线上Talk

介绍本期线上Talk的举办地点和主办方。

关键观点2: 中国人民大学博士生卫雅珂作为嘉宾分享主题演讲

介绍嘉宾的背景和研究方向。

关键观点3: 演讲主题为“Balanced multimodal learning - 异质多模态数据的平衡之道”

介绍演讲的主题内容，包括多模态学习的挑战和解决方法等。

关键观点4: 演讲内容包括Talk大纲、预习资料、提问交流和嘉宾介绍等部分

详细介绍演讲的各个部分内容和流程。

关键观点5: TechBeat人工智能社区是一个荟聚全球华人AI精英的学习成长社区

介绍TechBeat人工智能社区的定位和愿景。

正文

本期为 TechBeat人工智能社区 第 608 期线上Talk。

北京时间 7 月11日 (周四)20:00， 中国人民大学博士生 卫雅珂 的Talk将准时在TechBeat人工智能社区开播！

她与大家分享的主题是: “ Balanced multimodal learning - 异质多模态数据的平衡之道 ” ，届时她将就如何平衡并促进对异质多模态数据的充分挖掘与学习这一问题相关研究进行总结与梳理，并展望该问题在更广泛背景下的潜在发展。 ‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Talk·信息

▼

主题：Balanced multimodal learning - 异质多模态数据的平衡之道

嘉宾：中国人民大学博士生卫雅珂

时间：北京时间 7 月11日(周四)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键预约TALK！

Talk·介绍

▼

在一般的多模态学习的范式中，不同模态数据通常采用统一的多模态学习目标进行学习和优化。但不同模态数据天然的异质性给多模态联合学习带来了困难。例如，在判别性任务中，对于标签为“drawing picture”的视听样本，相较音频数据，具有更丰富的判别性信息的视觉数据更容易被学习，被模型所偏好，最终使得模型对各个模态数据的利用程度存在不平衡，只有个别模态被充分学习，阻碍了多模态学习的潜力。因此，如何平衡并促进对异质多模态数据的充分挖掘与学习在近年来引起了广泛关注。在本次talk中，讲者将对这一问题相关研究进行总结与梳理，并展望该问题在更广泛背景下的潜在发展。

Talk大纲

1. balanced multimodal learning背景介

2. 现有方法研究思路

3. 现有方法设计梳理

4. 现有方法总结

5. 该问题在更广泛背景下的展望

Talk·预习资料

▼

[1] Balanced multimodal learning via on-the-fly gradient modulation, CVPR, 2022.

[2] Mmcosine: Multi-modal cosine loss towards balanced audio-visual fine-grained learning, ICASSP, 2023.

[3] Enhancing multimodal cooperation via sample-level modality valuation, CVPR, 2024.

[4] Balanced audiovisual dataset for imbalance analysis,” CVPR workshop, 2023.

[5] Diagnosing and re-learning for balanced multi-modal learning,” ECCV, 2024.

[6] Mmpareto: boosting multimodal learning with innocent unimodal assistance,” ICML, 2024.

[7] Quantifying and enhancing multi-modal robustness with modality preference,” ICLR, 2024.

Talk·提问交流

▼

在Talk界面下的 【交流区】 参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

卫雅珂 ‍

中国人民大学 · 博士生

卫雅珂，中国人民大学高瓴人工智能学院博士生。主要研究方向为多模态学习机制。在TPAMI、CVPR、ICML等顶级期刊和会议发表多篇论文。

个人主页:

https://www.techbeat.net/grzytrkj?id=21539 ‍‍‍‍‍