多模式生成技术为创意内容生成开辟了新途径。然而，评估多模态生成的质量仍有待探索，一些关键问题尚未得到解答，例如每种模态的贡献、预训练的大语言模型在多模态生成中的效用以及衡量多模态输出的幻觉问题和公平性。本次研讨会旨在通过将自然语言处理、计算机视觉和多模态人工智能领域的研究人员和从业者聚集在一起，促进讨论和研究工作。我们的目标是建立多模态研究的评估方法并推进这一方向的研究工作。

Multimodal generation techniques have opened new avenues for creative content generation. However, evaluating the quality of multimodal generation remains underexplored and some key questions are unanswered, such as the contributions of each modal, the utility of pre-trained large language models for multimodal generation, and measuring faithfulness and fairness in multimodal outputs. This workshop aims to foster discussions and research efforts by bringing together researchers and practitioners in natural language processing, computer vision, and multimodal AI. Our goal is to establish evaluation methods for multimodal research and advance research efforts in this direction.

• 研讨会网站：https://evalmg.github.io/

Call for Papers

欢迎提交长篇论文和短篇论文（分别为最多8页和4页，引用和附录无限制）。

以下是与本研讨会相关的主题列表（但不限于）：

• 评估多模态文本生成的评价指标，用于评估信息量 (Informativeness)、事实性 (Factuality)和忠实度 (Faithfulness)
• 新的基准数据集、评估协议和注释
• 评估多模态一致性 (Coherence)、相关性 (Relevance) 和模态间及模态内交互的挑战
• 评估跨多个模态的信息整合和聚合
• 用于测试多模态生成系统鲁棒性和可靠性的对抗性评估方法
• 多模态文本生成评估中的伦理考虑，包括偏见检测和缓解策略
• 面向资源匮乏语言的多语种多模态文本生成系统评估
• 评估多模态学习和应用中的公平性和隐私

Submission Instruction

请通过我们的START/SoftConf页面提交论文。所有提交的论文必须匿名，以便进行双盲评审。

长篇论文的内容不得超过8页，短篇论文不得超过4页，必须严格按照COLING 2025的模板进行，Limitations部分不计入页数限制。

允许提交补充材料和附录（可以是单独文件或附加在主要提交后）。

我们鼓励提交代码链接以促进结果的复现。

Non Archival Option

为促进多模态社区内的讨论，我们的研讨会设有非收录模式投稿。作者可选择提交他们的未发表文章或已被COLING 2025主会议接受的文章至我们的研讨会。组织者将提供口头或海报展示的机会。

Invited Speakers

Timothy Baldwin 教授是穆罕默德·本·扎耶德人工智能大学（MBZUAI）的教务长兼自然语言处理教授，也是墨尔本大学计算与信息系统学院的墨尔本桂冠教授和 LibrAI公司的首席科学家。

他在墨尔本大学获得了计算科学/数学学士和语言学/日语学士学位，随后在东京工业大学获得了计算机科学的硕士和博士学位。于2022年加入MBZUAI之前，在墨尔本大学工作了17年。

他的研究得到了澳大利亚研究理事会（ARC）、谷歌、微软、施乐、ByteDance、SEEK、NTT和富士通等机构的资助。

他已发表了500多篇经同行评审的论文，涵盖了自然语言处理和人工智能领域的多个课题。

此外，他还是澳大利亚研究理事会的未来研究员（ARC Future Fellow），并在多个顶级会议上获奖。

吴琦 博士是阿德莱德大学副教授，2019-2021年间曾获得澳大利亚研究理事会发现早期职业研究员奖（ARC DECRA）。

他是澳大利亚机器学习研究所（Australia Institute of Machine Learning）视觉与语言主任。

澳大利亚科学院于2019年授予他J G Russell Award。

他于2015年和2011年分别获得英国巴斯大学计算机科学博士学位和硕士学位。他的研究兴趣主要是计算机视觉和机器学习。

目前，他正在研究视觉语言问题，主要是图像字幕和视觉问题解答（VQA）。