CNCC | 大模型下的多模态情感计算未来

张石清

台州学院教授，浙江省高层次特殊支持人才

台州学院电子与信息工程学院院长，教授，博士生导师，CCF高级会员，浙江省高层次特殊支持人才青年拔尖人才，浙江省高等学校中青年学科带头人，CCF多媒体技术专委执委，CCF语音对话与听觉专委，CSIG情感计算与理解专委。2009年9月-2012年12月，在电子科技大学获通信与信息系统专业博士学位，导师为李乐民院士；2015年7月-2017年6月，在北京大学信息科学技术学院数字媒体研究所（数字视频编解码技术国家工程实验室）计算机应用专业做博士后研究，导师为高文院士；2018年11月2日-2019年11月1日，在美国德州大学圣安东尼奥分校（UTSA）访学一年，合作导师为国际欧亚科学院田奇院士。现主要从事机器学习、模式识别、情感计算 等人工智能方面的研究，曾主持国家自然科学基金项目2项和省部级项目6项。现已在IEEE Transactions on Multimedia、IEEE Transactions on Affective Computing、IEEE Transactions on Circuits and Systems for Video Technology、ACM MM等重要刊物和会议上发表论文70余篇，其中ESI高被引论文2篇。由科学出版社出版学术专著1部，并获得授权发明专利7项。曾获中国仪器仪表协会科技进步奖二等奖1项、浙江省自然科学学术奖三等奖1项。连续多年入选斯坦福大学发布的全球前2%顶尖科学家“终身科学影响力排行榜”和“年度科学影响力排行榜”。目前，担任情感计算领域国际知名期刊IEEE Transactions on Affective Computing编委。

郑文明

东南大学二级教授、博士生导师，国家级领军人才

简介：IET Fellow，儿童发展与学习科学教育部重点实验室主任。主要从事情感计算研究。担任IEEE Transactions on Affective Computing等期刊编委，获国家技术发明二等奖1项、省部级二等奖4项。

报告题目：基于多模态生理心理信息感知的谎言检测

摘要 ：说谎是一种涉及认知过程和心理活动的复杂人类心理行为，谎言检测旨在从说话人的生理或行为表现中，检测其是否存在说谎行为。测谎技术研究有上百年历史，基于多模态信号的谎言检测是当前研究的热点，报告简要介绍多模态生理心理谎言数据库构建和检测方法。

陈勋

中国科学技术大学教授、博士生导师、信息科学技术学院副院长，国家级高层次人才

简介：国家级高层次人才。研究方向为脑机接口和多模态图像分析，在IEEE SPM/TNSRE/TBME等国际权威期刊上发表论文一百余篇，谷歌学术引用一万余次，曾获IEEE/Elsevier/IOP期刊论文奖、华瑙学者奖、达摩院青橙奖及国家优青，连续三年入选全球前2%顶尖科学家榜单，担任国家科技部重点专项总体组专家，中国生物医学工程学会理事、青年工作委员会副主委，中国人工智能学会脑机融合专委会副主委，担任IEEE TIM/SPL/OJSP等国际期刊编委。

报告题目：多源神经信号计算

摘要 ：神经信号蕴含丰富人体健康信息，其处理与分析在主动预防、智能诊断、精准治疗、科学康复等健康保障全过程中发挥着重要作用。然而，神经信号具有量级微弱、随机性强、模态多样等特性，从而造成了混叠严重、重复性差、多源异质等挑战。报告将从多重集和多模态两个角度，介绍基于联合盲源分离和深度特征表示的神经生理信号分解、关联、融合方法及其相关应用，探讨如何有效分离复杂干扰信息、解析潜在共性信息、挖掘异质互补信息，以达到克服干扰、求同存异、融合互补的效果。

赵思成

清华大学副研究员，国家级青年人才

简介：发表IEEE/ACM汇刊、CCF推荐A类论文60余篇，谷歌学术引用10000余次。担任CSIG情感计算与理解专委会秘书长、TIP/TAC编委、TFS/ACM TMCCA首席客座编辑、NeurIPS/ACM MM/ECCV/AAAI/IJCAI领域主席或资深程序委员。

报告题目：多媒体情感计算

摘要 ：情感计算在人机交互、行为决策等系列智能活动中起到重要作用。该报告将围绕多媒体情感计算展开，系统介绍课题组的相关工作。该报告首先总结多媒体情感计算的研究背景、应用场景和主要挑战，接着从共性语义理解、个性化感知预测与标签分布学习、有限标注机器学习等三方面研究内容介绍部分代表性工作，涵盖图像、文本、脑电、社交媒体与多模态数据，最后讨论未来可能的研究方向。

张通

华南理工大学计算机科学与工程学院副院长、教授、博士生导师，国家优秀青年科学基金获得者

简介：国家优秀青年科学基金和广东省杰出青年基金获得者。主要从事情感计算和大模型等人工智能基础算法及相关应用研究，主持国家自然科学基金，广东省自然科学基金和与企业合作项目20余项，发表学术文章100余篇。担任IEEE Transactions on Affective Computing，IEEE Transactions on Computational Social Systems和Journal of Intelligent Manufacturing的期刊副编。2020年，指导学生获全国互联网+大赛总决赛国家金奖 2 项。

报告题目：基于图神经网络的EEG情绪识别与应用

摘要 ：人工智能，并不能简单的理解为机器模仿人的智能，在部分领域或场景下，机器的智能可能比人更强大；但是人工智能之所以无法超越我们人类，其中一个重要的原因，是因为它们并不具备像人类一样的多维情感和思维能力。未来机器人能有与人类一样，拥有一定的情感思维能力，加上强大严密的数据处理能力和不眠不休工作能力，将会给我们带来什么样的改变？本报告将从包括脑电波的人体生理数据等方面，介绍基于图神经网络和宽度学习的情感识别方法研究和相关工作的进展；具有情感的人工智能，不仅仅可以告诉我们数据是什么，进一步的解释这些数据意味着什么，更可以揭示出数据背后的情感类型，实现机器可以“看的清”、“读的懂”，相关的技术与研究成果，在精神状态评估等医疗领域和智慧教育等领域具有广泛的应用。

杨巨峰

CCF计算机视觉专委会副秘书长，南开大学教授、数据与智能系统安全教育部重点实验室副主任，国家级青年人才

简介：国家级青年人才、天津杰青。任CCF计算机视觉专委会副秘书长，CSIG情感计算与理解专委会常务委员，CIPS情感计算专委会常务委员，IEEE Transactions on Affective Computing编委，CVPR领域主席。

报告题目：情智兼备数字人与机器人关键技术初探

摘要 ：“情智兼备数字人与机器人研究”入选2024年中国科协十大前沿科学问题第1位。本报告介绍该科学问题提出的过程和背景、国内外相关机构的研究进展、面临的关键难题及挑战。汇报课题组在多模态情智融合解译、可交互情绪化内容生成调控等方面开展的研究工作及取得的初步成果。

姚鸿勋

哈尔滨工业大学计算学部长聘教授

简介：黑龙江省政府特殊津贴专家，教育部“新世纪优秀人才"，中国图象图形学学会情感计算与理解专业委员会主任。主要研究领域为计算机视觉智能、多媒体数据分析与理解、情感计算等。已发表ICCV，CVPR，ACM MM 等顶级国际会议及IJCV，TPAMI，TIP，TMM 等高影响因子国际期刊文章学术论文300 余篇，H 指数50+，Google 引用量12000+，入选全球人工智能TOP 2000 学者榜单。主持国家自然基金重点项目、新一代人工人智能国家科技重大专项课题，获国家及省部级自然科学奖项4 项，获中国计算机专业优秀教师奖(2021)，已培养学生成为“国家级高层次人才”、“国家级青年人才”等5名。