【CMU博士论文】个性化情境感知多模态机器人反馈

专知 · 公众号 · · 2025-03-05 11:00

正文

个性化情境感知多模态机器人反馈

在人机交互（HRI）领域，机器人融入社交环境（如医疗保健和教育）的趋势日益显著。在这些领域中，能够提供个性化支持以提升人类表现和主观体验的机器人通常会更成功。机器人应个性化其交互行为，感知其行为背后的情境细微差别，并有效理解和生成非语言线索（因为人类的感知和反应深受非语言行为的影响）。此外，机器人还应考虑个性特征、物理环境和情绪状态等因素，以在交互过程中提供量身定制的情境感知支持。本论文探讨了个性化情境感知多模态机器人反馈，重点关注情感性非语言行为。

情境估计与人类状态建模

我们首先研究了情境估计问题，特别是对人类状态的关键方面进行建模。我们预测教育活动中与参与度相关的事件，并在活动结束前提供反馈，从而改善人类的体验。

情感性非语言行为的生成

接着，我们探索了通过将模拟机器人的运动与显示的情感相关联来生成情感性非语言行为。我们设计了一项用户研究，证明机器人传达的情感与匹配的情感性运动对人类在分类游戏中的表现有积极影响。

物理机器人运动教练平台

然后，我们设计了一个物理机器人运动教练平台，用于估计情境（如运动表现、疲劳水平等）。通过用户研究，我们分析了不同机器人反馈风格对人类感知和表现的影响，为个性化反馈风格提供了基础。

个性化情境感知机器人的开发

最后，我们开发了一种基于情境赌博方法的个性化情境感知机器人，动态调整机器人的反馈风格以优化人类表现，并逐步学习何时使用何种风格。这项工作整合了本论文中的所有研究，旨在创建一个全面的框架，生成能够积极影响人机交互的个性化情境感知多模态反馈。