这种
人机交互操作
不仅深化了人类与机器人之间的协同与互动，还可显著提高工作效率，极大优化用户的操作体验，并
塑造出一个高度智能化的劳动环境。
随着人机交互技术不断迈向成熟，人机共融的协同交互操作已然成为科研领域的焦点。
为帮助大家更深入地理解这一主题，CAAI认知系统与信息处理专委会秘书长方斌教授近日发起《方斌对话 | 人机协同操作》系列直播，邀请相关领域学者共同探讨人机协同操作的前沿研究和技术发展，并通过直播对话的形式进行思维碰撞，旨在为观众带来全新视角和启发。
该活动由中国人工智能学会、中国自动化学会主办，中国人工智能学会认知系统与信息处理专业委员会和NOKOV度量动作捕捉承办，机器人大讲堂媒体支持。
3月26日，NOKOV度量动作捕捉邀请方斌教授开启了首场直播——围绕主题“人机共融的协同交互操作”进行了分享和讨论。
直播回放观看：
https://www.bilibili.com/video/BV1Qu4m1T7jj/
直播中，方斌教授首先通过梳理人机协作技术从起步到如今的演变过程，对人机共融的协同操作关键技术发展进行了简单介绍。随后，方教授依托其在机器人灵巧操作和人机共融交互领域的专长，深入剖析了人机交互技术与动作解析、人机协作与臂手结构的两大核心技术点，向观众深度分享了自己在人机共融协同交互操作领域的前沿研究成果以及预见的未来趋势。那么，方斌教授在直播中具体分享了哪些技术要点呢？接下来，请紧随机器人大讲堂的脚步，一起来探索！
以其深入研究的人机臂手高维协同交互难题为出发点，方斌教授首先对人机交互技术与动作解析进行了详尽的阐释。据方斌教授介绍，现阶段臂手的协同操作主要依赖于动作交互和意图交互两种操作方式来实现。
在动作交互操作领域，
近期一个颇具代表性的实验是特斯拉机器人所进行的穿戴式人机交互操作学习实验。
该实验运用先进的穿戴式传感器技术，对人类操作动作的每一个细节进行精准捕捉，如手部运动、身体姿势以及施加的力量等，进而使机器人能够更深入地理解人类的操作意图，并据此作出更为精确的反应。通过从第一人称视角采集人类的动作数据，机器人不仅能学习，而且能高效地复制人类的行为模式。
另一个比较受人瞩目的成果则来自斯坦福大学。该学校一研究团队受方斌教授早期论文的启发，成功研发出一款创新型的数据手套。这款手套在腕部装备了高清晰度相机，能够精确捕捉数据信息，同时结合高精度穿戴式传感器，使其在执行教学任务和实现类人动作操作时表现出色。
据方斌教授介绍，在实际操作中，由于任务的多样性和复杂性，遮挡问题频繁出现，单纯依赖视觉手段来获取操作过程中的信息往往导致数据不完整，这已成为业界长期面临的一个难题。为了解决这一挑战，方教授早在2014年就创新性地采用了全9轴惯性测量单元（IMU），并结合先进的穿戴技术，成功研制出数据手套。这款手套能够精确地捕捉手臂、手掌以及所有手指关节的位置、速度和姿态信息，为解决遮挡问题提供了切实有效的解决方案。这一创新不仅为机器人技术领域带来了重大突破，更为人类与机器人之间的交互方式开辟了新的维度，推动了人机交互技术的深入发展。
要想实现与机器人协作的映射，方式主要有手势映射、末端位姿映射和关节映射。这三种映射方式各有优势，选择哪种方式取决于具体的应用需求和环境条件。
无论
选择哪种方式，都需要高精度的数
据手套和先进的数据处理技术，以
实现准确、流畅的
人机交互。
但如今，随着技术的飞速发展，
NOKOV度量光学动作捕捉系统
以更为便捷的方式，实现了对手指、关节等位姿数据的高精度实时获取，即使在遮挡情况下也能游刃有余。
该系统适用于多种应用场景，并已在3C装配精确控制、协作机器人柔性生产示教学习、精确步态分析、下肢外骨骼上楼梯的自适应步态生成算法、灵巧手动作捕捉和机械结构设计等多个领域进行广泛应用。
随着动作捕捉技术逐渐成为机器人进步的重要推动力，国内外众多高校和研究机构，如哈尔滨工业大学、大阪大学、南方科技大学、浙江工业大学等，都选择使用
NOKOV度量动作捕捉系统
来获取位姿数据
文章标题：
特斯拉“擎天柱”浇花瑜伽样样行，动作捕捉让机器人更像人
意念交互操作的核心原理在于，通过运用先进的视觉RGBD（红绿蓝深度）技术和数据手套，实现对人手抓取动作关键特征的精准捕捉和提取。这些特征，作为机器人示教学习的基础，为机器人提供灵巧的操作指导，从而赋予其执行精确任务的能力。
除了利用穿戴式设备实现协同控制之外，我们还可以通过基于视觉的方法来实现这一目标。具体来说，通过设计一个精巧的TechNet网络模型，可以从人的视角出发，建立映射关系，进而实现对机器人的示教操作。
然而，当目标用户群体是行动不便的群体时，如何设计一个既高效又直观的交互过程成为一项挑战。为了准确解读用户大脑中的意图，首先需要获取其脑电信号。对此，SSVEP-BCI技术提供了一种解决方案，该技术基于大脑皮层对特定频率视觉刺激的响应进行识别和分类。借助SSVEP-BCI技术，用户能够仅通过注视特定频率的视觉刺激，无需要任何物理动作，便可实现对设备的控制和选择想要的目标物体。
基于上述背景，方斌教授所在课题组实现了通过意识交互操作教会机器人弹钢琴，并进一步将SVEP-BCI技术与增强现实（AR）相结合，提出了“所见所想即所得”的人机共融交互方法。这种创新的交互方式极大地增强了用户的交互自然性和直觉性，使得选择和控制物体变得毫不费力，为用户带来了前所未有的交互体验。
同时，面向基于SSVEP-BCI的人机交互系统中的快速而准确地识别脑电信号这一挑战，方斌教授所在课题组还提出了一种基于深度学习的神经解码算法，名为FB-tCNN。该算法以其简洁高效的结构，在处理短时窗输入方面表现出色，对于SSVEP信号的分类和识别能力超越了现有的算法。该算法的应用为构建一个更加灵活和迅速的SSVEP-BCI人机交互系统提供了坚实的算法基础。
人机协作技术的持续进步对于断肢患者而言具有深远的意义。随着该技术的发展，智能假肢和辅助设备与人体神经系统的交互变得更为紧密和高效，这使得肢体控制愈发精确，从而大幅度提高了患者的生活质量。但与此同时，在肌电假肢灵巧手的人机共融操作层面，也仍然面临着一
系列的挑
战和难题，例如仿人结构的灵巧性不足、复杂操作意图的识别难题，以及人机紧耦合操作的复杂性。
面对这些挑战，方斌教授结合自己的研究成果，围绕“意图识别方法”、“共融控制方法”、“假肢手语物理环境交互方法”三个核心领域对人机协作与臂手结构这一主题进行了深度解析。
现有的基于肌电信号的人机交互接口未同时考虑运动过程中的运动学信息和动力学信息。针对这一问题，方斌教授课题组设计了一种多任务深度学习网络，
实现了对不同手势和力度的高效精确识别，并极大提
升了人机交互的精确性和交互自然性与操作灵活性，为丰富交互真实性，课题组还提出一种多模态反馈刺激融合方法，该方法结合了电刺激电极阵列和气囊式刺激技术，可传递重量、尖锐度、纹理等触觉信息，并可通过神经网络训练进行分类进而形成不同的刺激模式，这进一步增强了患者对不同物体的感知能力。
为了提高假肢手与用户交互的人性化和友好性，课题组对实现假肢与人体的高度融合控制策略进行
了深入研究。基于研究现状，课题组提出了一种以任务导向为核心的触觉共享控制方案，以辅助患者完成日常活动。该方案结合了多阶段抓取，能够实现对多物体的同时抓取以及顺畅的连续力交互，从而显著提升了假肢的操作效能和用户的使用感受。此外，鉴于稳定获取信号在机器人技术中的重要性，课题组在现有硬件支持下，基于事件驱动的设计思路，对假肢的触觉数据采集和控制系统进行了全面优化，并通过实时监控触觉数据，成功实现了根据用户意愿实时调整抓握力等级和预成型、接触检测、抓握稳定性监测，为用户提供了一种更加精准、直观的操作体。
针对商用假肢手在抓握和操作鼠标方面的不足，课题组与清华大学合作，专注于软体肌电假肢手设计，解决了点击、滚动和稳定抓握鼠标等关键动作的设计难题。控制框架基于机电信号识别用户意图，完成动作映射和功能执行。通过构建轻量神经网络进行手势识别，并采用“一对多映射”算法将手部动作与多种鼠标操作关联，简化了分类器设计，降低了用户训练量。
对于人机共融协同交互操作领域的前沿研究，方斌教授也进行了简单介绍，他着重指出，“以人为本”是人机协作的核心理念，人机协作的目标并不仅限于提升机器人的自主性和智能化水平，更重要的是如何优化机器人为人类提供的服务。
目前多家世界顶级科技公司均已将提高机器人操作技术上，以实现更好地为人类服务作为研发重点放。而随着人工智能技术的持续进步，特别是在大模型领域的显著突破，机器人技术正在从简单工具转变为人类伙伴，获得质的飞跃。
在此背景下，未来人机协作展现出多个引人注目的发展方向，例如个性化的人机协作、多模态交互的人机协作、学习型的协作、多人多机的协作，以及人机协作与心理学的融合等。方斌教授所在的课题组紧跟科技潮流，正积极开展相关研究，并致力于构建一个基于ChatGPT的框架，以推动机器人操作技术迈向更高境界。
值得注意的是，在直播最后方斌教授还对ICRA 2024人机协作论坛的征稿信息进行了简单介绍。
据了解，
该论坛受到IEEE旗下机器人与自动化协会（RAS）的官方资助，预计将于5月13日在ICRA 2024大会上举行。该论坛由约克大学朱吉鸿助理教授、清华大学李翔副教授、北京邮电大学方斌教授、卡耐基梅隆大学Zackory Erickson助理教授、土伦大学Claire Dune副教授和香港理工大学David Navarro-Alarcon副教授发起，并由
NOKOV度量动作捕捉
赞助和中国自动化学会智能自动化专委会协办。
本次论坛的主题定为“Exploring Role Allocation in Human-Robot Co-Manipulation”，内容将涵盖意图感知、机器人学习、交互控制、人机接口等多个该领域的研究热点。目前该论坛开始征集论文，面向各同行专家征稿。
