将人体运动重新定位为人形机器人的运动是一项艰巨的任务，它涉及使用复杂的人形模型和密集的几何计算，同时还需要很高的关节识别精度。近日，韩国东亚大学的研究团队在国际知名期刊《International Journal of Control, Automation, and Systems》上发表了一项研究，提出了一种创新的框架，该研究通过单目相机和人体姿态预估技术实现全尺寸人形机器人的运动映射
传统的人体动作捕捉技术通常依赖于复杂的设备和高昂的成本，且在实际应用中往往受限于捕捉体积、设备便携性和操作复杂度等问题。因此，探索一种低成本、高便捷性的人体运动映射方法具有重要意义。
韩国东亚大学通过单目相机捕捉人体动作，利用人体姿态预估技术提取关键关节坐标，进而通过优化算法将人体动作映射到人形机器人上。这种方法不仅有效降低设备成本，还提高了系统的便携性和易用性，为后续大范围商业化落地提供了技术支持。
▍
韩国东亚大学运动映射系统框架深度解析
韩国东亚大学研究团队提出的运动映射系统框架是一个高效且创新的解决方案，该方案首先采用单目相机捕捉的人体运动视频。这一模块负责实时采集视频数据，并通过预处理步骤，如图像去噪、增强对比度等，优化输入图像质量。随后，使用开源的HybrIK包从处理后的视频中提取人体的3D关节坐标。HybrIK通过检测人体关键点，如肩部、肘部、膝部等，构建出人体的3D骨骼模型，为后续的运动映射提供基础数据。
HybrIK的定义
在获得3D关节坐标后，系统进入姿态预估与关节角度计算模块。这一模块的核心是利用uDEAS全局优化算法，将人体模型与从HybrIK获得的骨骼模型进行拟合。uDEAS算法通过最小化平均关节位置误差（MPJPE），计算出人体各关节的最佳角度。此过程中，算法动态调整搜索变量顺序，以提高搜索效率和准确性，确保关节角度的精确计算。
但需要注意的是，计算出的人体关节角度并不能直接用于控制机器人，因为机器人存在物理限制和运动学约束。因此，系统专门设计了关节角度优化与调整模块。该模块首先应用低通滤波器和移动平均滤波器对计算出的关节角度进行平滑处理，以减少噪声和突变。接着，根据机器人的具体结构、关节限制和平衡要求，对关节角度进行进一步调整。这一步骤确保了传输给机器人的关节角度指令既符合机器人的物理特性，又能实现精确的运动映射。
经过优化和调整的关节角度指令通过ROS（Robot Operating System）这一强大的机器人操作系统进行传输。通信与控制模块负责建立并维护单目相机与机器人之间的无线通信连接，确保指令的实时、准确传输。一旦接收到指令，机器人根据这些指令驱动各关节运动，实现与捕捉到的人类动作的精准模仿。该模块还集成了错误处理和反馈机制，能够在传输过程中检测并纠正潜在的通信问题，确保系统的稳定性和可靠性。
▍
运动映射系统框架关键技术解析
HybrIK是一种结合了解析方法和神经网络的混合逆运动学解决方案，能够直接从单目RGB图像中预估人体的3D姿态。HybrIK通过检测人体的29个关键点（landmarks），构建出人体的3D骨骼模型。在该研究当中，团队选择了12个关键点用于人体动作识别，包括左右髋部、膝部、脚踝、肩部、肘部和手腕。
模仿人体骨骼结构的3D人形模型
在算法方面，团队使用了一种uDEAS基于全局优化的快速搜索算法，用于解决复杂工程问题中的非光滑和多模态问题。在人体运动映射中，uDEAS通过最小化平均关节位置误差（MPJPE）来优化人体模型与机器人模型之间的关节角度匹配。该算法结合了局部搜索和全局搜索策略，通过动态调整搜索变量顺序来提高搜索效率。
在计算出人体关节角度后，研究团队通过一系列滤波器（如低通滤波器、移动平均滤波器）对角度进行平滑处理，并根据机器人的结构、关节限制和平衡要求进行调整。最终将处理后的关节角度向量通过ROS（Robot Operating System）发送给人形机器人，实现运动映射。
▍
全尺寸人形机器人运动重定向框架的有效性验证
为了验证所提出方法的有效性，研究团队在ALICE3人形机器人上进行了实验。ALICE3是一款高135厘米、重30公斤的全尺寸人形机器人，具备24个电机驱动关节。
ALICE3的关节电机
实验通过多个步骤验证了所提出的全尺寸人形机器人运动重定向框架的有效性。研究团队使用NVIDIA Jetson AGX Xavier作为计算平台，并结合Intel RealSense相机进行图像采集和关节预估。
所提出系统的ROS节点结构
此外团队通过ROS（Robot Operating System）实现实时优化与人形机器人操作的关键功能。实验主要针对两种典型的人体运动：上半身扭转运动和下蹲运动。
HybrIK两种坐标系的比较（蓝色轴）和人形模型（红色轴）
上身躯干扭转的运动重定向运动
对于上半身扭转运动，系统能够准确预估并传输人体的右臂抬起和上体右旋动作到ALICE3人形机器人。尽管人类在执行该动作时也会用到下肢关节，但出于运动安全的考虑，这些关节角度并未被应用于人形机器人。实验结果表明，系统成功实现了从人体到机器人上半身动作的重定向，验证了上半身运动重定向的可行性。
基于成本敏感性的局部搜索方案uDEAS在3D空间中
对于下蹲运动，系统进一步验证了全身运动重定向的效果。下蹲动作包括双臂伸展站立、缓慢屈膝、再伸直膝盖的过程。实验结果显示，人形机器人能够准确地模仿人类的下蹲动作，包括下肢各关节的协同运动。特别是在机器人保持站立稳定性方面，通过调整基础站立姿态的关节角度（如髋关节、膝关节和踝关节的角度），确保了机器人在下蹲过程中的稳定性。
整个身体的动作重定向用于蹲下动作
实验结果显示姿态预估的准确性得到了充分验证，HybrIK预估的人体姿态与机器人实际执行的姿态高度一致。此外，尽管当前姿态预估速度尚不满足实时要求，但通过优化算法的应用，系统展现了潜在的实时性能。同时滤波器的使用明显提升了机器人关节角度轨迹的平滑性，使动作更加自然流畅。更重要的是，系统能够有效处理机器人的关节角度限制，确保动作执行的安全性和稳定性。
▍
结语与未来：
韩国东亚大学提出的系统框架为人体动作向人形机器人的映射提供了一种创新性的解决方案。随着技术的不断进步，特别是姿态预估算法的加速优化，实现实时、高精度的人体动作捕捉与重定向将成为可能。这将极大地推动人形机器人在社交互动、辅助服务、娱乐产业等多个领域的广泛应用。同时，集成感官反射控制和预览控制技术，将进一步提升机器人在执行复杂动态活动时的自然度和流畅性，使其更加适应人类生活环境。
不过团队同时表示，目前该研究方法依旧有不少提升的空间。一方面，需要不断优化算法以提高姿态预估的准确性和实时性，特别是在处理复杂动作和遮挡情况时。另一方面，机器人硬件的限制和约束也是必须考虑的因素，如何在保证动作自然度的同时，确保机器人的稳定性和安全性，是未来的重要研究方向。
如需咨询企业合作事宜，欢迎联系堂博士(13810423387，手机与微信同号)进行对接。
----------------END----------------
