2019年6月 Science 来自EPFL和KTH的论文“
Trends and challenges in robot manipulation
”。
抓取、握住和操纵目标的能力涉及灵巧的双手、触觉以及眼睛和肌肉的反馈，这些反馈使人类能够保持可控的抓握。本文回顾机器人技术在模拟这些功能方面取得的进展。系统已经从在完全定义的环境中操作的简单夹持器发展到可以从随机集合中识别、选择和操纵目标的机器人。随着计算机视觉、计算机处理能力和向机器人提供反馈的触觉材料的进步，进一步的发展正在出现。
人类拥有操纵各种形状、大小和材质目标的超强能力，并能利用双手的灵巧能力在狭小空间内控制目标的位置。受人手启发而制造具有自动拾取和操纵目标功能的机器一直是机器人技术的重要组成部分。第一批机器人操纵器可以追溯到 20 世纪 60 年代，是有史以来制造的第一批机器人设备之一。在早期，机器人操纵包括精心规定的运动序列，机器人会执行这些序列，但无法适应不断变化的环境。
随着时间的推移，机器人逐渐获得了利用人工智能和自动推理自动生成运动序列的能力。机器人会根据大小、重量等来堆叠箱子，这超出了几何推理的范围。这项任务还要求机器人处理运行时传感中的错误和不确定性，因为堆叠的箱子位置和方向的轻微不精确都可能导致整个塔倒塌。
控制理论中的方法也有助于机器人适应环境的自然不确定性，使它们能够在接触时调整施加的力。稳定地改变接触力的能力将机器人的操作范围扩展到更复杂的任务，例如将钉子插入孔中或锤击。然而，这些动作都没有真正展示出精细或手部操作的能力，它们通常使用简单的两指夹持器来完成。
为了实现多用途精细操作，机器人专家将精力集中在设计能够使用工具的类人手上。用手挥动工具本身就成了一个问题，人们开发了各种先进的算法来促进稳定地握住目标并提供最优性保证。
由于在随机环境中很难实现最优性，从 20 世纪 90 年代开始，研究人员致力于提高各个层面目标操作的稳健性。这些努力开启了传感器和硬件的设计，以改进对手与目标接触的控制。随后的研究集中于应对目标遮挡和噪声测量的稳健感知，以及推断目标物理属性的自适应控制方法，从而处理属性未知或因操作而发生变化的目标。
机器人专家仍在努力开发能够在非结构化和动态环境中分类和包装目标、切菜和折叠衣服的机器人。用于现代制造业的机器人已经在结构化环境中完成了其中一些任务，但为了确保安全，机器人和人类操作员之间仍需要设置围栏。理想情况下，机器人应该能够与人类并肩工作，提供力量来搬运重物，而不会造成危险。
在过去十年中，机器人的灵活性已达到新的水平。这种增强归功于机械方面的突破，包括用于感知机器人身体触觉的传感器和用于软驱动的新机械，以提供自然的柔顺性。最值得注意的是，这一发展利用机器学习的巨大进步来封装不确定性模型，并支持自适应和鲁棒控制的进一步发展。
学习在现实环境中进行操作在时间和硬件方面都很昂贵。为了进一步阐述数据驱动方法，但又避免生成真实物理系统的示例，许多研究人员使用了模拟环境。然而，抓取和灵巧操作需要一定程度的真实性，而现有的模拟器还无法提供这种真实性——例如，在为柔软和可变形体建模接触的情况下。
因此，研究人员追求两条道路：第一条道路从人类获得交互技能的方式中汲取灵感，并促使机器人通过观察人类执行复杂操作来学习技能。这使得机器人只需几次试验就能获得操作能力。然而，将获得的知识推广到不同于之前演示的动作仍然很困难。第二条道路构建真实目标操作的数据库，目标是更好地为模拟器提供信息并生成尽可能逼真的示例。
然而，实现摩擦、材料变形和其他物理特性的真实模拟可能在短期内无法实现，而学习操纵高度可变形体将不可避免地需要进行真实的实验评估。
尽管经过多年的软件和硬件开发，机器人实现灵巧的操控能力仍然是一个悬而未决的问题——尽管这是一个有趣的问题，因为它需要更好地理解人类的抓握和操控技术。制造机器人是为了自动执行任务，同时也为人类提供工具，使他们能够轻松执行重复和危险的任务，同时避免伤害。因此，实现人机之间稳健而灵活的协作是下一个重大挑战。
目前将人与机器人隔开的围栏将逐渐消失，机器人将开始与人类共同操控目标。为了实现这一目标，机器人必须成为能够理解人类意图并做出相应反应的顺从而值得信赖的合作伙伴。此外，机器人必须更好地理解人类的互动方式，并具备实时适应能力。还需要开发设计安全的机器人，重点是柔软轻巧的结构以及基于多传感器反馈的控制和规划方法。
灵巧操作是机器人技术的主要目标之一。具有这种能力的机器人可以对目标进行分类和包装、切菜和折叠衣服。随着机器人开始与人类并肩工作，它们也必须具备人类意识。在过去十年中，研究已朝着这些目标迈进。进步来自视觉和触觉感知的进步以及提供自然柔顺性软执行器形式出现的力学进步。
最值得注意的是，机器学习的巨大进步已被用于封装不确定性模型并支持自适应和鲁棒控制的改进。如何让机器人应对最不可预测的智体——人类，仍是一个悬而未决的问题。
尽管机器人技术在机械设计、感知和针对抓取和处理目标的鲁棒控制方面取得了巨大进步，但机器人操作仍然不能很好地代表人类的灵活性。到目前为止，还没有机器人可以轻松地用手洗碗、扣衬衫或削土豆皮。
机器人擅长在重复和熟悉的环境中拾取和操纵目标，例如工业装配设置。在这样的环境中，目标的几何形状、材料特性和重量是众所周知的。机器人可以处理常规动作中的一些变化，以适应目标属性的细微差异，但整个过程通常针对有限的预期变化进行优化。
在早期的工厂环境中，机械臂遵循预定的轨迹，并假设目标总是会出现在同一个地方。今天，机器人可以调整其轨迹以检索不同位置的目标，从而使目标可以由人类放置或简单地放在传送带上，而不是由其他机器放置在准确的位置。
汽车行业典型的传统装配线是将机器人固定在地板上并一个接一个地放置，现在可以变得更加灵活。传送带上移动的目标可以很容易地被摄像头检测到，如果完全可见，就可以拾取。然而，检测透明目标或部分隐藏的目标（例如，堆叠在一起时）仍然很困难。
由于需要频繁更改生产的商品类型，机器人行业努力寻求多用途的目标抓取和处理解决方案。实现这一目标的其中一步是为机器人提供不同尺寸和强度的夹持器，并为机器人配备工具更换机制，以便它们能够选择正确的工具。
要确定使用哪种工具完成给定任务，机器人必须了解目标的属性，如形状、重量、材料等。在工厂中，所有目标都是已知的，这些信息很容易获得。然而，在其他环境中，这一要求对机器人来说是一个限制，因为机器人可能事先不知道要操纵的目标集。
尽管对机械手的研究已经进行了五十多年（2-4），但迄今为止，在许多应用中使用最广泛的手仍然是平行钳口夹持器，通常没有任何额外的传感。用没有传感的夹持器拾取目标，就像在拇指和食指都麻木的情况下用拇指和食指的尖端抓握！这种工具可能足以完成简单的拾取和放置动作，但对于更复杂的动作（例如拨动键）则不够。
由于人手可以轻松地执行复杂的动作，因此它自然而然地成为机器人技术的灵感来源。但是，由于许多原因，设计具有与人手类似的传感器和执行器的机械手很困难。
在构建拟人化的机械手时，在有限的可用空间内安装所有必要的执行器、传感器和机械结构是一项挑战。另一个障碍是保持机械手的总重量较低，以满足其所连接的手臂的有效载荷要求。因此，与人手相比，大多数人形手和假肢都没有那么多可控自由度（5-6）。
人手柔软而灵活，拇指灵活，但其独特的运动范围仍然难以用机械方式复制（7），因为肌腱和肌肉的复杂组合与传统的串行机器人关节设计有显著不同（8）。如今，机器人手仍然主要由硬质塑料和金属部件组成，电动机作为执行器。这种刚性是缺乏灵活性的部分原因，因为它在执行抓握时不允许出现任何错误。
如果无法完美估计目标的姿势，那么紧贴目标的刚性手指很容易移动而不是抓住目标，施加太大的力可能会压碎目标。机器人技术的一个日益增长的趋势是开发能够适应目标形状、在接触时吸收意外力并补偿操作过程中负载变化的软手（9-10）。
柔软度可通过硬件或软件的改变或两者结合来实现，如图的软手所示，机械手传统上由硬质材料制成，手指由刚性控制：最近的设计旨在通过使用软致动器、软材料和高级控制器来模仿人手的自然柔顺性；（A）刚性材料和致动器；（B）具有部分柔性电缆驱动致动器的刚性盖：双手通过软件干预变得柔软，通过触觉反馈调节指尖的压力（17, 33）；（C）可调整形状和硬度的柔软可折叠夹持器（11）；（D）可由人类佩戴的康复手套的柔性致动器和材料（12）]。
用于构造手的材料的柔软度建立在 3D 制造和材料科学的解决方案之上。例如，人们可以逐层制造刚性和柔性材料，以创建可折叠的手指，这些手指可以根据需要展开和缩回（11）。目前，这些弹性体的有效载荷低且速度慢，仅限于操纵轻目标。作为产生更多功率的替代方案，可以使用气动或液压驱动（12-13）。
人类的手上覆盖着一层多用途皮肤，可提供适当的摩擦力和阻尼。人体皮肤是一种高频和高分辨率传感器，可提供有关法向力和切向力的精确信息，这些信息对于抓握调整至关重要。人体皮肤还可以测量拉伸和温度。相比之下，机器人手通常通过仅放置在指尖的微型力传感器测量施加的力（14）。力传感器可以产生非常精确的 3D 测量结果，但它们无法轻易揭示接触的确切位置。
要移动手中握住的目标或一次握住多个目标，需要测量精确的接触点，不仅是指尖，还要沿着手指的长度和侧面以及手掌内部进行测量。这可以通过提供沿四肢接触测量的人造皮肤来实现。人们对人造皮肤的兴趣可以追溯到 20 世纪 80 年代（15、16），但在过去十年中取得重大进展。
目前，存在各种价格合理的商业产品，其中一些可以根据机器人的形状进行定制。触摸传感器测量法向接触力；一些还提供有关切向力、扭矩、温度、振动或表面特性的数据。尽管如此，大多数触摸传感器都是刚性的，它们的位置仅限于指尖和四肢节段。然而，关节（指关节、肘部、膝盖）处的触摸检测对于检测陷阱至关重要。它还有助于引导探索目标内部（17）。这种接触只能通过沿着肢体的屈伸点弯曲和伸展的软传感器来检测，
如图所示机器人触摸感，右侧：可拉伸的人造皮肤可测量指关节处的接触，这可能有助于探索目标的内部（18）。因此，灵活且可拉伸的皮肤对机器人专家来说至关重要（19）。原型只是存在于实验室中，鉴于目前对软电子器件的兴趣（20），很快可以看到它们的实际部署。
作为使用皮肤的替代方法，可以从视觉中推断出触觉（接触和力）信息。例如，可以通过接触的动态模型（21），如上图所示，左侧：视觉可用于推断接触力（红色）。从视觉推断力，或者使用光学传感器以高空间分辨率呈现目标几何形状的变形（22）。估计目标的精确位置、局部几何形状和其他属性（如重量和重量分布）的必要性在很大程度上取决于应用。手部设计、材料以及内部和外部传感之间的相互作用提供了适当的冗余。
另一个挑战是需要以非常高的频率测量接触，以便准确及时地检测滑落（23）。如此高的空间和时间分辨率，加上实时处理视觉数据以进行目标跟踪，导致计算过载，因为必须实时解释大量数据流。这种处理通常由远离手的 CPU（中央处理单元）执行。或者，也可以通过使用专用 CPU (24) 在手本身上进行处理，但这种 CPU 只专注于处理视觉数据。需要进行更多研究来开发用于处理与视觉相结合的触觉信息的硬件。
因此，可以通过利用材料科学研究设计软驱动，实现手整个表面的接触感应，并利用电子技术的进步实现机载实时处理多感官数据，从而实现灵巧的机器人手。
尽管人手令人着迷，但它不一定是机器人技术的终极解决方案。人手设计可能出于美学原因而受到青睐；例如，在设计假手或人形机器人时。但对于许多机器人来说，这种设计可能是多余的。工业手仍然是特定任务的好解决方案。这些手不是试图复制人类手指的位置，而是有两到三根手指对称排列在手掌周围，这种设计特别适合工业拧螺丝。
机器人技术一直在拟人化和传统工业手设计之间摇摆不定。但简单动物的抓握系统也可能提供灵感。例如，鱼会吸食猎物。在机器人指尖增加吸力在水下很有用，因为这项技术可以抵消手产生的水流（25）。
为什么不创造既能利用自然又能超越自然的手呢？例如，人类的拇指非常神奇，但它会产生不对称，限制手部的操作方向。然而，同一只手上的两个拇指可以提供超出人类能力的灵活性。如图所示设计超越人类灵活性的手：两个拇指可以用一只手而不是两只手来执行拧螺丝和松螺丝的动作。这种能力可能对机器人和人类的假肢有用。
周围的目标都是为适应人类手操作而制造的，与当代的机器人手相比，人手仍然很小，而且非常坚固。使机器人能够拾起钢笔、葡萄干、螺丝和针头等小物件是一个明确的功能目标。
如今，机械臂和机械手通常是分开开发的，将它们集成起来本身就是一项工程工作。工业臂具有相当大的有效载荷，但通常设计为用螺栓固定在地板上，太大而无法部署在工业环境之外。
人形机器人和用于精细装配任务的机器人的手臂有效载荷较低，通常不足以携带手和手握住的目标。为手臂和手添加传感功能需要布线，而布线很快就会变得复杂。
此外，许多手没有或只有有限的测量接触和力的方法。因此，需要改变范式，不再开发没有手的机械臂和没有手臂的手。必须进一步确保以“即插即用”的方式开发双手，并且可以通过现有的工具切换系统轻松地进行连接和拆卸。最先进的力和触觉传感器必须成为手臂-手系统的固有组成部分。
机器人的灵活性是硬件、也是软件进步的副产品。它需要合适的算法来快速有效地处理通过传感器和执行器收集的大量信息。同时，它需要算法来充分控制手相对于目标、场景和任务属性的运动。
与人类一样，机器人对操控的感知也是多模态的（如图所示）。视觉是识别和定位目标的工具。当与现有目标的数据库相关联时，机器人视觉可以帮助推断已知甚至未知目标的几何和物理特性（26），这些信息对于塑造手的隙缝（aperture）和要施加的力非常重要。
本体感受——即了解机器人肢体的位置——需要引导手臂和手朝向目标，并通过视觉支持持续跟踪目标。一旦发生接触并且目标被手握住或探索，触觉和力测量就变得很重要。相关的控制算法用于引导抓取和/或推断目标的物理特性，例如刚度和质量分布，这些特性以前可能被错误估计或未知。
声音最近也受到关注，作为一种推断看不见目标内容和监控操控过程中内容变化的手段（27）。举个例子，一个机器人的任务是从冰箱里取出一包牛奶。在机器人把牛奶拿在手中之前，它可能不知道包装里有多少牛奶，也不知道包装的实际重量。考虑到包装可能是用纸板制成的，机器人需要知道重量，以便施加合适的抓握力，避免破坏包装。就牛奶而言，声音也可以提供有关摇晃包装时粘度的信息，因为牛奶的声音与酸奶等其他物质的声音不同。
过去几年，人们在分析视觉信息方面付出巨大努力，取得长足的进步。尽管如此，机器人仍然很难识别部分被遮挡的目标（28），尤其是从移动的摄像机观察时，或者当目标在机器人手中移动时（29）。与开发视觉算法相比，人们在分析触觉信息方面的努力要少得多，因为目前还缺乏用触觉传感器覆盖整个手的解决方案。
如今，视觉和触觉信息仍然主要以顺序方式使用，例如，在准备阶段提供视觉信息，在接触时提供触觉数据（30），并且只有少数近期研究将两种模态整合在一起，用于识别、抓握、手部适应和形状重建（31-35）。相比之下，人类擅长在不同感官之间切换，从视觉到触觉再回到视觉，即使这些感官的处理频率发生变化，人类也能快速切换。相比之下，机器人仍然缺乏决定使用哪些传感器、何时使用以及何时在传感器之间切换的能力。
机器人在能够用手操纵目标之前，必须能够用手指抓住目标。如果将抓握概念化为不考虑其他约束只是用手指抓住目标，那么抓握的挑战似乎已经解决。然而，抓握目标是一个更加艰巨的问题。几十年来，研究人员一直致力于建立如何形成稳定抓握的理论。这变成一项复杂的数学练习，旨在确定在目标表面的指尖最小数和最佳位置，以确保稳定性 (36)。
虽然这很有价值，但大部分理论工作都依赖于一些假设，例如目标的已知 3D 模型、刚性点接触以及过程中无不确定性。为了将源自不完善的目标模型和动力学的不确定性纳入交互过程中，必须超越单点接触建模，追求基础理论的实质性进展。
因此，许多较新的方法都是
数据驱动
的 (37)。为了避免机器人每次遇到目标时都计算最佳抓取，可以建立一个抓取数据库，并采用实时采样和排序候选抓取的方法。这种方法处理感知中的不确定性，并为已知、熟悉甚至未知的目标提供快速和在线的抓取。
对目标属性的先验知识，决定了生成和排序抓取候选所需的感知处理和相关目标表征。虽然这种方法对已知和熟悉的目标很有效，但对于未知目标，需要额外的启发式方法来发现几何结构（例如，手柄，机器人会有一个候选抓取）。这一挑战与计算机视觉中的经典实例识别和分类问题密切相关，但抓取不是一个孤立过程，而是增加了一个新的维度。
除了依赖于目标之外，抓取也依赖于机器人。此外，随着手的自由度增加，控制的复杂性也会增加。这对于拟人手来说尤其如此。简化控制的研究途径之一从生物学中汲取灵感，并促进姿势协同（postural synergies）作用的使用（38）。协同作用构成有效人体运动子空间的基础，与身体运动学可能的运动有关。这些已被用作机器人手分析、控制和设计选择的工具（39-42）。
有几项研究还展示如何利用欠驱动手在非结构化环境中抓取和操纵目标，以及这项工作如何产生比那些全驱动手相对便宜、轻便且易于控制的自适应手（43-48）。最近的研究优化手部设计以提高操纵能力（49、50），并为此类设计提供开源软件。
其他近期研究表明，柔手在环境中变形的能力可能会减少操纵的认知负荷（51）。此外，可以使用形态计算（52）系统地研究这个想法，其中柔顺的交互，允许行为适应特定的环境，而无需明确的控制。
抓取本身并不是目的，它还与人类或机器人正在执行的任务有关。例如，人们抓取杯子的方式不同，这取决于目标是喝水、装满液体、放入洗碗机还是为他人服务（53）。
如图所示：（上）人类抓取目标的方式不同，这取决于其目的是拿住它、打开瓶盖还是递给别人。（下）机器人也可以通过编程，以不同的方式拿住同一个玻璃杯，这取决于其任务是将玻璃杯递给人还是将玻璃杯倒出。
同样，虽然刀、叉或勺子在搅拌汤时可以用相同的抓握方式，但这种抓握方式与这些餐具用于进食或切割时的方式不同。要确定抓取目标的最佳方式，必须了解抓握的目的。因此，当机器人专家旨在解决如何抓取目标的问题时，他们首先必须确定执行抓握的原因。如今，研究人员将抓握视为目标操纵总体规划的一部分。
要确定使用正确工具的正确抓握方式，必须首先拥有正确的工具。当需要锤子但手边没有锤子时，人类会选择第一个足够坚固的目标来充当锤子。未来，在没有最合适的工具时，开发能够以这种方式推理的机器人的努力对于促进机器人在自然环境中的部署至关重要。
此外，具有这种能力的机器人，将能够使用最初为人类灵活性设计的工具来执行家务，而不会对人类家庭进行不必要的改造。因此，如何对这种“常识性”工具的使用进行编程是研究的重要途径，并且已经在这个方向上进行一些初步工作（54-57）。
机器人在抓取和释放某些类型目标方面已经相当高效。它们还能够执行各种简单的操作动作，如投掷（58）、滑动（59）、戳（60）、旋转（61）和推动（62）。
当这些动作必须在杂乱的环境中执行或需要接触丰富的交互时（例如，当感兴趣的目标靠近或被其他目标覆盖或位于诸如搁架单元之类的密闭空间中时），就会出现困难。有必要规划一条可行的路径，并生成一组中间动作，以确保不会损坏手或其他目标。
今天，人们也认识到感知和控制是紧密耦合的，交互式感知领域（63）将操纵视为感知的手段，将感知视为实现更好操纵的手段。
使目标发生变化的操控动作（切割、挤压）仍然特别困难，因为它们需要变形模型和高级感知来监控变化（64）。为了便于适应引起的变化，这些动作还需要用手施加力（例如，拧开瓶盖时减少摩擦，挖瓜时增加粘度）（65）。
如图所示：手中目标的灵巧移动（左），可变形体的操纵（如水果和蔬菜）（65）（中），以及与人类协作操纵目标（右），仍然存在困难。因此，对目标的摩擦和粘度特性进行建模仍然是一个重要的未解决的问题。
手中的操控，即在握住目标的同时移动目标，也特别复杂。例子包括在手指间旋转笔或准备将钥匙插入钥匙孔。这些动作包括（重新）抓握动作和滑动和旋转动作的广泛组合，以及在某些情况下两只手臂和手之间的相互作用。
在讨论机器人与目标的这种高级交互时，通常谈论内在（intrinsic）灵活性和外在（extrinsic）灵活性。前者表示手利用其可用的自由度操纵目标的能力。具有高内在灵活性的手通常模仿人手的结构（66）。或者，手可以更简单，末端执行器专门为特定任务设计（67、68）。外在灵活性是通过使用外部支持（例如摩擦力、重力和接触面（69））来弥补自由度不足的能力。此功能还可以使用简单的平行夹持器进行灵巧操作。
