专栏名称: 中国舞台美术学会

中国舞台美术学会（casa）微信公众平台

人机共生时代——机器人戏剧《巨物之城》中的科技融合与创新

中国舞台美术学会 · 公众号 · 美术 · 2024-11-21 10:00

正文

☝点击上方蓝字→点击右上角“...”→点选“设为星(置)标(顶)”

本文转自：U12Theatre

人工智能的时代已经到来，AI正悄然重塑人类世界的每一个角落。除了在科研教育、商业服务等领域扮演重要角色，机器人走进戏剧演出的时代也开始到来。

机器人戏剧《巨物之城》是国内首部以未来人机共生时代为背景，以机器人为主要角色的戏剧作品，是上海戏剧学院创意学院建院20周年重要创作成果，数字演艺集成创新文化和旅游部重点实验室创作成果。此部剧与上海卓益得机器人有限公司合作，创造性引入智能机器人演员：Tiago、移动双臂机器人、仿生机器人等，经风格化设计与改造，化身剧中思维迥异、性格鲜明的“麒麟臂”“堂吉诃德”“岚”，为观众带来前所未有的观演体验。

为了深入了解《巨物之城》在落地实践中所实现的突破性进展，我们特此采访了上海理工大学的李清都教授，揭秘其在科技创新与技术升级方面的亮点。

访谈人物：李清都

李清都，教授，博士生导师，上海理工大学机器智能研究院执行院长、上海卓益得机器人有限公司创始人。

曾在美国康奈尔大学和德国汉堡大学学习工作，发表SCI期刊论文百余篇，爱思唯尔高被引学者、全球前2% 顶尖科学家，获得多个奖项、荣誉和人才称号。20年来，带领团队钻研双足人形机器人的理论和技术。提出了被动行走+人工智能新方法，研制出续航超百公里的“行者一号”机器人，创吉尼斯世界纪录，研制了BEISE系列双足机器人，以其高安全、长续航等领先性能获得高度评价。

Part1 关于机器人戏剧

您如何看待人形机器人目前的发展趋势及行业前景？与机器人与文化融合的探索，对行业发展趋势有何影响？

当前，人形机器人正在向具身智能的方向迈进，不仅在外形上更接近人类，而且在互动方式上也更加自然和多样化。这一趋势尤其体现在仿生表情与情感交互技术上。以我们团队研发的具身智能机器人“Rena”为例，这款机器人通过高度仿真的表情控制系统，能够表现出细腻的情感变化，从而实现更具人性的交互体验。这种创新使人形机器人不仅仅是冷冰冰的机器，而是具备了表情、肢体语言等复杂交流能力的“角色”。具身智能的发展为人形机器人在生活服务、教育、陪伴等场景中创造了更广泛的应用前景。未来，我们可以期待更多机器人具备真实感的情感表达和交流能力，从而进一步融入人类生活场景中。

在文创领域，人形机器人的创新应用已经出现了一些案例：

• 场景复现：利用机器人还原历史人物、事件或文化场景，为观众带来沉浸式体验。例如，博物馆或文化遗址中的人形机器人可以扮演特定历史人物，与观众互动，以增强教育效果。

• IP具身智能化：将文学、动漫或游戏中的角色通过人形机器人实体化，为观众带来面对面的互动体验。借助智能对话和情感表达技术，这些“具身化”的IP角色为粉丝提供了全新的文化体验。

• 舞台表演：机器人在剧场演出中的应用正在扩展，不仅可以担当角色，还能与真人演员协作演出，呈现出独特的视听效果。

文化领域的应用场景对人形机器人的要求相对宽松，是技术落地的理想平台。例如，在制造业中，机器人稍有失误就可能导致产品报废；而在文化场景中，机器人的任务容错度更高。即便在对话中出现小问题，因其后端可依托于强大的计算集群和庞大的数据资源，也能较好地弥补不足。这种低容错率的环境大大降低了人形机器人进入文创领域的难度。同时，人形机器人在文化领域的应用也对人工智能的发展形成了正向推动。通过文化和科技的融合，机器人得到了广泛的展示机会，这不仅有助于提升公众对机器人的接受度和理解，也为行业提供了新市场。文创领域的不断拓展还推动了具身智能等前沿技术的发展，使机器人更加贴近真实、易于接受。

总体来看，人形机器人在文化领域的深度融合，为行业发展提供了新的增长点，也为机器人的普及和技术突破创造了条件。

简单谈谈从上理工或卓益得公司的角度出发，为什么考虑推进机器人戏剧的合作项目，此次参与戏剧剧目创作您有什么体验和感受呢？

从上理工或卓益得公司的角度来看，推进机器人戏剧合作项目不仅是技术与艺术的一次创新融合，更是希望通过这种新颖的传播形式，引导人工智能和人形机器人朝着健康、积极的方向发展。机器人戏剧拥有极佳的传播效果，能够激发观众对技术的思考，帮助缓解人们对未来科技发展的潜在恐慌，起到良好的科普作用。大众对这一领域非常有兴趣，尤其是很多人从小就怀有机器人梦想，戏剧项目为我们播撒下了热爱人形机器人的“种子”，为未来的人才培养和技术发展奠定了基础。

对于我来说，此次合作让我第一次深入到艺术创作的过程中，体验到艺术的独特魅力，也学习到了许多跨领域的知识。作为一直从事技术研究的人，这次艺术和技术的结合给我带来了许多启发。戏剧中的机器人不仅要展现技术，还需要通过表情、动作、语音等表达情感，真正实现“具身智能”的概念。这不仅挑战了我们的技术能力，也丰富了我们的视野，让我更加理解人形机器人在情感交互和人机关系塑造中的重要性。

总体而言，机器人戏剧项目不仅为我们团队带来了技术上的突破，还帮助我们将机器人科普推广给更广泛的受众，激发了新一代对人形机器人的热爱和兴趣。通过这种艺术形式的探索，我们期待未来能在更多文化场景中推动机器人技术的应用，让科技以更亲和的方式进入公众的生活。

您觉得此次巨物之城的合作项目，对上理工参与的学生有什么帮助？

给学生带来了宝贵的实践机会和多方面的成长。在机器人戏剧的创作过程中，学生体验了将技术与艺术相结合的过程。这种跨领域的实践极大地拓宽了他们的视野，让他们在真实的项目中感受到机器人技术在文化场景中的独特应用。

通过将自己的技术在舞台上展示，学生们得以向公众和专业人士呈现自己的努力成果，这极大地增强了他们的信心。每一个机器人角色的诞生都离不开团队的协作，从设计、开发到最终的演出，每个环节都在培养他们的合作意识和沟通能力。这些经历对于学生的未来发展非常有意义，为他们进入实际工作环境打下了坚实的基础。

此外，项目还激发了学生对人形机器人和人工智能领域的热爱，使他们更深刻地理解了机器人技术在文化和创意领域的广阔应用。我们希望通过这样的实践项目，让更多学生具备跨学科的视野和能力，为未来的科技创新和文化创意领域培养出综合型的人才。

Part2 关于机器人技术

上海卓益得机器人有限公司生产的机器人主要用途是在哪些领域？本次参演的机器人是为剧目特别生产的，还是根据已有机器人改造的呢？

我们公司目前有两款主线产品：一款是通用双足人形机器人平台，具备高效、平衡、智能和经济性的特点，主要用于生产作业，可代替人类完成重复劳动任务；另一款是高仿真人形机器人，追求亲和力和交互体验，应用于教育、娱乐、服务等智能交互场景。

此次参演的机器人阵容不仅包括这两款主线产品，还包含专门为舞台定制的机器人角色以及经过改造的机器人。在原有功能的基础上，这些机器人进一步优化了舞台表现能力，以更好地适应戏剧表演的需求。

为确保机器人能够在视觉效果和技术表现上达到最佳状态，我们结合剧情和场景需求，对所有参演的机器人进行了特别调整。这些调整主要集中在以下几个方面：一是动作流畅性：为了适应舞台表演的节奏，我们对机器人动作进行了精细化编程，确保它们的动作流畅自然，与真人演员协调一致。二是表情丰富度：在表情和情感表达系统上进行了优化，使机器人能够呈现更丰富的情感，增强与观众的互动体验。三是互动协调性：根据剧情需求，我们特别设计了机器人与演员之间的互动动作，使其能够在舞台上无缝配合，营造生动的观演效果。

首次与戏剧相结合的过程中，我们还特别考虑了机器人的舞台适应性，包括在技术可行性和安全性方面进行严格测试，以确保机器人能够在演出中稳定、流畅地发挥作用。通过这些调整，机器人不仅作为技术的展示，更成为了剧情中的一部分，为观众带来生动、真实的表演体验。

此次新参演的机器人是哪几个，有什么样的新科技值得我们特别关注？

此次参演的机器人主要包括双足人形机器人T758和仿生表情机器人“岚”（Rena），它们分别在双足行走和情感交互方面代表当前的技术领先水平。为了更好地适应戏剧表演的需求，这些机器人结合了多项先进技术，实现了更自然的动作和更丰富的情感表达。

双足人形机器人T758：T758采用了仿生肌腱驱动技术，使其步态更加轻盈，接近人类。与传统电机驱动方式相比，仿生肌腱驱动不仅降低了峰值功率和能耗，还大幅提升了机器人在复杂环境中的稳定性和动态平衡能力。T758具备每小时5公里的行走速度，能够长时间保持低能耗运行，续航时间6小时。此外，轻量化设计和高强度材料的使用，使T758在剧场等多种应用场景中展现出出色的灵活性和适应性，是工业和服务场景中的理想选择。

仿生表情机器人“岚”：岚（Rena）是一款超写实仿生机器人，专注于实现与人类接近的情感交流和表情表现力。岚配备了多模态皮肤和触觉传感器，能够感知温度和触觉信息，使机器人在触感上更具人性化。此外，岚机器人采用了高分辨率的仿真眼球和双目视觉系统，具备表情跟踪与模拟的能力，结合生成式AI技术，实现了自然的语音对话与情感交流。岚的面部表情系统拥有25个微型电机，能够精确模拟上百种表情。通过自建的大规模表情数据集，岚可以根据演员的表情和动作实现高度逼真的情感再现。

此次新参演的机器人在舞台表现力上做了多重优化，结合先进的仿生和交互技术，为观众带来更生动的舞台体验，并展示了人形机器人在文化艺术领域的广阔应用潜力。

机器人为了参演戏剧，在外形上是否有被艺术化风格化设计？

确实如此，机器人在参与戏剧表演时，为了更好地融入剧情和舞台效果，外形设计上融入了艺术化和风格化的元素。设计师们会根据戏剧的主题和角色的特点，赋予机器人独特的外观。例如，机器人的表情符号、身上的装饰、动作特征以及语音风格都经过专门的设计和调整，以增强其与剧情的契合度，使其在舞台背景中更具表现力。

每个机器人不仅具备了拟人化的性格特征，还展示了细腻的情感表达和角色特性，使观众能够产生情感共鸣，留下深刻印象。这种艺术化设计不仅增强了机器人的视觉吸引力，还让其在戏剧表演中展现出独特的魅力，更加贴近真实的舞台角色。

机器人参与表演在技术方面最难的都是什么，您和您的团队是如何解决的？请问交互方面，语音设计、表情设计和动作设计我们是怎么做的？

机器人参与戏剧表演在技术上面临的最大挑战之一是多台机器人的协调控制。由于此次参演的机器人数量较多（共6台），且不同类型的机器人采用了不同的控制方式，实现统一调度是一项复杂的任务。为了解决这个问题，我们专门为戏剧设计了一个统一的调度程序，并为每台机器人设计了适配的控制接口，从而实现多机器人之间的统一调度和协调。在实际操作中，调度系统能够灵活地分配各机器人的任务，使它们在舞台上准确呈现各自的角色。

在交互、语音、表情和动作方面，我们主要采用生成式方式来设计。例如，通过采集人体的运动数据，建立模型后将其作为机器人控制的参考，显著降低了手动编程的工作量。在一些复杂场景下，我们也会采用人工生成的方式来保证机器人动作的准确性和流畅度，从而实现更细腻、自然的表现效果。这种多层次的控制和交互设计使机器人在舞台表演中具备了更加真实和生动的表现力，同时也提升了系统的灵活性和可控性。

在戏剧演出前，演员们会有“走台”，请问机器人的“走台”在现场是如何进行的？

机器人的“走台”与演员的走台确实有很大不同，主要是由机器人操作员配合导演完成整个排练过程。这一过程对机器人的稳定性和操作人员的反应能力都是一项考验。

在“走台”过程中，操作员会根据导演的要求精确控制机器人，以确保其在舞台上的动作、站位和表情都符合剧情需求。操作员不仅要对机器人进行实时调整，还需要快速应对现场的各种状况，保持机器人的表现稳定、连贯。

每台机器人都需要逐一调试，确保动作的准确性和语音表情的同步，尤其是在复杂的互动场景中，操作员和导演的紧密配合显得尤为重要。通过这种方式，我们能够在排练期间优化机器人的表现，使它们在正式演出中精准地展现出应有的角色特点，顺利融入整体舞台效果中。

Part3 科技与艺术的融合

在本次项目合作中，艺术创作团队和科技团队所遇到的最大问题或矛盾是什么，您认为两个团队如何协调才能产生好的艺术与科技作品？

在本次项目合作中，艺术创作团队和科技团队遇到的最大挑战在于专业背景和关注重点的不同。艺术团队希望在舞台上创造出令人印象深刻的视觉效果，而科技团队则更关注机器人的稳定性和操作的可行性。这种差异有时会导致双方在创意实现上的分歧。

基于以往的合作经验，我们认为充分的沟通是解决问题的关键。项目启动时，双方团队会进行详细的需求对接，确保彼此理解创意和技术的可行性。在实现条件允许的前提下，科技团队会尽量满足艺术团队的创意需求；对于难以实现的部分，则通过协调提出替代方案，以找到双方都认可的平衡点。

这种协作方式不仅帮助我们解决了技术与创意的矛盾，还促进了团队之间的理解与信任。最终，通过持续的沟通和调整，艺术与科技得以融为一体，为观众呈现出兼具艺术表现力和技术稳定性的作品。这一过程为未来的跨界合作奠定了宝贵的基础。

您认为此次科技与艺术融合项目对于科技领域来说有什么意义？

机器人舞台剧是科技与艺术深度融合的典范，为科技创新提供了真实而独特的应用场景。这类项目不仅拓展了机器人和人工智能等前沿技术的应用空间，同时还促进了跨学科人才的培养。通过将高新技术融入艺术创作，机器人在情感表达、动作流畅性和人机交互方面得到了全新的探索与突破。

此外，这种艺术与科技的融合能够增强大众对科技的兴趣和理解，有助于消除人们对新技术的误解和畏惧，让更多人认识到科技的潜力和积极作用。这样的项目能够加速科技成果的转化和推广，为技术进步和产业升级注入新动力，也为科技领域带来新的灵感，激发更多创新性的发展方向。

您觉得未来机器人行业还可以从哪些方面的探索，是否还会有机器人和艺术有关的发展计划？

未来，机器人行业在自主性和智能化方面仍有广阔的探索空间。我们将继续致力于提升机器人的人机协作能力、引入更先进的大模型技术以及多模态感知和交互能力等方面的突破，这些都是人形机器人亟待解决的共性难题。在此基础上，我们将不断扩展机器人的应用场景，使其更广泛地融入各个行业和生活场景。

在科技与艺术的融合领域，我们认为人形机器人具备巨大的潜力，尤其是在泛娱乐方向，机器人可以成为重要的角色。我们计划在这一方向上进行更多跨学科合作，探索机器人在文化创意、娱乐互动等领域的应用，并进一步丰富我们的机器人角色，使其在艺术和科技的双重背景下焕发出新的活力。这种探索将推动机器人行业更深入地走进公众生活，赋予机器人更具人性化的角色和功能。

请分享一下上海卓益得机器人有限公司未来的发展方向。

卓益得公司致力于通过人形机器人的技术研发和市场扩展，为社会提供多领域机器人解决方案，推动机器人技术的广泛应用并支持未来产业升级。公司的未来发展方向主要集中在以下四个方面：

1）技术创新与产品优化：公司将深入推进人形机器人技术的研发，聚焦自主性、人机协作、多模态感知和智能交互等关键技术，保持技术领先地位。未来产品包括升级版双足机器人平台及表情仿真机器人，以模仿学习、肌腱驱动、标准化设计等技术，为科研教育、服务和工业等领域提供高智能、低成本的解决方案。

2）应用场景拓展：公司将扩大机器人在智能制造、商业服务、居家康养、智慧农工等场景的应用，为科研教育到工业生产提供全面解决方案，满足教育、服务、娱乐等多样化需求，主要产品包括通用人形机器人平台和仿真表情机器人“睿娜”（Rena）。

3）跨学科融合与艺术创新：公司计划探索科技与艺术的跨界合作，发展机器人在舞台剧、文旅等文化创意领域的角色和互动能力，将机器人技术融入娱乐和创意产业，推动泛娱乐机器人应用。

4）生产能力与国际化拓展：未来，公司将建立自动化生产线和机器人技能训练平台，提升生产效率和产品质量，并推动国际化战略，通过本地及全球合作伙伴，推动机器人在更多国家和市场的商业化应用。