​陆子惠：数字表演与新型互动——互联网艺术、虚拟现实与人工智能

20世纪90年代以来，电脑技术的迅猛发展促生了各类在互动式装置和互联网上的表演类别。从早期的网络摄像头和CD光碟，到近些年的动作捕捉、动作感知技术和虚拟现实技术，数字技术彻底改变了表演的定义与模式。很多作品的创意构思都是围绕着数字化效果进行的，如放大、缩进、增强的声音、高分辨率的投影，以及其他不局限于表演景观或技术元素方面的创意。电脑的革新性作用，改变了“既往对传播、剧本写作、表演、科学、设计、戏剧、视频和表演的区分与定义”[1]。这些基于电脑的技术与表演的结合通常被称为数字表演。从某种程度上来说，新媒介表演（new　media　performance）和数字表演（digital　performance）是可以互通的术语。一方面，数字表演的发展是建立在技术进步的基础上的；另一方面，数字表演也反映了数字技术的众多特点。数字技术本身的非等级性、无序性与非物质性为观演关系，以及表演中演员、叙事、媒介等要素之间的关系提供了新的可能性。观演者挣脱等级，也摆脱了在传统观演模式下的被动姿态，成为能够成就、改变甚至重塑表演的存在。[2]数字表演往往强调互动性与现场性，借此与数字绘画、数字电影和视频艺术区分开来。当然，绘画、电影和视频并不与数字表演互斥。事实上，许多艺术家都尝试以新媒介手法突破传统数字艺术的界限，构造新的叙事和表达方式。

数字技术在为表演提供新的技术手段的同时，也帮助表演进一步打破了固有的等级制度和观演关系的桎梏。在数字表演中，媒介不仅是信息的载体，还凸显了自身的主体价值。随着数字技术的不断演变，艺术家不断将新技术融入表演中，也不断挑战、解构及重塑数字表演中的互动性。数字艺术的发展史横跨半个多世纪，相应的艺术作品数量纷繁，各有特色，难以在有限篇幅内详尽阐述。本文根据数字表演的发展史，选择不同时期的三种代表性技术：互联网、虚拟现实（VR），以及人工智能（AI），通过实际案例分析其在交互式电影、VR表演和人工智能装置中的不同互动模式，并探讨技术可能提升的互动性。

在后戏剧剧场中，参与式剧场的实践十分常见。近几十年中，运用了数字技术的参与式剧场也为数不少。那么数字表演中的互动性与剧场中的互动性有何区别？在剧场中，表演者与观众是同时在场的。这些互动设计邀请观众参与到作品中，从而让作品成为艺术家和观众的共同体验。而在数字表演中，表演者/创作者往往是隐身的。在一些作品中，作者甚至让渡了自己的作者身份，让观演者取而代之。在这些数字表演中，观演者并不仅仅是“参与”（participate），而是切实通过自己的行为（action）构建表演中的互动性。这些行为是互动性数字表演不可或缺的组成部分，为其赋予了形式和在场性，也是这类表演的审美核心。[3]

值得注意的是，数字表演中的互动随着技术的发展不断变化。相应地，艺术家和理论家们对数字表演语境下的“互动”的阐释也在不断更新。安迪·李普曼（Andy　Lippman）认为互动是“参与双方共同、同时地为了同一目的或不同目的所做的行为”[4]。而珍妮特·莫里（Janet　Murray）则强调了能动性的地位——认为互动让“我们能够采取有意义的行动，并看到自己做出的选择所带来的结果”[5]。具体来说，谈及数字艺术和视频装置中的互动时，玛格丽特·莫斯（Margaret　Morse）认为具有互动性的观演者在某种程度上扮演了艺术家的身份，对作品的世界进行阐述和创造。[6]杰·戴维·波尔特（Jay　David　Bolter）和戴安·格罗玛拉（Diane　Gromala）则认为比起互动，“表演”更能强调数字设计的重要性。观演者/用户与数字设计之间的关系具有表演性，“我们像演奏乐器那样展演一项设计”[7]。

在电视这样的传统媒介中，观众无法与屏幕中的表演者(演员、主持人等)进行实时有效的互动。因此，以电视为代表的旧媒介“并不服务于交流，反而阻止了交流。这种媒介不允许发信端和接收端相互作用”[8]。但事实上，电视和电脑也可以构成一种新型的面对面交流。[9]CD光碟、网络、装置和游戏这样的互动性多媒体应用打破了大众媒体的单向传播霸权。在由电脑衍生出的各种技术中，互联网技术的发展对表演与数字技术的结合尤为重要。在互联网的加持下，全球性的互联网艺术项目(Internet　Art或Net　Art)可以不受距离的限制，开展文字或远程的同时即兴创作(synchronized　improvision)。20世纪90年代中期，互联网刚兴起不久时，对互联网最为普遍的运用是将其作为艺术作品的载体。艺术家选择搭建网站，借用互联网的互动功能创造作品。

▲图1 交互式电影《蜡网》的操作界面

1993年，英国导演戴维·布莱尔（David　Blair）制作了一个网站，将自己1991年的电影《蜂蜡或在蜜蜂群中探索电视》(WAX　or　the　Discovery　of　Television　Among　the　Bees)改编成互动式线上电影《蜡网》（WAXWEB）发布至网络。[10]原作是一部邪典片(cult　film)，围绕一个制造飞行模拟器的养蜂人展开，表达了许多对空间、生死、记忆和重生的思考。这部时长为85分钟的作品被拆分为8万个零散单元(unit)。在线上观看这部作品的观众可以选择按传统方式从头至尾观看这部时长85分钟的影片，也可以在任意时刻点击页面上的“超视频”(hypervideo)按键，自行拼凑这些碎片，构建叙事（参见图1）。作为第一部长篇互动式线上电影，《蜡网》属于典型的数据库电影。它利用电脑技术改变了一直以来电影的线性叙事特征，让观众能够在观影时获取主动权，左右剧情走向，创造属于自己的独特叙事。《蜡网》将新媒介（互联网）与旧媒介（电影）结合起来，在推动超文本叙事的同时赋予电影表演性。同时，恰恰是互联网的存档特性保留了这一作品，让我们在今天仍能够不断、重复地访问《蜡网》的网址，观看这一作品。

《蜡网》这一作品实际上也是对原本的长篇电影的再媒介化。波尔特和格鲁辛认为，再媒介化的动机要么出于对原媒介的致敬，要么出于对原媒介的反抗。[11]在再媒介化的过程中，对媒介的处理也是两极分化。第一种力图在观众感知中抹去媒介的主体性，追求“透明的非媒介性”(transparent　immediacy)。例如，在传统的文学或影视作品舞台化的呈现中，艺术家不会依赖文字或影像进行表达，而是以表演的话语阐释原作的内核或叙事。而相反，另一种强调不同媒介的特殊性与本体性，从而呈现出众多媒介并列共存的“超媒介性”(hypermediacy)。[12]《蜡网》即是第二种再媒介化的典型代表。作品对长篇电影的结构、线性顺序和优先级进行解构，将其拆分为微小单位后，以互联网的话语逻辑进行重新组装。这种话语体系首先体现在对叙事的随机浏览上。原本的叙事被分割成微小的单位，形成了一个实质上的数据库。观众可以选择任意一个入口开始浏览，并且自由地在这个数据库中自由探索（navigate），建构自己的叙事。在这种方式下，作品“变成了马赛克。我们感受到每一块拼图的存在，同时也感受到他们被拼到一起后的新环境。在这种再媒介化中，旧的媒介呈现在一个像拼贴画和蒙太奇那样具有明显不连贯性的空间中”[13]。

《蜡网》的观看体验与传统电影也大不相同。观众不再是坐在电影院黑暗密闭的空间中，观看一部时长一两小时，甚至更长的电影。在绝大多数旧媒介时代的表演中，观众都处于次等地位，被动地观看一件已经成型的作品。但在《蜡网》中，家庭计算机的屏幕取代了电影院的大荧幕，观众可以在任意时间、任意地点打开网站进行观看，也可以在任意时间点暂停或退出观看。这种观看模式增加了观演场地的流动性，观演过程中随意的暂停或离场也进一步割裂了叙事的整体性，并加剧了作品叙事的碎片化。此外也可看出，这种再媒介化也重新定义了观众的权力和自主性。观众被赋予随意开始演出、左右叙事走向、切断演出与回顾演出的权力。计算机和互联网技术在展示其存储与可随机接入（random　access）的特性的同时，让新型的互动型观演成为可能。

然而，《蜡网》仍是一出单机演出，其体现出的互动性仍流于表面。在以《蜡网》为代表的交互式电影中，观众固然被赋予了一定的自主权，能够对作品进行探索甚至重构，但互动过程也止步于此。观众无法从作品或创作者处获得反馈，也无法将互动进一步深入下去。关于这类互动，史蒂夫·迪克森(Steve　Dixon)以打开电灯为例：如果一个人按动开关打开电灯，这一行为确实带来了结果——作为反应，电路接通，电灯被点亮了，但在这一过程中“并没有发生真正的对话”。[14]互动艺术的主要理论家，如彼得·韦伯(Peter　Weibel)和索克·丁克拉(Söke　Dinkla)讨论了从简单的刺激—反应的闭合模式到高度灵活的开放模式的不同层次和程度的互动。而迪克森则根据系统开放性和观演者互动的层次和深度，提出了艺术和表演中的互动由浅至深的四个不同类别：探索(navigation)、参与(participation)、对话(conversation)和合作(collaboration)。[15]其中，交互式电影就被归为第一层“探索”，因为交互式电影的媒介特殊性决定了这类作品没有能力为此后更深层的互动提供平台。

与交互式电影相比，数字表演中实时性、参与性互动在虚拟现实技术中体现得更加淋漓尽致。虚拟现实（VR）一词早在阿尔托1938年的专著《戏剧及其重影》中就出现了，但这一概念的推广是在杰伦·拉尼尔(Jaron　Lanier)于20世纪80年代开展商业VR硬件生产之后。此后，VR开始成为一个流行词汇，可以被用于描述任意由电脑创作的空间，或通过电脑进入的空间。从这个意义上来说，VR不局限于游戏中的三维世界，互联网也可被视为由大型社交网络交流空间构建出的作为替代的“虚拟”现实。当然，在表演中的VR技术应用，通常会回归其原本含义，通过电脑生成一个三维世界，让观众/用户完全沉浸其中，与构成这一世界的虚拟事物进行互动，借此探讨真实与虚拟、身体与空间、具身性与非具身性等的关系。

▲图2 VR_I 中配备VR装置的参与者（右）与参与者视角中的自己（左）

VR技术的先驱杰伦·拉尼尔用舞蹈来比喻表演性，并将互动视为内容的一个方面，“互动是一种与媒介进行的具体对话。这是你与电脑共舞的方式……视觉并不重要。重要的是互动的节奏……要感受到这种节奏并不容易。这是一种新的艺术形式”[16]。由这一论断延伸来看，由瑞典编舞家吉利斯·约宾（Gilles　Jobin）与动作捕捉技术研究中心阿塔宁（Artanim）的两位创始人西西莉亚·查伯尼亚（Caecilia　Charbonnier）和希尔薇安·夏圭尔（Sylvain　Chagué）共同创作的舞蹈作品VR_I是一个回归VR本意的数字表演。[17]在这一作品里，参与者被分成五人一组，进行十五分钟的沉浸式VR体验。在体验过程中，参与者的动作经光学动作捕捉系统被实时反馈到系统中，并通过VR头戴式设备展示给参与者本人（参见图2）。参与者首先进入一个室内空间，在探索这一空间的同时，和其他四名参与者的化身（avatar）进行身体上的互动和交流。随后，五个预编程序的虚拟舞者进入世界，虚拟世界中的景观从沙漠依次变幻至城市景观和山顶阁楼。虚拟舞者的身体从三十米高的巨人逐渐变小，给参与者带来极大的视觉冲击（参见图3）。借助虚拟人物身型的变化，约宾以一种独创的方式阐述了空间的概念。

▲图3 VR_I中正常身高的体验者化身与30米身高的预设程序舞者

丁克拉将互动艺术品视为一种漂浮的现象。在这一现象中，艺术家将艺术作品中的作者身份（authorship）部分转移到观演者身上。然而，观演者并非独自操控这一艺术品，因为他只是众多控制者中的一个。在这一意义上，漂浮状态下的艺术品“不是单个个体的表达，也不是集体表达，而是处于一种连接的状态——一个由所有观演者不断重组的影响网络”[18]。VR_I这样的互动性艺术品实际上一直处于一个“正在完成中”的状态，每一次互动都不断丰富着作品的表达和主题。同时需要指出的是，在这类互动性表演的设计初衷里，互动性不仅体现在观演者与作品之间，也同时存在于不同观演者之间。这也是为什么在VR_I的每次体验中都有五名参与者。观演者在参与表演时，彼此在言语和肢体上的互动构成了表演中重要的一环。

霍华德·雷恩格尔德（Howard　Rheingold）将VR的特征总结为三个方面：一是被三维世界环绕的沉浸感，二是探索世界、选择自己视角的自由度，三是触碰和操控这一世界的权力感。[19]在VR_I中，参与者戴上眼镜后就完全沉浸于一个由电脑制作的虚拟三维世界中。在划定的范围内，参与者可以自由走动，也可以自由地从不同方位观看电脑人物的舞蹈。这打破了以往观众只能保持一定距离，从单一方向被动观看舞蹈表演的惯例。此外，参与者可以自由移动，从前后左右，甚至仰视和俯视的角度观察舞者的表演，或与他们共舞。由于实时动作捕捉技术，参与者也可以低头看到自己被虚拟化的身体。这种形式的虚拟现实构成了一种“化身”（disincarnation）心理，让人类抛弃过时的躯体，以半机械人（cyborg）的身份居住在数据空间成为可能。

被放大的舞者的身体让参与者能够观察到更为细微的舞蹈动作，但也制造了一种全新的观演体验。盖比瑞拉·吉安纳齐（Gabriella　Giannachi）认为，VR体验要强调观众对地点和体验的感知，才能产生自己的叙事，从而让这一体验变得“真实”。[20]这一VR审美原则在VR_I中十分明显。参与者从未有过与比自己高15倍以上的生物进行互动的体验，因此在这部作品中，被舞者的巨大化身观察和凝视，自然会带来一种恐惧和不适感。从这个角度来说，这一作品为观众提供了独特的凝视与被凝视的感官体验。

尽管众多针对VR的研究都将VR体验阐述为抛弃肉身，以化身居于数字世界的体验，但当面对虚拟舞者时，参与者将这些非具身性抛之脑后，并生成直接的震惊、躲避和惧怕情绪。这些情绪并不是源自虚拟舞者或空间的真实性——事实上，这些虚拟化身的面部建模和不十分流畅的动作还可能引发恐怖谷效应，从而加剧间离效果。造成最大冲击的还是身形大小的差异。表演刚开始时，五名参与者作为这个虚拟空间（房屋内部）中仅有的活动者，自由地探索空间，彼此之间的互动是轻松自然的。但当巨大的虚拟舞者出现后，参与者顿时沦为被“他者”凝视的对象。这些在体型上占有绝对优势的他者表现出对参与者的好奇，并移开房屋的顶盖和四面墙壁，把参与者从遮挡物中暴露至大家所不熟悉的空旷的沙漠中时，恐惧和不适心理会升至顶峰。

克里斯蒂安·保罗（Christiane　Paul）认为，VR是将用户投入虚拟环境，或者说，让虚拟环境与人互动的最激进的形式。[21]VR技术通过耳机和眼镜，将屏幕直接放在观演者眼前，使其沉浸在一个人工创造的世界中，减轻或增强对现实世界的感受。但在VR_I中，最终却是间离的效果让参与者真正沉浸在这个虚拟空间中，因为虚拟现实中真实的成立在于唤起人们对过去、古典和原始主题的记忆。[22]艺术家们主要是利用技术，让参与者回忆起自己过往的经历和本能，并以此来创造环境和进行体验。

詹明信把装置这样包含多种传统艺术形式（如绘画、摄影、雕塑、写作、录像或建筑）的艺术作品称为“超级艺术品”（superproduct）。在观看这类作品时，观众的注意力不仅投射到作品整体上，还会被分散至各个媒介及其所传达的信息。在媒介时代，装置的包容性让其能够承载各类新旧媒介艺术，从而成为一种“超媒介”(hypermedium)。其中一个较新的方向是将人工智能技术运用到装置艺术的表演中。

这类作品尤其关注数字技术的主体性及其与人类身体的纠缠(entanglement)。德国艺术家乌苏拉·达姆(Ursula　Damm)于2019年创作的《膜》(Membrane)即是一例。《膜》是一个基于时间生成对抗网(Temporal　Generative　Adversarial　Nets，TGAN)算法的实时影像处理装置作品。这一艺术作品最初是为柏林的诺德画廊/蒂尔加滕艺术协会(Galerie　Nord/Kunstverein　Tiergarten)设计的橱窗展示。2021年，《膜》在上海新时线媒体艺术中心(CAC)举办的“人工智能的兑现：解脱”这一特展中展出。在此次展出中，有两面投影屏幕展示两台摄影机拍摄的实时画面：一台摄像机对准展示空间，并可随意移动；另一台监控摄像机对准展区入口处的空间。在投影墙前方有一个专门设计的交互操作台让参观者能够调整神经网络的参数。参观者可以通过面板左上角“输入信号”区域中的“本地摄像机”“中性”“远程摄像机”这三个按键调整投影展示的画面（参见图4）。其中“本地摄像机”的影像即为上述两台摄像机拍摄的实时画面，“中性”呈现的是雪花屏，“远程摄像机”则展示陌生城市的街景。

▲图4 在《膜》的展出现场调试操控台的观众

《膜》是一个强调高度互动性的装置。通过转动操作台上的旋钮，参观者可以改变装置中的一台摄像机所输入的图像和声音信号。视频材料经过TGAN算法的处理，会重新组合，呈现在投影影像中。投影墙底部显示五个标度盘，分别为C、N、F、T和S，即五个可调整的神经网络参数。C为交叉开关矩阵配线(crossbar　wiring)，可调整不同着色器的组合；N为数量(number)，即所使用的着色器的数量；F为反馈(feedback)；T为记忆的时间间隔(timespan)；S为空间(space)，指图像的大小。最终投影出的画面分别包含了两台摄像机拍摄的真实画面（位于左下角）和干预过后的扭曲画面，而这两者实质上是通过摄像机和人工智能算法这两种媒介加工后所产生的。其中，扭曲的画面会随着参观者转动旋钮而发生变化。在作品中，视频数据流被解构成以像素为单位的合集，参观者若想对呈现的图像加以操控，可以通过面板上的旋钮修改相应参数。

这固然是观众与表演主体（即人工智能）的互动，但在不明就里的观众看来，仿佛是自己调整的参数直接作用于影像上，他们不知道作品并非简单直接地将指令作用于视频，而是将控制委托给TGAN算法。参观者选择并调整像素或图像的具体参数，这些参数被传递给TGAN算法，随后TGAN根据所习得、记住并模仿的图像“特征”，在屏幕上展现自己模拟出的、参观者可能想要得到的图像。TGAN通过两个相互竞争的子神经网络的反馈，实现无监督机器学习的人工智能算法。在《膜》中，一个神经网络生成器生成短序列图像，另一个鉴别器评估人工生成的材料。算法中的人工神经元网络（artificial　neuronal　network）受人类记忆结构和视觉系统的启发，将一个神经元对应一个像素。经过训练的算法，通过指令的修改，判断、猜想参观者想要达到的目的，呈现出令其满意的图像。

在《膜》中，表演的主体，即TGAN算法是不可见的。这构成了一方具身、另一方隐身的诡异互动。对一场涉及人类演员的表演来说，“表演中永远都有两种身体：表演者的身体和观众的身体”[23]。但这一情况在《膜》这样的后人类表演中并不成立。那些没有看过说明的参观者不知道画面背后还隐藏着一个人工智能；而了解设计意图、知晓人工智能存在的人，在面对一个隐形的表演者时，无法通过服饰、面部表情、身体动作、姿态或话语来感知表演，只能猜测对方的“形态”与“反应”。对第一类人而言，交流的过程并不公平，甚至可以说具有欺骗性。布罗德赫斯特称，在表演中，虚拟的身体也会凭借自己的显身或隐身创造表演效果。然而，如果观众并不知道这一表演者的存在，那虚拟身体的隐身对他们来说，与不存在无异。但对第二类人来说，观演双方都在猜测，都以自己的语言和逻辑解码对方的表达。参观者的意图通过改动的参数传达给了TGAN，随后人工智能的推测与模拟又以图像和声音的形式传达给了参观者。这反而让整个人与媒介的互动过程变得前所未有的公平。

在艺术家本人看来，这一装置的核心是现实与非现实之间的关系。不过，不可忽视的是，这些现实与扭曲的现实之间的碰撞，也会引发特殊的观演体验。达姆在过去的作品陈述中表示，她想探讨“我们的感官能承受多大的复杂性，或者更确切地说，我们如何忍受所见所闻的信息？”[24]，这在《膜》中也有所体现。一开始，参观者的视线会被左侧加工过后有自己身影的大幅影像吸引。在转动操作台的旋钮后，由于两侧的画面都会变动，参观者的一部分注意力又会投向右侧画面。此时，每侧画面中的原始视频、算法加工后的视频，以及下方的旋钮参数展示开始争夺参观者的注意力，形成了彼此竞争的关系。而算法加工后的视频变得扭曲和具有不确定性，画面游离在真实和虚假之间，又导致观演体验中的间离效果。这些媒介交织在一起，形成“相互影响”的“共存关系”，从而引发了新的表现形式，新的戏剧策略（dramaturgical　strategies），组织语言、图像和声音的新原则，找到表演与时间和空间的关系，创建时间与空间的新关联，促成新的感知模式，以及生成新的文化、社会和心理意义。[25]

而对于《膜》来说，整个观演过程又是人与人工智能的一次交流与互动。参观者切换视频信号，调整参数；人工智能对画面进行加工。双方都在互相“凝视”、预判和思考，尽管很多参观者可能并不了解隐形的人工智能的存在。这样的互动进一步证明了，在媒介化时代中，具身化的在场并不依赖物理上的在场，而更多是通过参与、主体性和互动得以证明。[26]《膜》要处理的是一个由媒介和人工智能构成的世界的现实，而这又与我们所处的物理空间交叠共存。广义上来看，在这个新的“虚拟共享世界”中，观演者在物理空间中与一个由听觉、视觉、动态图像和布展空间构成的世界进行互动。[27]这种互动不依赖幻觉的欺骗——人工智能不必伪装成机器或以化身形式出现，而是一种认知上的参与。而这种非具身性恰恰强调了人工智能的存在，并且进一步引发了人们对互动过程本身的有意识的反思。

前文提到，迪克森根据表演和艺术作品的开放程度与观演者互动的深度，提出了“探索、参与、对话和合作”这四个互动的类别。但他随后又指出，凌驾在这四种分类之上的，在互动中更为基础和重要的是一种玩乐的心态（play）。[28]互动式表演激发了观演者像孩子一样的好奇心：对电影片段的重组能够创造出怎样的新叙事？简单的手部动作在虚拟空间中会怎样呈现？人工智能会如何解读我发出的指令？这些玩乐心态下的好奇心促使观演者接受艺术家的邀请，主动与作品进行互动，触碰一个未知的领域，并与其构建联系。这些互动行为在（无意识地）打破媒介固有边界、探寻新的可能性的同时，为观演者带来了一种崭新的体验，继而推动艺术家和观演者将互动和探索不断继续下去。

一键5连击：点赞+分享+在看+留言+星标

总有一款适合您→→→