专栏名称: PoIiticaI理论志

四万余社会学人、政治学人、经济学人共同关注的学术平台。目前，我们主力追踪国内外政治学、社会学与经济学研究新动态。

免于伤害：平台如何治理暴力？ | Policy & Internet

PoIiticaI理论志 · 公众号 · · 2025-02-07 10:10

正文

编者荐语：

当今数字环境中的伤害并不鲜见，但伤害概念本身却难以定义并得到有效审核。社交媒体平台既指向复杂的治理场域，又是治理伤害与暴力问题的关键主体。那么平台究竟如何理解和审核有害内容？在治理中起到了怎样的作用？本文通过对美国三个主要社交媒体平台的政策文件考察，力图把握伤害话语的产生机制与政治意涵。平台的不当政策选择可能进一步强化符号暴力和文化暴力。平台需要正视自身的作用，将对伤害问题的被动回应转化为积极行动。这一治理过程亟待更多主体参与，并实现更完善的平台外部监督。

因公众号推送规则变更

点击标题下方蓝字关注 + 星标 “Political理论志”

不错过社会科学前沿精彩信息哦

具体操作如右 →

免于伤害：平台如何治理暴力？

摘要：

关于平台如何缓和与减轻“伤害”（harm），已涌现诸多问题。尽管近期平台针对什么是“仇恨言论”和“有害内容”，制定了更加明确的政策。但平台似乎常用主观判断将那些场面惊人的、人身层面的暴力作为伤害，而实际上伤害存在多种复杂的形式。这些平台定义“伤害”和“暴力”的政治活动是复杂而多变的，并展现出对定义的掌控是如何影响人们看法的深固历史。本文通过对三个主要社交媒体平台（Facebook、Twitter和YouTube）的政策文件进行批判性话语分析，认为平台对伤害和暴力的狭义定义非但是不充分的，还导致这些平台参与至符号暴力中。此外，平台将伤害定位为浮动能指，强加了暴力是什么、如何表现、影响谁的概念。平台并未改变其设计中使伤害成为可能的机制，而是重新设定了意向性和因果性，试图制止用户变得“有害”。讽刺的是，这却使伤害持续下去。本文对此提供了建议，即以修复式正义为重点的方法来解决平台的伤害。

作者简介：

Julia R. DeCook 芝加哥洛约拉大学传播学院

Kelley Cotter 宾夕法尼亚大学信息科学与技术学院

Shaheen Kanthawala 阿拉巴马大学新闻和创意媒体系

Kali Foyle 芝加哥洛约拉大学传播学院

文献来源 ：

DeCook, J. R., Cotter, K., Kanthawala, S., & Foyle, K. (2022). Safe from “harm”: The governance of violence by platforms. Policy & Internet , 14(1), 63-78.

本文作者之一 Julia R. DeCook

引言

服务条款和审核政策某种程度上一直存在于平台中，尤其当涉及到儿童性剥削或销售管制品（如毒品、枪支）等非法内容时。但近年来，一些可能溯及平台可供性的恐怖主义、大规模枪击等暴力悲剧发生后，平台争相调整它们关于何为“有害内容”的政策，不得不开始考虑自身在激进化、极端主义组织以及威胁社会结构的泛滥虚假信息中的作用。

平台为应对这些问题所采取的行动方式——即所谓的由平台治理（ governance by platforms ），显现出涉及平台商业利益、同构决策、角色和责任认知影响，以及决定值得补救内容或行为的多种问题。平台往往同时或相继采取相似的政策变化，这表明平台决策既要面对公众压力，也要应对同侪压力。

随着平台间相互学习，其围绕仇恨言论、有害内容、错误信息和其他形式恶意内容的政策更新已取得不少进展。但平台似乎仍常对涉及大规模的、人身层面的暴力，使用主观上的伤害判断，这种判断遮盖了伤害和暴力这两个词所包含的复杂政治概念和过程。平台通过对伤害的话语表达和物质表现进行审核，有力地塑造了伤害和暴力的规范性概念，有效地管理了用户对平台行为的看法，并引导着用户对内容“有害”与否的理解。

本文目的在于研究三个主要社交媒体平台（ Facebook 、 Twitter 和 YouTube ）的政策，以了解它们概念化、推行和强化有害和暴力内容的方式。并借助布迪厄的符号暴力（ symbolic violence ）框架和吉莱斯皮的平台治理概念，对平台如何在数字环境中定义和应对“伤害”展开批评性话语分析。

文献回顾

平台治理

平台、人和社会之间存在一种复杂的社会技术关系，这种关系影响着平台治理，也受到平台治理的影响。应当如何治理平台是一个充满争议的问题，而实际上“平台”一词本身就是模糊不清的术语，因为它允许科技公司灵活地定义自身社会角色和责任。

治理“与其说是一组实践，不如说是一种能力”，它与平台制定和执行规则以审核用户行为的能力相一致。当前数字环境中，治理已延伸到算法、接口、服务条款和内容政策多个方面。平台不仅在个人用户层面参与治理，而且作为参与自身监管框架的政治行为者，使平台治理成为一个“跨越不同主体和行为的具体而复杂的互动网络”。

然而平台自治的过度扩张和对用户的不当审核，使平台治理（ platform governance ）走向“由平台所治理”（ governance by platforms ）的状况，并诱发“技术冲击”（ techla sh ），人们开始质疑平台的政策与治理能力。因此学者们呼吁，随着平台日益深入参与公共活动和日常生活，平台、政府和用户之间需要建立“合作责任制”，而非采取个别平台承担责任的既有模式。

审核仇恨言论、 暴力和伤害内容

科技公司倾向于采用三种方法来审核内容：人工处理（小规模、手动的）、依赖社区（通过用户报告内容）、工业式（大规模、通常是自动化的）或三者的组合。就发布内容而言，明确定义仇恨言论或暴力/有害内容，对生成平等的审核过程至关重要。但由于文化背景、语言差异和管理者难免的主观性等因素，内容审核就变得复杂起来。

虽然类型化可能发生的伤害是必要的，但平台往往无法修复导致有害行为和内容的问题。平台还试图通过赋予分值或量化手段，决定何为有害的内容，但这将使某些未满足数字阈值的伤害被忽视并持续下去。

符号暴力和文化暴力

布迪厄所定义的符号暴力指权力、等级制和不平等的维持方式，不是靠对肉体强加武力，而是借助符号统治的形式，特别是语言和话语来进行的。我们采用此框架，以更好地理解社交媒体平台政策如何通过自身文件中呈现的语言，使某些伤害概念延续下去。

我们还纳入加尔通的文化暴力（ cultural violence ）理论来扩展框架，正如他所指出的，文化暴力——与符号暴力类似——能使直接暴力（ direct violence ）和结构暴力（ structural violence ）看起来和感觉上都很自然。文化暴力通过“将行为的道德颜色从红色/错误改为绿色/正确，或至少变为黄色/可接受”，加剧了传统理解范围内的暴力行为。简言之，文化暴力是分析符号暴力阴险本质的一个额外框架，它帮助我们超越语言去理解这些过程如何影响线上和线下用户的生活体验。

研究方法

本文以三大平台提出的政策文件为形式收集数据，通过对“伤害”及其变体（如暴力、仇恨等）关键词的搜索，建立了基于以上平台 106 份政策文件的语料库（ Facebook 为 22 份， Twitter 为 36 份， YouTube 为 48 份，所有文件都于 2021 年 3 月至 7 月间收集）。尽管平台政策处于不断变化的状态中，我们认为这些文件足以反映指导平台伤害和暴力观念的基本信念和价值观。

借助布迪厄的符号暴力框架和加尔通的文化暴力概念，我们对三个平台如何在其数字环境中定义和监管“伤害”进行批评性话语分析，密切关注政策语言中存在的权力动态性和不对称性。并出于对平台如何延续符号暴力的兴趣，我们集中分析有关仇恨言论、骚扰和“暴力/有害内容”（由平台自身广义定义）的政策文件，以此了解平台将“伤害”概念化的过程，以及它们通过人工和机器干预减轻伤害的做法。

为了分析这些政策文件，我们先各自仔细阅读了文件子集，尤其关注围绕“伤害”和变体术语（暴力、仇恨等）所使用的语言，并就初步观察撰写分析。然后，我们在相互讨论中综合了初始编码，以此捕捉所观察到的伤害的描述类别和话语框架——即伤害的语言表征中所嵌入的价值观和意识形态预设。根据这些初始代码对其他文件编码后，我们又进行了一个周期的聚焦编码，从而梳理出更高层次的话语重现或跨平台的相似做法，阐明定义与分类“有害”内容和行为的话语轮廓。

研究发现

定义伤害

在分析中，我们发现平台都没有提供关于伤害的直接定义。相反，伤害是通过具体伤害的类型，或构成有害内容的例子来描述的。在表 1 中，我们试图简要表达这些平台是如何定义和概念化伤害的。

表1 平台如何定义伤害

平台并未把伤害当成一个独立概念，而是根据它们认定的相关罪行对伤害加以灵活限定。这样一来，平台对“伤害”和“暴力”这两个词的使用就成为浮动能指（ floating signifiers ）。浮动能指是“一种由完全不同、在各方面深刻对立的政治方案所使用的能指，作为构建政治身份、冲突和对立的手段”。通过避免对伤害等内容给出明确而稳固的定义，平台能够谨慎地驾驭这些重大术语所牵涉的对立政治方案，同时也灌输了构成这些弊病的霸权主义观念。而作为浮动能指，这些定义卷入了政治和霸权的斗争，即谁有权来定义什么是伤害并实施政策以防止伤害——本质上根据布迪厄的符号暴力框架，伤害被纳入了语言这一支配矩阵（ matrix of domination ）中。

借助对“伤害”一词的定位，这些平台也强化了谁和什么是重要的，或最值得通过这些政策加以保护的概念，并以政策执行具化了某种政治秩序。平台将“伤害”作为浮动能指后，能够对大众舆论和围绕伤害的抗议做出敏锐反应，而不必把自己束缚在一个预先确定的定义中，后者将迫使其主动解决出现的问题。作为语言行为，“伤害”这一浮动能指促成了隐秘的符号暴力，因为符号暴力主要存在于语言中——平台定义伤害的方式会影响平台和用户对伤害的感知。

分级伤害

平台存在一种可能为了适应技术基础设施，对伤害和暴力进行分级和量化的倾向。这有助于自动追踪、识别和减少伤害与暴力内容，从而降低对人力的依赖和投入。如 Twitter 通过一个三级系统（低、中、高）来划分“协同有害活动”（ coordinated harmful activity ）的严重程度，强调了这种活动的记录数量。 Facebook 则主要通过内容浏览量和影响面来确定伤害的程度。

此类分级制度为平台提供了一种结构化的机制，来管理它们认为有害的内容。受审核的内容通常被划入为某一类别，平台以此确定必须采取的相应行动。然而，用这种方式来衡量伤害和暴力，过度简化了其复杂表现的影响，也可能会导致平台做出不相称的反应（比所需少得多或多得多）。

伤害是根据受害者在平台所称“受保护类别”中的归属来划分等级的，这进一步表明了伤害被种族化和性别化的方式。平台将许多群体归入受保护的类别中，如女性、儿童、种族和少数民族，以及宗教团体。此外，平台还强调了普通人和公众人物之间的区别，允许对后者的批评性讨论并放宽内容规则的约束。

伤害的人身意义vs符号意义

伤害的话语定位主要与其对身体或个人自由的影响，而非更抽象的统治影响相关。平台经常将伤害和暴力狭义地定义为对物质生存和健康的威胁，或理解为直接暴力，并未考虑伤害和暴力如何存在于一个广泛连续的光谱中。

平台很少承认，它们提到的各种伤害（如性骚扰、霸凌、仇恨言论）都是以压迫性制度为前提的，并被文化话语合法化。虽然平台经常指出要特别关注受保护群体，但这些指导方针似乎更多的是对法律要求的回应，而不是对抵抗或破坏既有权力体系的贡献。

平台对身心健康和个人自由所受威胁的强调，可以被解读为一种将人们注意力，从网站上发生的、更无形但更复杂的符号暴力转移开来的手段。例如， Facebook 曾表示平台上的有害内容与“现实世界”暴力之间的直接因果关系是“不确定”的。这种修辞促使人们认为“真正的”伤害不会发生在平台上，所以平台不必对此负责。换言之，平台把最严重的伤害定位至“线下”或“现实世界”中，并含蓄地否认对其维护白人至上主义、性别歧视主义、健全中心主义等的指控。

讨论

平台对伤害和暴力的定义和处理呈现为一种被动回应的方法，这种方法更多的是为平台利益而非社会福祉服务。通过坚持将伤害定义为（灵活地）可见的和有形的内容，平台在避免争议的同时又展现出关注问题的表象。平台从量化和身体维度定义伤害，既低估了伤害的影响，也忽略了不同形式的伤害和暴力（身体、情感、心理、符号）以及暴力和权力的关联。

尽管内容审核怀有“最好的意图”，但由于依赖自动审核而必然发生的过度简化，造成不平等和符号暴力持续存在。不过，这也意味着一些原本被当作不可预见和不可避免的伤害，实际上可能是可识别的，且可以凭借足够的重视和资源进行预防。此外，可以通过提高平台政策文件演变的透明度，帮助利益相关者更好地评估平台构建伤害概念的完整性和意图，促进对平台自我审查的外部问责。

平台将自身的政策执行目的，归结为保护用户“身心健康”（ well being ）。然而，这一概念的抽象性带来了另一个浮动能指——“好”（ well ）代表着宽泛的状态。如前所述，这些浮动能指是无形的且难以定义，使得对它们的监督充满挑战，且可能因为平台不断膨胀的自我监管而困难加剧。对平台而言，定义“伤害”如同一个精算方程——平台主要关注的是对其利润和公众形象的伤害，而不是对公正社会的可能性的伤害。

面对指责，平台还常用公关策略进行防守并为技术后果辩护，声称各种平台问题都由 “ 意外后果 ”导致。尽管平台声称自己正试图纠正那些由服务所促成的 “ 伤害 ”，但通过转嫁责任，平台并未也无需对其继续产生的伤害真正负责。因为平台可以控制其服务中使用的语言和对 “ 伤害 ” 的看法，使这些伤害合理化。符号暴力正是由此引发的结果，并支持了线下的系统性和结构性暴力。

政策影响与可能举措

免于伤害：平台如何治理暴力？ | Policy & Internet

正文

请到「今天看啥」查看全文