AI生成灾害图片传播的法律风险及内容治理思考丨威科先行

在AI生成灾害图片的传播中，最直接的责任主体是图片发布者。无论其出发点是什么，根源上是该图片发布者生成并上传图片这一行为导致了虚假内容的传播，乃至社会秩序被扰乱。在AI生成灾害图片传播的情形下，图片发布者常常具有双重身份：既是使用AI制作灾害图片的生成式人工智能服务使用者，也是将虚假灾害图片发布至信息内容服务平台的网络信息内容生产者。这一双重身份的定位注定了图片发布者尤其需要注意AI内容对一般性义务可能的违反。

作为网络信息内容生产者，无论是否使用了AI技术，图片发布者在进行内容传播时都应当遵守法律法规以及公序良俗，不得编造虚假信息、散布谣言、扰乱公共秩序，不得传播违法信息与破坏网络生态的不良信息，此类一般性义务与AI无关，在任何情形下都应当遵守。

《网络信息内容生态治理规定》第六条、第七条对网络信息内容生产者的一般义务进行了具体规定，网络信息内容生产者不得制作、复制、发布散布谣言，扰乱经济秩序和社会秩序的违法信息；应当采取措施，防范和抵制制作、复制、发布不当评述自然灾害、重大事故等灾难的不良信息。违反此类一般义务的可能会受到行政处罚乃至刑罚。根据《治安管理处罚法》第二十五条，散布谣言，谎报险情、疫情、警情或者以其他方法故意扰乱公共秩序的，处五日以上十日以下拘留，可以并处五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。编造虚假的险情、疫情、灾情、警情，在信息网络或者其他媒体上传播，或者明知是上述虚假信息，故意在信息网络或者其他媒体上传播，严重扰乱社会秩序的，还会触犯《刑法》第二百九十一条之一的‌编造、故意传播虚假信息罪，处三年以下有期徒刑、拘役或者管制；造成严重后果的，处三年以上七年以下有期徒刑。

另一方面，作为生成式人工智能服务使用者，图片发布者除了需要遵守上述一般义务外，还需要承担主动声明并标识生成内容、不得利用深度合成服务传播违法信息、虚假信息等相关义务。

《互联网信息服务深度合成管理规定》对于深度合成服务使用者的要求是“不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息”，“不得利用深度合成服务……侵害社会公共利益、扰乱经济和社会秩序”，“不得利用深度合成服务制作、复制、发布、传播虚假新闻信息”。此类义务属于一般性义务在深度合成领域的体现。 对于人工智能使用者而言，更具有特殊性的是主动声明与标识义务，根据《人工智能生成合成内容标识办法（征求意见稿）》第十条，应当主动声明并使用平台提供的标识功能进行标识。尽管该办法目前还处在征求意见稿阶段，但从对于这一义务的讨论来看，各界普遍认为在AI生成内容与真实内容的差异越来越小的情况下，标识义务是可行且必要的。

即使案例中的网友本身并无恶意，只是希望借助AI生成的图片获取流量，或希望更多人来关注地震。用“假图”关联真实事件，其行为本身也并不一定构成传播虚假信息，但在重大灾害的场景中，一定不符合社会公序良俗和道德，伤害他人情感，甚至让他人产生误解，有失妥当。此外，尽管利用AI生成图片本身不会因此受到处罚，但若肆意用AI技术生成地震受灾严重的画面，甚至编造谣言，图片和配文内容与事实严重不符，且引发社会广泛关注甚至网友的恐慌，则属扰乱公共秩序行为。若相关内容转发评论量较大，造成了不良社会影响，则可能违反《治安管理处罚法》乃至《刑法》的相关规定，会受到罚款、拘留的处罚，触犯《刑法》的更会受到有期徒刑、拘役或管制的处罚。

在此次事件中，图片的传播者最终就受到了行政拘留的处罚，这也完全符合《治安管理处罚法》的相关规定与要求。而此次事件的特殊性在于，最初使用AI生成灾害图片、上传至网络的用户与利用该图片造谣、进一步传播的用户并非同一主体。从网安局的通报来看，图片原作者在2024年11月18日发布了相同画面的短视频，并未关联地震且声明是AI生成。而网安局将另一图片传播者的行为描述为将图片与地震相关信息“进行关联拼凑、移花接木，混淆视听、误导群众”。值得进一步思考的问题是，此次事件中最初使用AI生成灾害图片、上传网络的那名用户是否需要承担责任？如果他同时也进行了“移花接木”的传播，情况是否会有所不同？

从直接责任来看，用户单纯使用AI生成灾害图片并上传的行为一般并不构成传播虚假信息。利用AI创作灾害图片与传统的运用美术技法创作灾害图画一样，都可以视作一种艺术手段，用以唤起人们对于灾区的同情、对自然的敬畏等等，只是区别在于AI生成的图片常常更加真实，更容易使人误以为图片是现实情况。但通常仅一张图片并不至于导致公众普遍产生误解，如果仅以此为由要求生成者承担责任或禁止生成、发布此种照片，既过分压缩了AI技术的发展与利用空间，更过分低估了公众的辨识能力。一般容易使公众产生误解的情况是，生成者对于AI生成的灾害图片进行了一定的评述，使得照片、文字、现实背景相结合而产生了误导效果。因此，如果用户只是生成、上传了一张灾害图片而没有进行任何引导性或暗示性的评述，不太可能构成传播虚假信息，不应当对其过分苛责。当然，如果确实在灾难期间发布此类图片，为避免误解，用户可尽量明确图片由AI生成与现实事件无关。

从间接责任来看，用户生成、上传图片阶段不构成传播虚假信息，但若相关图片之后被他人利用导致了虚假信息的传播与扰乱社会秩序，该图片的生成、上传者是否应当为此承担责任？对于这一问题目前没有明确的规定，但笔者认为，从行为本质来看，图片的生成和上传行为本身可能并没有虚假信息传播的意图或内容，属于技术性或普通表达行为，本质上与后续的虚假信息传播行为无直接因果关系。从主观意图来看，如果图片的生成、上传者并未有传播虚假信息的主观意图，仅提供了一个工具或媒介，不应认定其负有法律责任。此外，要求其承担内容发布后的高度注意义务可行性也较低，由于图片上传后即处于公共空间，上传者难以对图片的后续使用进行持续监控，此时更应当合理平衡内容平台的管理义务与上传者的注意义务，一般情况下应由作为内容管理主体的内容平台对后续内容的传播承担审核及监管义务，而发布者义务应集中在内容发布时的标识及说明。

在生成并上传图片者与传播者之间为同一主体时，其是否能以尽到标识义务为由主张免责？如前所述，传播AI生成灾害图片之所以构成传播虚假信息并非是由图片本身性质决定的，关键在于对于图片的“利用”与现实中的灾害产生了不当联系，而这种联系常常由图片的配文引起。即使该用户对图片由AI生成进行了标识，图片、文字与现实事件之间的联系仍客观存在，依然可能误导公众进而扰乱社会秩序。

因此本文认为，AI生成图片只是形成虚假信息的一种手段，标识义务也不能完全免除传播者责任。具体责任的判断还需要根据图片与配文之间的关系、AI生成内容标识的显著程度进行主客观相结合的判断。但尽到标识义务确实一定程度上可以减轻公众误判的风险，也能体现出上传者主观状态上可能并不具有恶意。

在AI生成灾害图片的传播中，图片的形成来源是AI图片生成服务提供者，当相关图片导致了虚假信息传播时，其是否也会承担相应责任？

《互联网信息服务深度合成管理规定》第六条对合成服务提供者与使用者施加了相同的义务，即“不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息”“不得……侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益”“不得利用深度合成服务制作、复制、发布、传播虚假新闻信息”。第七条要求服务提供者建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告。第十六条、第十七条为服务提供者施加了标识义务，即“深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识，并依照法律、行政法规和国家有关规定保存日志信息”，并区分不同内容要求“在生成或者编辑的信息内容的合理位置、区域进行显著标识”或“提供显著标识功能，并提示深度合成服务使用者可以进行显著标识”。

从以上规定可以看到，AI图片生成服务提供者一方面要避免生成内容被用于违法行为，一旦发现要及时采取辟谣措施、保存记录并及时报告；另一方面需要对相应的生成内容进行标识，避免误导大众。

一般而言，使用者利用AI生成地震受灾画面本身并不构成编造谣言或其他违法行为，但服务提供者也应当意识到这一行为背后存在的谣传风险，对于此类生成的内容更应当加强标识与监管，通过显著标识帮助内容平台及公众辨认出此内容并非真实图片。若AI服务提供者未尽到相应义务，或将受到监管部门处罚。

但问题在于，如何建立辟谣机制尚存疑问。对于辟谣机制的建立，最大的挑战是生成服务提供者如何发现相关内容被用于传播虚假信息？如果要求服务商对全网内容进行监控显然成本过高，可能不当增加了服务商的义务，严重限制AI生成服务的进一步发展。因此，执法部门不应当过分苛责、要求服务商在全过程中均承担高度的注意义务，相对合理的做法是要求服务商积极关注社会舆论，当相关图片有一定社会讨论度时，及时采取辟谣措施。此外，对于涉及地震等重大灾难话题的，在图片生成时应当充分告知使用者相关风险与使用要求，并对此类话题下的内容进行更全面的追踪，以充分平衡行为自由与社会秩序。

网络内容服务平台在AI生成灾害图片传播链中也承担着双重义务，一是对信息内容管理的一般性义务，二是对AI生成内容的审核、标识义务。尽管网络内容服务平台并不直接对AI生成灾害图片进行处理，但它对于内容的治理实则起着极为重要的作用。

一方面，网络信息内容服务平台应当履行信息内容管理主体责任，对平台上的网络信息内容进行管理，不得传播违法信息，发现后应及时采取切断链接、删除、报告等处置措施。对于用户举报的信息应当及时进行审核，若存在侵权或其他违法行为应当及时采取必要措施，阻止信息进一步传播。根据《网络信息内容生态治理规定》第八条、第九条、第十条的规定，内容服务平台承担信息内容管理主体责任，应当建立网络信息内容生态治理机制，不得传播违法信息，应当防范和抵制不良信息，发现违法信息和不良信息应当依法立即采取处置措施，保存有关记录，并向有关主管部门报告。如果不履行法律、行政法规规定的信息网络安全管理义务，经监管部门责令采取改正措施而拒不改正的还会触犯《刑法》第二百八十六条之一的拒不履行信息网络安全管理义务罪。

另一方面，网络信息内容服务平台对于AI内容也应当承担管理义务，包括对AI内容进行审核、标识，提醒用户注明合成内容等。《人工智能生成合成内容标识办法（征求意见稿）》第六条就规定了“提供网络信息内容传播平台服务的服务提供者应当采取措施，规范生成合成内容传播活动。（一）应当核验文件元数据中是否含有隐式标识，对于含有隐式标识的，应当采取适当方式在发布内容周边添加显著的提示标识，明确提醒用户该内容属于生成合成内容；（二）文件元数据中未核验到隐式标识，但用户声明为生成合成内容的，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容可能为生成合成内容；（三）文件元数据中未核验到隐式标识，用户也未声明为生成合成内容，但提供网络信息内容传播平台服务的服务提供者检测到显式标识或其他生成合成痕迹的，可识别为疑似生成合成内容，应当采取适当方式在发布内容周边添加显著的提示标识，提醒用户该内容疑似为生成合成内容；（四）对于确为、可能和疑似生成合成内容的，应当在文件元数据中添加生成合成内容属性信息、传播平台名称或编码、内容编号等传播要素信息；（五）提供必要的标识功能，并提醒用户主动声明发布内容中是否包含生成合成内容。”

从现行法律法规以及《人工智能生成合成内容标识办法（征求意见稿）》的规定来看，平台对于网络信息内容以及AI生成内容的管理义务贯穿事前事中事后全阶段。

首先，平台应尽到对网络信息内容的审核和管理义务。地震作为重大突发事件，平台需特别注意相关内容的真实性，防止虚假信息引发公众恐慌或误导社会情绪。在此情境下，AI生成的图片极易被误认为真实场景，从而引发公众的广泛关注和情感波动，甚至可能引发不必要的社会动荡，平台发现可能违反规定的信息后，应立即采取切断链接、删除内容等措施，并保存相关记录向主管部门报告。

其次，平台对AI生成内容的管理义务尤为关键。按照《人工智能生成合成内容标识办法（征求意见稿）》的规定，平台应通过技术手段核验图片是否为AI生成。如果图片元数据中明确标识了AI生成信息，平台应在图片周围添加显著标识，提醒用户该内容为生成内容；如果未检测到标识但存在生成痕迹，平台也应添加提示，说明该内容疑似为AI生成。对于地震这样的敏感事件，即使图片并非恶意传播，也必须标明其生成属性，避免公众误解。

再次，平台需及时响应用户举报并采取进一步核查措施。一旦有用户举报该图片为虚假信息或侵权内容，平台需迅速核实其真实性，并根据结果决定删除或标注，同时阻止其进一步传播。如果平台未尽到管理义务导致虚假信息的广泛传播，可能引发公众对灾情的错误认知，甚至影响救援工作的正常开展。

最后，若平台未履行上述审核、标注或处置义务，根据《互联网信息服务管理办法》和《刑法》的相关规定，可能承担相应法律责任。例如，因未能及时处置虚假信息而扰乱社会秩序，平台可能被处以行政罚款，甚至在严重情况下承担刑事责任。

争议最大的问题在于，是否应当要求平台承担事前的审核义务、平台是否有能力做到这一点。根据目前征求意见稿，平台在内容发布前就需要对AI内容进行审核与标识，对此存在一定的反对意见。例如有观点认为，这一义务与现有法律对于网络平台法定义务设置的底层逻辑不符，基于《网络安全法》、《电子商务法》等现有法律规定，对网络平台法定义务的设置均为事后巡查，发现涉嫌违规后予以处置，其底层逻辑是民事主体对其行为承担主体责任，而网络平台不承担事先审核发布验证真假义务；并且从实施能力上看，目前各大公司对于其自行研发的大模型产品所生成“生成合成内容”的隐式标识仅具有理论意义上的技术识别能力，且识别成功率较低，对于国内其他公司以及境外公司所研发大模型产品的隐式标识更是普遍并不具备技术识别能力[3]。

对此本文认为，《征求意见稿》的事前审核义务有其合理之处。从底层逻辑上看，现行法律对于平台并非完全没有事前审核义务的规定，《网络信息内容生态治理规定》第9条就明确要求平台进行“信息发布审核”，并且从现实层面上看，平台通过人工审核等方式对于反动信息、淫秽信息等违法信息也实施了严格的事前审核。因此，对于AI内容是否需要进行事前审核更多地是考虑到其对公共秩序的影响程度，而在地震等自然灾害、社会突发事件话题下，AI内容对于虚假信息的传播有着较强的促进作用，因此至少在此类话题下，平台应当严格履行事前审核义务，避免相关内容造成公众误解。

人工智能的开发和应用在推动技术进步、优化生成效果的同时，各个参与方也应当承担相应的治理责任。

对于网民、网红及其背后的运作机构而言，在使用人工智能服务生成图片、上传至内容平台时，首先应特别注意遵守法律法规，杜绝恶意生成和传播虚假内容，对于地震等灾害事件尤其要避免生成和传播虚假的灾情信息，不轻信、不传播未经核实的内容，特别是在灾难或突发事件中，需理性判断信息的真实性。同时，在上传AI生成的图片时，应如实声明内容来源，并配合平台要求进行标注。对于涉及敏感信息的图片，更应当提供生成内容的具体说明，明确表明上传的图片并非现实情况，以防止误导公众。

对于生成式人工智能服务提供者，在提供生成服务时，应当通过明确的标识提醒使用者注意相关风险，要求使用者不得利用生成的内容“移花接木”进行造谣传播。对于涉及自然灾害、重大事故、地缘冲突及可能引发社会恐慌等特定风险的图片生成，应采取事前审核或事中监测的方式，运用语义识别等人工智能工具开发风险管理和数据治理的相应工具，及时发现问题内容，及时采取控制措施。

对于内容服务平台，加强内容审核仍然是其关键的一个职责。针对重点领域，如地震、火灾等重大灾难，应强化审核，通过关键词、关键图片要素提高此类内容审核的优先级与严格程度。对于生成图片的审核，应在结合自动化筛查和人工审核的基础上，根据网络热点和舆论趋势，借助投诉举报平台，及时关注潜在问题，不断丰富和优化审核标准。同时，也利用生成式内容的标识，增强审核的方法和力度。发现问题内容后，平台应立即删除相关内容并封堵传播路径，第一时间进行辟谣，澄清事实，降低谣言对社会的负面影响。