**平台与多国监管仍以标识和检测AI来源为主,但“人性化”技术令检测失效,来源信息也无法判断低质、重复与操纵;治理需转向批量生产、反复发帖和自动化互动等使用行为。** **要点** **1. 平台治理开始从AI来源转向行为** 领英2026年7月上线“Seems Like AI Slop”举报,两周超百万会员使用,相关帖浏览量降40%;YouTube和谷歌也限制批量、重复、低价值内容,不问是否用AI。 **2. “人性化”技术正令AI检测显著失灵** 2026年9月未同行评审研究显示,Pangram对Claude独立写作标记率77%,对拼合其他模型文本仅24%,另三个检测器不足10%;文体检测可被规避。 **3. 监管应从事后标识转向治理使用模式** 中国2025年9月施行AI合成内容标识办法,欧盟AI法第50条2026年8月适用,印度指南承认水印可绕过;但知道AI参与无法判断重复、低价值或操纵,应重点监管批量生产、反复发帖和自动化互动。
“数字泔水”全球泛滥,AI生成内容能怎么管?
2026-11-12 21:43

“数字泔水”全球泛滥,AI生成内容能怎么管?

本文来自微信公众号: 数字经济发展评论 ,作者:数字经济发展评论


导语


AI短剧、漫剧迎来批量生产热潮,低质、同质化作品也随之增多。近日,广电总局部署新一轮微短剧专项治理,平台和监管部门正在加大治理力度。领英、YouTube和谷歌近来也陆续调整平台规则,尝试限制低质AI内容的传播。但仅靠给AI生成内容贴上标签,就能解决问题吗?


观察家研究基金会(ORF)数字社会中心研究助理Tanusha Tyagi撰文指出,目前多国对AI内容的监管实践大多侧重于识别内容来源,却难以判断内容本身是否重复、低价值或具有操纵性。更棘手的是,随着AI“人性化”技术不断发展,原本依靠文体特征识别AI生成内容的方法也逐渐失灵。文章认为,治理思路需要从识别内容来源转向审视内容的生产和传播方式,重点关注批量生产、反复发帖和自动化互动等现象。


原文标题:Beyond Detection:The Challenge of Governing AI Slop


原文来源:观察家研究基金会(Observer Research Foundation)


编译解读:数字经济发展评论


随着AI生成内容越来越容易生产,也越来越难与人类写作区分,数字平台面临一个日益严峻的挑战:如何在不把AI的一切使用都视为有害的前提下,遏制低价值的合成内容。生成式AI让文本、图像等在线内容得以用极低成本大批量生产,也带来了一类被称作“AI slop”(低质劣质AI内容)的内容。


它们投入极低,彼此重复或千篇一律,目的往往是博取眼球,而不是提供有价值的信息。对这类内容的争论早已不限于质量本身,已有多个平台着手搭建系统来识别并减少这类内容,各国政府也在陆续出台规则。


观察家研究基金会(ORF)数字社会中心研究助理Tanusha Tyagi在11月6日撰文,梳理领英、YouTube、谷歌等平台的做法,以及中国、欧盟、印度的监管路径。这些做法有一个共同局限:都只针对内容来源,而低质劣质AI内容的要害却在行为。


Tyagi指出,随着“人性化”技术不断迭代,靠文体辨认机器写作越来越不可靠。即便把AI生成内容全部准确识别出来,也判断不了内容有没有价值。因此,平台在确认内容来源之外,还需要考察内容的使用方式。


一、平台的应对:领英、YouTube与谷歌


领英是最近的一个例子。2026年7月,该平台推出“看起来像低质劣质AI内容”(Seems Like AI Slop)反馈选项,把会员举报与分类器、自动防御结合起来,降低低价值内容的可见度。同年8月,领英报告称,该功能上线头两周有超过一百万会员使用;随后又表示,被平台归类为低质劣质AI内容的帖子浏览量下降了40%。


其他平台也在处理同一个问题,只是没有使用这个说法。2025年7月,YouTube澄清,其针对“非真实内容”的变现政策涵盖重复或批量生产的素材,这类素材不具备变现资格,而YouTube仍允许创作者使用AI工具。


谷歌搜索同样把以操纵排名为主要目的、大量生产无原创内容的行为视为规模化内容滥用(scaled content abuse),其政策还明确把使用生成式AI批量生产、对用户没有附加价值的页面列为这种做法的一个例子。


政策上的难处在于,什么算低质劣质内容并不简单取决于有没有AI参与。这些平台的做法还引出一道更宽的治理问题:在机器写作与人类写作的边界日益模糊的情况下,AI生成内容具备哪些特征、被怎样使用,才足以构成干预的理由?


二、AI的使用与否不是评判标准


新兴的平台政策越来越明确地把两类内容区分开来,一类服务于用户,另一类是为操纵搜索结果而规模化生产的低价值内容。YouTube的非真实内容规则适用于批量生产或重复的素材,不问生产方式,使用AI工具的频道仍具备变现资格。谷歌遵循同样的原则,其规模化内容政策只针对低价值素材,无论它出自自动化、人力,还是两者结合。


Tyagi指出,之所以要把两类内容分开,是因为来源与行为回答的是两个不同的问题。知道某篇帖子有生成式AI参与,只能说明它是怎么生产出来的;至于这条帖子重不重复、有没有用、带不带操纵性,该不该减少分发,来源信息都回答不了。


要精确定位真正的低质劣质内容,平台需要考察批量生产、反复发帖、自动化互动,以及刻意博取可见度和注意力这类行为模式。这也有助于把这些做法与无害的AI使用区分开来,比如用AI起草、编辑或改进一篇文章。


三、是什么让文章看起来像AI写的


不过,一个新的问题正在出现。在平台仍希望识别AI生成材料的场合,那些让机器写作文本可被辨认的文体特征,本身也可以被AI学习、去除并有意伪装。AI文本检测依靠的是文体模式,而不是机器写作的任何确定性标记。


已有研究发现,人类写作与AI生成写作在词汇、正式程度、原创性、句子结构等文体特征上存在差异。一项涉及300篇非虚构文章的2025年ACL研究还发现,生成式AI的高频使用者尤其擅长辨认机器写作的文本。他们的判断不仅依据反复出现的AI词汇,也依据正式程度、清晰度、原创性等更宽泛的特征。


不过,这些标记并不完全准确。另一项2025年的研究发现,AI文本检测器的准确性参差不齐,取决于写作风格和文本复杂程度,在某些场景下其结果近乎随机分类。该研究还发现,更易读的文字可能被不成比例地误判为AI生成。


Tyagi认为,这暴露了以文体外观判断作者身份的一个基本弱点:让文本显得像机器写作的特征会随领域、模型和写作风格而变化,而且一旦这些特征被理解,也可以被有意改变。检测器要靠一套相对稳定的文体特征来作判断,而这些特征能随模型调整,因此总结出来的判据往往用不了多久就失效。


四、“人性化”军备竞赛


问题不只是检测器会出错。AI生成文本如今可以在生成阶段就被做得更难检测,也可以再经改写,读起来像人写的,这类做法被称作AI“人性化”(humanisation)。


2026年9月,杜克大学的Bhuwan Dhingra与印度科学理工学院的Danish Pruthi发表研究,考察AI系统能否通过大量依赖另一个基础语言模型生成的文本,使自己的输出更难被检测。


两人在400个任务上测试了这一方法:检测器Pangram把Claude独立写作的答案中的77%标记为AI生成,而对Claude利用其他AI模型的文本拼合而成的答案,只标记了24%。另外三个检测器的识别率都不足10%。这篇论文尚未经过同行评审。


这些发现说明,技术已经越过了“先生成、再改写”的旧有实践。这里的AI系统是在生成回答的过程中就大量依赖来自基础模型的文本,最终输出中高达90%的内容来自第二个模型。这些文本在多项任务上仍保持相对有效,同时变得明显更难被检测器识别。


这指向AI检测面临的更深一层挑战。检测系统学习识别与机器写作文本相关的模式,而新一代技术可以被设计成避开同样的模式,文体式检测因此越来越不可靠。如果AI生成内容可以在生成环节就被做得不那么可辨认,“它看起来是否像机器写的”就不再是决定如何对待它的可靠依据。


五、各国政府监管的是合成内容,而非低质劣质内容


随着合成内容与人类创作的内容越来越难区分,多国政府陆续出台规则,不过它们的规则总体聚焦标识与透明,并不涉及内容质量。


中国采取了覆盖最广的路径之一。《人工智能生成合成内容标识办法》自2025年9月起施行,覆盖AI生成的文本、图像、音频、视频和虚拟场景,要求服务提供者必须在特定情形下使用显式标识,并在元数据中嵌入信息;发布AI生成材料的用户也须予以声明。规则还禁止恶意删除、篡改或隐匿所需标识。


欧盟的做法与此类似,也是从内容来源入手。《人工智能法》第五十条自2026年8月起适用,要求生成合成文本、音频、图像或视频的系统提供者,使其输出可被机器读取,并能被识别为人工生成或经过操纵。该条还要求对某些面向公众发布、涉及公共利益的AI生成文本作出披露,但设有人工审核与编辑责任等例外。


印度的框架则表明,聚焦于证明内容来源的规则只能部分有效,因为无论要证明的是内容由AI生成、经过改动、带水印还是加了标签,这类规则能确认的都只是来源。


《2025年AI治理指南》讨论了水印、来源标记和唯一标识符等工具,同时也承认这些保障手段可以被绕过。《IT规则》2026年修正案对合成生成的信息规定了更具体的义务,但适用范围限于音频、视觉和视听内容,AI生成的文本不在其列。


在Tyagi看来,这些路径解决了一个重要问题,即帮助用户知晓内容何时是合成的,但它们并不能判定内容是否重复、是否低价值,或者是否以损害信息环境的规模被生产。


六、从识别AI到治理其使用


Tyagi的结论是,“人性化”技术出现后,仅靠标识透明和内容检测已经不够了。机器可读标记和元数据能比写作风格提供更可靠的来源证据,中国和欧盟的规则也在试图保留这类信号。相比之下,靠语言风格推断作者身份就脆弱得多,生成与改写技术越复杂,这类判断越不可靠。


更根本的是,即便能完美识别AI生成内容,也无法解决低质劣质AI内容的核心问题。一个标签能告诉用户内容是如何生产的,却无法判断这些材料是有信息量的、重复的、操纵性的,还是成百上千条几乎相同的自动化帖子中的一条。


因此,只判断内容是不是AI生成的已经不够了。随着AI生成文本越来越难与人类写作区分,平台还需要考察这些内容如何被大规模分享和使用。出路不在于监管每一篇内容,而在于识别自动化生产何时开始破坏在线空间的品质。


把落点从内容转向使用模式,等于把低质劣质AI内容看作一种成规模的行为,而不是一类能靠来源辨认的内容。批量发帖、自动化互动这类做法不会随模型更新而消失,把判断落在这些行为上,平台就不必跟着生成技术一轮轮改写规则,也不必卷进检测与“人性化”的军备竞赛。

AI行业信号频道: 前沿科技
本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。
如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。
正在改变与想要改变世界的人,都在 虎嗅APP