826

小红书整治AI应用乱象:有用户利用AI换脸换声假冒知名公众人物,引流带货、营销牟利等,共处置违规笔记15万余篇,违规账号1400余个。

8月26日,@小红书薯管家发布“清朗·整治AI应用乱象”第二阶段治理成效:自6月份响应中央网信办工作部署,积极参与“清朗·整治AI应用乱象”专项行动以来,小红书落实网站平台主体责任,深入清理AI违规信息,持续优化升级AI治理工作。薯管家现将近期治理成效公示:

一、处置数据 自专项行动第二阶段开展至今,平台共处置违规笔记15万余篇,违规账号1400余个。

二、治理措施 · 存量清理,增量拦截,形成闭环处置链路:平台建立风险线索快速响应机制,加强新增风险前置拦截。 · 突出重点场景,实施全链路分类治理:平台切实阻断违规商品和黑灰产交易,加强搜索和推荐环节治理,强化AI问答模型安全管理。 · 发布“AI知识包”,提高公众对AI生成内容的识别能力:薯管家推出“这些AI套路你中招了吗”系列知识包,引导用户合规使用AI工具,防范AI生成虚假内容的误导与欺骗。

三、典型案例 · 典型案例1:利用AI歪曲古典名著,传播价值观扭曲内容账号“大*法”“小*3”等,利用AI技术“魔改”古典名著《西游记》,植入低俗内容,歪曲解构古典名著精神内涵,存在不良价值导向。 · 典型案例2:利用AI生成虚假信息,传播涉及社会时事的谣言账号“小*5”“小*F”等,利用AI生成传播虚假极端天气信息,散布谣言,易引发民众恐慌。 · 典型案例3:利用AI换脸换声假冒公众人物账号“值*你”“唐*活”等,利用AI换脸换声假冒知名公众人物,引流带货、营销牟利。 · 典型案例4:利用AI制作虐待血腥、恐怖猎奇或低俗擦边内容账号“蜜*智”“懵*飓”等,利用AI制作发布恐怖惊悚、诡异猎奇画面,破坏社区生态,影响用户身心健康。 · 典型案例5:利用AI生成伤害未成年人的内容,制作儿童“邪典”及无底线二创动画 账号“我*人”“王*叨”等,以《熊出没》《小猪佩奇》等未成年人喜爱的动画形象为原型,利用AI制作带有不良价值观的二创动画;账号“小*戏”等,利用AI制作伤害未成年人的内容,影响未成年人身心健康。 · 典型案例6:利用AI托管账号批量注册,批量发布同质化文案账号“小*发”等,发布教授利用AI工具批量注册账号、矩阵化运营账号的推广教程信息,助长网络水军活动。 · 典型案例7:推广仿冒套壳AI应用,色情陪聊等服务课程账号“小*2”等,推广售卖违规AI产品和服务,采用作弊手段搭建国内中转服务器,为境外AI服务平台引流。

平台将持续优化升级AI治理工作,与每一位真诚的创作者携手,打造用户分享真实生活的清朗空间。

1天前
00