7月23日,小红书薯管家发布了"清朗·整治AI应用乱象"专项行动第二阶段的落实情况公示。这是继6月底AI内容治理规则全面升级之后,平台又一次大规模公开治理数据。
先看数字:自第二阶段开展至今,平台已处置"AI应用乱象"违规笔记4783篇,处置违规用户4223个。
和7月17日的AI托管专项治理不同,那次重点打击的是"AI托管运营账号"(用AI代替真人运营账号),这次瞄准的是AI生成的违规内容本身。两个方向,一个治"号",一个治"内容",合在一起构成了小红书AI治理的完整框架。
7类重点打击的违规内容
公示中明确列出了第二阶段治理的7类违规内容,代运营从业者需要逐条对照自查:
第一类:AI魔改生成"数字泔水"。 歪曲解构优秀传统文化、历史人物或历史典故,滥用AI技术"魔改"古典名著或经典影视作品。比如用AI把四大名著改成现代职场剧,或者让历史人物说网络流行语。这类内容看似有创意,但平台定性为"数字泔水"——低质、误导、消耗文化价值。 第二类:AI虚假不实信息。 利用AI生成虚假图片、视频或文字,伪造事实、捏造信息。比如用AI生成"某地发生重大事故"的图片,或者伪造产品效果对比图。代运营做效果图、对比图时,如果用AI合成,必须标注"AI生成"。 第三类:AI仿冒名人。 明星换脸、AI克隆名人声音等仿冒内容。典型案例包括明星换脸跳舞视频。代运营做美妆、穿搭类内容时,不要为了博眼球用AI合成明星推荐的内容。 第四类:AI制作暴力低俗不良信息。 以图文或视频形式,传授如何通过特定对话指令诱导AI生成涉色情、暴力等有害内容的操作教程。这类内容本身就是违规教学。 第五类:AI侵害未成年人。 生成合成伤害、恶搞未成年人形象的内容,或以动画人物、玩偶形象为原型生成"虐向""邪典"视频。暑期是未成年人保护的高压期,这类内容处罚最重。 第六类:AI水军。 通过AI"托管"技术运营账号,模拟真人批量注册、批量生成低质同质文案。这和7月17日治理的AI托管账号有重叠,但这次更聚焦在"水军"行为本身——不是单账号用AI,而是成规模地批量操作。 第七类:AI产品服务和应用程序违规。 搭建中间服务器,将ChatGPT、Claude等境外AI产品"搬运"至国内,或借助AI技术提供涉嫌违规的功能性服务。平台新增的治理手段
公示中提到了两个新增治理手段,值得关注:
关键词拦截升级。 新增"token代理商""满血中转"等关键词策略,违规笔记一经识别即刻处置。这意味着平台不仅在内容识别层面升级,也在黑灰产服务层面做拦截。 专项审核模型上线。 针对AI生成虚假自然灾害、仿冒名人等识别难度较高的违规内容,上线了专项审核模型,开展相似扩展识别。简单来说,以前靠人工审核很难发现的AI伪造内容,现在模型可以自动识别。代运营自查清单
对照这7类违规内容,代运营团队需要排查以下场景:
内容制作环节:- 是否有用AI生成"假对比图"(before/after效果对比)?
- 是否有用AI魔改经典素材做创意内容?
- 是否有用AI合成名人/明星形象做推荐背书?
- AI辅助生成的内容是否经过事实核查?
- 评论区回复是否全部由AI自动发送?
- 私信话术是否用AI批量生成且未做人工修改?
- 是否有使用"AI水军"制造虚假热度的行为?
- 是否在使用未备案的境外AI工具?
- 是否在帮客户搭建"AI搬运"服务?
- 自动化发布工具是否还在使用?
和之前的AI治理有什么关系
把近期的AI治理动作串起来看,小红书的AI治理框架已经清晰:
| 时间 | 治理动作 | 打击对象 |
|---|---|---|
| 6月底 | AI内容治理规则 | AI内容不标注、AI侵权、AI低质 |
| 7月14日 | AI内容强制标识 | 未标注AI辅助创作的内容 |
| 7月17日 | AI托管专项治理 | 用AI代替真人运营账号(42万账号) |
| 7月23日 | 清朗AI乱象第二阶段 | AI生成的7类违规内容 |
| 7月23日 | 社区AI内容规范 | 自动化作弊(302万异常账号、13万AI托管账号) |
五个动作,覆盖了从内容到账号到工具的全链条。代运营如果还在用"AI全自动"的模式做运营,风险已经非常高。
合规使用AI的正确姿势
平台打击的是AI违规使用,不是AI本身。合规使用AI的方式:
- 辅助选题和数据分析:用AI工具分析搜索热词、竞品内容、行业趋势
- 辅助初稿撰写:AI生成初稿,人工注入真实体验、修改观点、核实信息
- 辅助视觉设计:AI辅助做封面设计、配色方案,但不伪造产品效果
- 辅助客服话术:AI生成回复建议,人工审核后发送
核心原则:AI是工具,人是主体。 每一条发布的内容、每一次互动回复,都必须有人工审核和真人把关。发布动作必须由真人完成。
一句话:AI治理不是不让你用AI,是不让你用AI造假、用AI偷懒到连人都不管了。