黑产和AIGC造假都难了!小红书处置60万篇AI笔记

作为国内领先的社交平台,小红书采取行动在2025年上半年处置了60万篇AI生成的虚假笔记。本文将详细介绍小红书在打击虚假内容方面采取的多项措施,供大家参考。
近日,小红书公布2025年上半年打击「虚假」阶段性成果。数据显示,从1月截止到6月10日,平台已累计封禁黑灰产账号超1000万个,处置虚假笔记320万篇、虚假人设账号1万个,其中AIGC造假内容治理成为重点,上线了AIGC谣言诊断模型,半年内拦截低质AI笔记60万篇。
在上半年的治理中,针对AIGC技术引发的虚假笔记泛滥问题,小红书推出以下多层治理措施:
第一,明确AIGC内容显著标识:要求创作者主动对AIGC内容进行声明,并进行显著标识。对未声明AIGC的内容进行标识,帮助用户识别AIGC内容。持续简化打标流程,鼓励创作者利用新技术进行内容创新,也积极参与到生态建设中。
第二,上线音画识别模型,多维度识别AIGC。通过分析图像像素分布规律等识别AIGC合成痕迹;对音频的音色、语调等特征进行深度分析,挖掘可能存在机械化表达等。
第三,细化账号分级处罚机制。根据账号发布 AIGC 造假内容的性质、影响、范围和违规频次,制定阶梯式处罚标准,结合同设备关联关系对相关作恶账号一并追溯处罚。
第四,设置流量门槛,减少低质AI内容曝光。低质量AIGC内容到达一定曝光阈值,将停止推荐。
除此外,也对批量造假的黑灰产账号进行了重点打击。
黑灰产治理面临这些挑战:账号注册环节使用虚拟号码与群控系统批量、精细操作,内容层面通过符号缩写、黑话变体规避审核,违规场景从公开笔记向群聊、私信等私域转移。
对此,小红书升级机器对抗系统,将风险账号判罚时间缩短至实时处置,有效应对“黑产变体快且多”的特性。同时,针对黑灰产账号建立“同质化识别”风控体系,上线50+识别模型,实现账号、笔记、评论文本三维相似度检测。
值得关注的是,小红书推出“实名认证解冻”机制,对高危账号先冻结后验证,完成验证后解冻,显著提升黑产作恶成本。线下层面,小红书已向警方提供线索并推动7起典型案件侦办,形成“线上技术拦截+线下司法打击”的闭环治理模式。
小红书明确,在治理中,用户参与共治成为治理效率提升的关键。2025年上半年,虚假内容举报量同比增长40%。通过优化审核流程,被举报内容平均审核时长同比减少25%,预计接入大模型后年底将再缩短10%。
最后,小红书还披露了下半年用户共治计划。将简化举报流程实现“一页提交”,引入部分用户内容标注功能,计划推出“热榜辟谣卡”让用户辟谣内容登上热榜。
本文由运营派作者【见实】,微信公众号:【见实】,原创/授权 发布于运营派,未经许可,禁止转载。
题图来自 Unsplash,基于 CC0 协议。
降低期望,把手机关掉,焦虑就没有了。
每当你想批评别人的时候,要记住,这世上并不是所有人,都有你拥有的那些优势。
搞不清做运营分那么多职位干啥,用户运营、内容运营、渠道运营、新媒体运营、活动运营、用户增长等等。。。都被这各大招聘平台给引导坏了。。。我觉得把,本身做运营就是这些模块都要做的。分工太细反而做的更差,毕竟这是一个系统性的活。
拉新,微信加人,

留存,告诉他们有好处
促活,讲沙雕段子,
召回,发红包
作者用自己的亲身经历和感受来表达自己的看法,让人感同身受