余姚检方指控AI陪伴应用沦为制黄工具 六人获刑
一款打着「无限制智能恋人互动」「全新AI情感体验」旗号的境外AI应用,实际是批量生成淫秽图片的牟利工具。经浙江省余姚市人民检察院提起公诉,余姚市法院以制作淫秽物品牟利罪判处郑某等6人有期徒刑三年十个月至三年一个月不等,各并处罚金。目前,该判决已生效。
打着AI陪伴旗号牟利
近年来,随着人工智能技术快速普及,各类AI智能陪伴、虚拟互动应用层出不穷。然而,一些不法分子打着AI智能情感陪伴的旗号,通过改写系统提示词实现模型越狱、设置角色卡诱导对话、开发淫秽图片生成功能,把AI变成输出淫秽内容的工具,以低门槛、沉浸式虚拟互动为噱头,精准拿捏部分网民的猎奇心态与不良需求,通过小额充值解锁互动功能牟利,构建起极具迷惑性的AI淫秽陷阱。
2025年1月,家住浙江余姚的网友小吴在浏览境外网站时,看到一款名为「OchatAI_bot」的应用广告。该应用内置多类虚拟互动角色,角色介绍均含低俗暗示,还支持用户上传图片自定义虚拟形象,并搭载一键生成图片功能,平台生成的图文内容突破法律底线。该应用采取付费积分运营模式,文字互动和图片生成均需消耗积分,用户需线上充值购买。2025年7月,余姚市公安局发现不少用户使用该应用生成淫秽图片,沿应用访问痕迹、充值流水、后台运营线索层层深挖,同年9月将郑某等6名开发人员抓获归案。
高科技人才沦为技术蛀虫
项目发起人郑某曾任职于某大型游戏企业,是一名AI领域的高科技人才。2024年7月,郑某发现境外AI低俗互动项目受众广、牟利快,萌生开发同类型应用牟利的念头,随后拉拢前同事谢某、网上结识的闫某等6人组建研发团队,分别负责技术开发、功能迭代、线上运营、风险规避等工作。2025年1月,该应用在境外平台上线,接入多种充值渠道收取费用。
该应用先调用境外厂商的文字大模型,再通过提示词工程突破基础模型内置的内容安全限制,使其具有无限制产出色情内容的功能,并调用租赁算力服务器部署的生图模型产出对应图片。为抢占市场,郑某等人持续迭代功能,新增动态图片转换选项,还在境外社群定期举办角色卡创作大赛,以积分奖励鼓励用户创作低俗角色。经核查,应用运营期间生成静态图片37万余张、动态图片6000余张,收取用户充值2.4万美元,折合人民币17万余元。经鉴定,随机抽取的1.25万张静态图片和全部动态图片中,1.4万余张被认定为淫秽物品。
算法自动生成不是免责借口
归案后,郑某等人提出「AI自动生成无需担责,用户才是淫秽内容实际制作者」「项目在境外运营并不违法」等辩解。办案检察官认为,AI技术在该案中仍具工具属性,郑某等6人主观上具有利用淫秽内容牟利的意图,客观上将互动AI模型异化为制作淫秽物品的工具,设计方案紧密围绕产出色情内容进行,对模型内容输出具有实质性控制力,行为与淫秽内容产生之间存在刑法上的直接因果关系。
针对「无意危害境内网络」的辩解,检察机关调取的内部聊天记录显示,郑某等人发现境内用户访问时出现支付异常后,不仅没有阻断境内传播、停止违规服务,反而针对性优化系统,帮助境内用户打通付费通道,足以认定其具备危害境内网络生态的主观故意。鉴于郑某等6人以牟利为目的,利用人工智能技术批量制作淫秽物品,其行为已构成制作淫秽物品牟利罪,今年3月24日,余姚市检察院依法对其提起公诉,6月16日法院作出前述判决。(府右新闻记者艾平平)