【】今天(1月14日),备受关注的国内"AI服务涉黄第一案"在上海市第一中级人民法院开庭二审。开发运营涉黄AI聊天应用的两名开发者,此前被一审法院以制作淫秽物品牟利罪判处刑罚。案件争议的焦点是什么?情感陪伴类AI工具的边界在哪里?来听第一财经广播崔琦的介绍。
据悉,涉案应用"Alien Chat"由梁某和王某于2023年6月开发上线,定位为AI伴侣聊天应用。主打一对一文字聊天陪伴服务。用户可通过付费订阅“尊享会员”(138元/月)或“高级会员”(68元/月)获得更深度互动体验。截至2024年4月被举报查封前,该应用累计注册用户超11.6万人,付费用户达2.4万余人,产生交互对话超400万条。经公安机关抽样鉴定,150名用户样本中,141人对话内容涉及淫秽信息,12000余段对话中,有3600余段被认定为涉黄内容,平台累计非法获利达363万余元。
2025年9月,上海市徐汇区人民法院一审认定,梁某、王某虽未直接编写或上传淫秽内容,但通过持续修改底层提示词,主动绕过基础大模型的道德过滤机制,将AI系统“训练”为能稳定输出淫秽对话的工具。并持续运营并牟利,构成“制作淫秽物品牟利罪”。梁某被判处有期徒刑四年,并处罚金400万元;王某被判处有期徒刑一年六个月,并处罚金20万元。二人不服,提起上诉。案件二审于1月14日在上海市第一中级人民法院开庭。
二审庭审中,被告辩护律师北京盈科(上海)律师事务所周小羊提出无罪辩护,核心论点有二:其一,开发者主观无传播淫秽物品的故意,修改提示词仅为提升AI拟人化表现与情感陪伴能力;其二,AI与用户之间为封闭式一对一交互,内容未对外传播,不属于刑法意义上的“制作”与“传播”。
然而,检方与法律专家指出,技术中立不能成为责任豁免的挡箭牌。律师 游云庭进一步解释说,
【监管规定了开发者的很多合规义务,就是为了防止有人利用人工智能服务去满足违法的需求,给社会造成损害。这些合规义务,Alien Chat的开发者都没有遵守,反而主动的通过技术设置突破了原来模型的这样一个安全内容边界,放任用户去做这样一个色情的聊天,获利巨大。这种主观上以盈利为目的,客观上放任大规模的不良内容生成的行为。如果不被制裁的话,那其他的合规的开发者看到这样的话也可能会有样学样,产业的环境,这样的话就会被破坏,后果还会比较严重。所以我觉得这次的人工智能开发者被追究刑事责任,不冤。】
中国政法大学人工智能法研究院院长张凌寒也认为,即使对话发生在私密场景,其产生的数据仍被平台后台采集,用于模型迭代与训练。这意味着,每一次涉黄对话都在“反向训练”AI,使其更擅长生成类似内容,形成恶性循环。
【用户虽然在私密的场景下使用,但是不代表信息的传播也是一对一,这些东西都可以在后台看得到,这些交互数据都会被用作下一次更新大模型的训练数据,这就是为什么说有的大模型跟它聊,觉得它被人带坏了】
而本案作为人工智能领域开发者责任的首例刑事案件,更重要的意义就是界定了人工智能开发者的责任。开发者既要对过程负责也要对结果负责。
值得一提的是,2025年12月,《人工智能拟人化互动服务管理暂行办法(征求意见稿)》全文公布,公开征求意见。征求意见稿明确:不得生成、传播宣扬淫秽、赌博、暴力或者教唆犯罪的内容。业内表示,从陪伴类应用的发展来说,未来应考虑用户分级管理。中国人民大学人工智能治理研究院研究员黄尹旭进一步指出,本案将成为该办法落地的重要司法参照。
【不管规则、法律或者技术上,我们会提到价值对齐,不管是过滤的手段,还是训练数据,训练模型的时候,采取一些措施,人工智能应当遵守人的基本道德、法律。它是新事物,但不是法外之地,包括刑法、其他一些法律,做了一些原则性的兜底规定。从另外一方面来看,AI肯定不能生成淫秽的物品,但是具体责任,既要考虑到刑法规定,也要考虑到生成式人工智能服务管理暂行办法这些标准,希望能够进一步完善法律法规,包括一些司法解释,更好实现创新与安全的平衡。】
此案的审理为整个AI行业敲响警钟:AI可以有温度,但不能无底线;可以懂情绪,但不能纵欲望。当技术具备了“自我进化”的能力,责任的主体就必须从用户回溯至设计者。这才能让技术真正服务于人,而非异化为欲望的温床。