陈兵：推进综合治理，规制算法歧视

近年来，算法逐渐成为企业提升决策效率、优化经营模式的重要技术工具，但同时算法歧视问题日益凸显，应加大综合治理力度，推动算法向上向善运用。

算法歧视的主要特征

算法歧视表现为以下主要特征：

一是场景更加多样化。算法歧视已全面延伸至招聘筛选、信贷风控、消费定价等民生领域。招聘筛选领域已有现实案例，亚马逊因招聘算法涉嫌性别歧视于2018年停用；2024年彭博社实验指出，ChatGPT在筛选简历时呈现种族偏见。信贷风控领域，低收入群体被系统判定高风险、外卖骑手因GPS轨迹被判定工作波动等信用歧视现象凸显。消费定价领域，“大数据杀熟”“千人千价”持续高发，且呈现动态化、隐蔽化特征。

二是技术更加复杂与形式更加隐蔽。算法偏见既缘于训练数据记录的社会固有偏见，也来自模型运算中形成的偏差，还与算法设计人员的主观意识、知识背景相关，导致歧视诱因难追溯。在生成式人工智能广泛应用的背景下，隐性歧视被算法化，技术化倾向严重。

当下算法歧视多通过数据训练偏差、参数设置隐蔽、算法模型优化偏差等方式进行，表面具有“技术合理性”，实则构成不合理差别对待。如招聘算法不设年龄参数，嵌入“工作年限”间接排斥35岁以上求职者。又如金融科技公司将地域、职业作为隐形参数，对欠发达地区、低收入群体设置更高的信贷门槛。算法“黑箱”特性成为企业逃避责任的手段，算法歧视的发现、举证，认定难度大幅提高。

三是风险扩散链条不断延长。企业利用算法歧视侵害用户隐私权、知情权、自主决策权，公平交易权等，甚至引发公众权益损害风险。如抖音个性化推荐算法暗含“舆论极化”风险、不良价值引导风险及固化用户行为模式等风险。此外，企业通过算法歧视，屏蔽、混淆竞争者信息，头部企业因数据优势更精准歧视，循环积累终致垄断，抑制行业整体创新。

规制算法歧视的现状及现实挑战

我国已初步形成以《个人信息保护法》《电子商务法》《反不正当竞争法》《劳动法》《消费者权益保护法》为核心，以部门规章、司法解释为补充的多维度、多层次算法歧视规制体系。

譬如，《个人信息保护法》第二十四条明确规定自动化决策应保证决策的透明度和结果公平、公正，不得对个人在交易价格等交易条件上实行不合理差别待遇，被普遍视为规制算法歧视行为的直接立法。该法第六十九条规定的“过错推定”原则为举证提供重要支撑，即个人信息处理者不能证明自己没有过错的，应当承担损害赔偿责任。《电子商务法》第十八条规定，电子商务经营者应同时向消费者提供不针对其个人特征的选项，维护了用户的自主决策权，打破了“全有或全无”的技术强制。

同时，针对场景多样化特征，各领域可援引现有规定予以规制：招聘场景依据《劳动法》《就业促进法》；信贷场景依据《商业银行法》《金融消费者权益保护实施办法》；消费场景依据《消费者权益保护法》及2025年《反不正当竞争法》新增条款。此外，还通过部门规章、行业规范细化企业合规义务。譬如，《关于加强互联网信息服务算法综合治理的指导意见》确立算法安全综合治理格局目标；《互联网信息服务算法推荐管理规定》禁止设置歧视性算法规则；《生成式人工智能服务管理暂行办法》要求防范算法歧视，开展安全评估。上述部门规章和行业规范，与法律形成治理合力，填补法律规制的细节空白。

现有规定虽已规制，但算法歧视案件仍面临诸多实务难题。

一是数据治理待规范。算法训练数据常存在样本失衡、历史偏见等问题，经算法学习后放大为系统性歧视。数据偏见隐蔽性极强，企业常以商业秘密为由拒绝提供完整训练数据与清洗流程，导致司法与监管难以核查，加之缺乏明确的数据去偏、样本均衡指引，企业数据合规流于形式。

二是算法规制滞后。算法“黑箱”特性导致监管与司法机关无法进行穿透式审查。现有相关规制条款多为原则性规定，缺乏可操作实施标准。算法动态迭代与法律稳定性形成矛盾，且未形成分类分级的规制体系，企业缺乏明确依据，难以精准规避歧视风险。

三是歧视边界难界定，如何区分“合理的差别对待”与“违法的算法歧视”，是算法歧视认定的核心难点。招聘算法根据岗位需求筛选属合理匹配，信贷算法根据信用状况评定属合理风控，但当差别对待超出“合理范围”则构成算法歧视，而“合理范围”缺乏明确判断标准，导致司法认定存在较大争议。

四是受害者举证难度大。算法歧视案件举证难度远超普通民事案件，受害者难以获取算法的设计逻辑、参数设置等商业秘密，也难以证明权益受损由算法歧视导致。尽管《个人信息保护法》规定“过错推定”，但实践中企业常以“算法技术复杂”“数据合法合规”为由拒绝提供相关证据，法院缺乏有效强制手段，导致该原则难以落地。

五是责任划分模糊。算法开发、运营、数据提供、使用等多元主体责任边界不清，难以明确歧视行为的具体责任归属。对覆盖群体广、持续时间长的算法歧视行为，若仅赔偿个体、简单整改无法弥补整个受害群体的权益损害，也难以倒逼企业从根源优化算法。责任形式缺乏层次性，未区分故意嵌入歧视与过失导致偏差的责任差异，对恶意歧视未设严厉惩戒措施，且未与企业信用评价、资质审核挂钩，导致部分企业整改流于形式。

完善综合治理，推动算法向上向善

破解算法歧视案件的实务困境，需从法治完善和企业AI合规两个维度持续发力。通过构建多元共治体系，实现算法技术的创新发展与法治约束的有机统一。

一是完善算法歧视的协同治理体系，加强数据保护与隐私立法执法，从源头防治算法歧视。完善数据收集、存储、处理和共享规范，落实《生成式人工智能服务管理暂行办法》关于数据安全的规定，加大监管执法力度，加快专项立法，明确算法歧视定义、构成要件，区分“合理差别”与“违法歧视”的边界。

二是优化算法设计，增强算法透明度和公平性审查。细化算法自动化决策的透明度和公平性义务，要求企业在设计、训练等环节履行合规审查。落实算法分类分级管理，完善算法备案、评估、安全风险监测和审计制度。坚持“规制与赋能并重”原则，避免过度监管抑制算法技术创新。

三是优化裁判规则，统一司法裁判的尺度。引入举证责任倒置制度，由算法开发者和使用者对不涉及商业机密的算法运行原理进行解释。如针对招聘算法歧视案件，应当注重劳动者的倾斜保护，由算法使用者证明自动化决策符合职业需求或商业需要。建立由法律专家、技术专家组成的鉴定团队，加强法院技术能力建设，培养兼具法律和技术知识的复合型法官，提高算法歧视案件设立的专业性和公正性。

四是形成政府、企业、行业协会、技术机构、社会公众等多主体形成治理合力，推动算法歧视治理提质增效。

（作者系南开大学竞争法研究中心主任、法学院副院长）