央行上海分行冯攀：规管“有毒算法”，算法透明化也存隐忧

金融法治是金融业健康、稳定发展的基石。3月30日，复旦大学中国金融法治研究院正式成立。据悉，该研究院由中国人民银行上海总部、上海市高级人民法院、上海金融法院和复旦大学共同发起、合作建设。研究院旨在推进上海国际金融中心建设、国家金融治理体系和治理能力现代化。

当日，中国人民银行上海总部博士后冯攀以“算法的规制”为题，探讨了大数据杀熟等“有毒算法”问题，以及算法透明化背后存在的隐忧。

规管“有毒算法”

现在大数据杀熟已成为算法领域饱受争议的问题——商家可能对经常浏览某一商品的老用户收取更高的费用，或对不同地区使用不同手机的用户制定不同的价格。

这种差别化定价本来是一种经济学上的定价策略，目的在于为了获得更多的消费者剩余。但冯攀表示，如果说商家利用大数据和个人数据画像，对相同的商品和服务制定不同的价格，这就明显违反了公平公正的原则，这就应当予以严格的规制。我们把类似于“大数据杀熟”的算法称之为“有毒算法”，它的特征是：不透明、规模化、破坏性。常见的有毒算法还包括：控制流量类算法、不当排名类算法等。

例如，一个W电商平台为了获取优势竞争地位及交易机会，利用自己的技术手段通过限流、产品下架、屏蔽等手段减少品牌经营者的流量、消费者注意及交易机会。市场监督管理部门认为这是违反了公平公正的市场竞争秩序，最终处以300万元罚款。

冯攀提及，以另一个不当排名的算法为例，有一家欧洲科技公司利用自身所收集的顾客评分等大数据，开发了一套自有酒店排名系统，对酒店进行1-5级星级评分，并会把评分结果显示在地图上。这个酒店评级的系统本身是没有任何问题的，但是法国的法律规定：“酒店评级必须由当地的旅游组织按照标准制定”，该科技公司自有的酒店评级标准和官方标准是不一样的，因此酒店评级结果也不尽相同。但酒店把自己评级结果显示在地图上，让消费者误以为地图上显示的评级就是官方评级。法国的监管当局就认为，该科技公司存在误导消费者的行为，最后处以110万欧元的罚款。

技术本身应当是中立的，算法也不是洪水猛兽，但是如果扰乱公平公正的市场竞争秩序，这个时候算法就变成了“有毒算法”。

数据搜集需遵循五个条件

在数字经济时代，大数据及其算法成为了平台型公司与科技型公司的核心资产，算法本身也不是凭空取得的，是根据对行业的数据进行不断训练、优化而取得的。如果开发算法的数据本身是非法的，有毒的果树结出的果实也是有毒的。

冯攀称，美国有一家科技公司E公司是向用户免费提供照片和视频的云存储服务。这家公司在2017年上线了一个“朋友”的功能，这个功能就是使用人脸识别技术对于用户上传的图片中的人物进行自动的分组。在“朋友”功能上线之初，E公司默认所有的用户同意使用“人脸识别”技术，而且也没有提供选项，在隐私条款中也没有写明“用户数据使用方式”，最后E公司利用用户上传的照片和视频不断开发、优化人脸识别技术，并向其他商家提供人脸识别解决方案，并以此获利。这家公司2018年上线“帮助文档”，这个文档中说明的内容和实际不相符。美国的监管当局认为E科技公司在用户数据收集和使用方面存在“虚假陈述”或欺诈性行为，责令该公司删除非法收集的数据及以这种非法数据为基础开发的模型和算法。

既然开发算法时的数据一定要经过用户的明确同意，那么用户同意的一般条件有哪些？在冯攀看来，比较好的行为实践应有五个条件：

1）举证责任倒置，即数据控制者有责任证明数据的收集和使用已经用户明确同意，这是因为数据控制者往往处于优势地位，举证责任倒置有利于保护用户的合法权益。

2）清晰、易懂，即用户授权收集使用的条款应当是清晰易懂的。如果授权的条款只是协议一部分，这个条款应当显著区别于协议的其他方面内容。

3）格式条款不能减损用户的合法权益，否则应视为无效。

4）同意可撤销，即用户同意收集处理自身数据后，可以撤销该项同意，并且数据控制者不能对用户撤销同意设置额外的障碍。

5）合理、必要，即数据的收集和使用不能超过必要限度、不能收集与业务无关的信息，

关于“同意”这点，儿童数据的收集一定要经过家长的同意。一个比较典型的案例是，美国有一家视频服务公司在未经过家长同意的情况下追踪儿童数据，然后以此投向一种定向广告获利，最终被美国监管当局责令支付1.7亿美元的和解金。

算法的透明性也存在两面性

算法的透明性和现在饱受争议的“算法黑箱”密切相关。冯攀表示，各界支持算法透明性、消费者知悉权，一般来讲，算法逻辑、算法关键参数就属于“消费者知悉权”的范畴。同时可能会发生算法裁决错误，毕竟算法是人为开发的。

一个典型案例是，美国密歇根州曾开发了一个“数据自动化系统”，对该州居民申请失业补贴进行审核。由算法自动识别申请人是否存在欺诈或舞弊行为，并以此进行处罚。最后表明系统的错误率高达93%，受影响的当事人达4万多人。既然算法裁决影响如此之大，为了避免大家成为算法裁决错误的受害者，需要要求进一步提高算法的透明度。

算法透明度的问题也仍然存在一些隐忧。冯攀称，比如，如何平衡商业秘密的保护与个人知情权之间的关系。企业投入了大量的人力、物力、财力来开发算法，算法公开之后必然会出现“搭便车”的现象，这就会减少企业进行开发算法、科技创新的积极性；此外，如果算法公开后，很可能会产生一种针对算法程序的投机行为。例如，金融系统中可能有一些“自动放贷”系统或信用卡自动发卡系统，如果公开算法，可能会导致不合格的申请人为了获得贷款和信用卡，会有针对性地包装自己，使得自己满足自动放贷、发卡的条件，这就会带来非常大的安全隐患。

总而言之，金融法治是中国走向金融强国的必经之路，对于蓬勃发展的互联网平台型公司，相关部门如何去规管“有毒算法”是亟待解决的问题。这一领域的规范化不仅将保障用户及消费者的权益，更将给中小型互联网公司提供成长机会。        （实习生刘怡然对本文亦有贡献）