人工智能学“说人话” 网络“水军”要下岗了

“眼见为实”?这一人们辨别真伪的通用法则，可能因为人工智能(AI)的到来而失效。

例如，充斥在互联网上的人类“水军”未来可能要被人工智能取代了。芝加哥大学计算机科学教授赵燕斌团队发现，人工智能可以被用来生成复杂的点评信息。这些虚假的点评不仅机器无法检测出来，就连人类读者也分辨不出来。“我们研究的目的在于提前预测，当人工智能威胁真正来临的时候，人们不会猝不及防。”赵燕斌对第一财经记者表示。

科技与人性博弈的“黑镜”正在向人类扑面而来，人工智能可能是最锋利的双刃剑。

普京在公开课后与学生合影（俄新社）

就在上周末，俄罗斯总统普京在一场演讲中罕见地评论人工智能。他说，“谁主导了人工智能领域，谁就将成为世界的统治者”。“钢铁侠”埃隆·马斯克于9月4日也再次发声称，各国都在竭力争取 AI 竞争的优势，才是最有可能导致第三次世界大战的原因。

点评里隐藏的“玄机”

近期一则“人工智能已经学会自动编写虚假点评”的消息广为流传。“我喜欢这个地方。我跟我哥一起去的，我们点了素食意大利面，很好吃。啤酒不错，服务也很棒。推荐这个地方，是个吃早餐的好去处。地儿小但是买卖大”。这个如假包换由AI操刀的点评，足以骗倒很多读者。

消息源于赵燕斌等发表的一篇题为《在线点评系统中的自动众包攻击和防御》的论文。在研究中，赵燕斌团队发现，人工智能可以被用来生成复杂的点评信息——就像上面列举的这一条，几乎是没有破绽地在“讲人话”。

这篇论文今年晚些时候会在计算机安全顶级会议——ACM CCS(美国计算机协会计算机与通信安全会议)上展示。早在2014年，赵燕斌团队还发表了题为《恶意众包工作者的实际对抗性检测》的论文，分析了怎样用人工智能检测社交网络中的人类“水军”。

赵燕斌接受了第一财经记者的采访。他的实验室一直在从事和网络安全相关的课题。最新的研究历时一年左右，是过去研究的延伸。“人工智能的技术很先进，好处也显而易见，但是我们的目的是提前预测出人工智能对于社会潜在的威胁，因此当这些威胁真正来临的时候，人们不会猝不及防。”赵燕斌对第一财经记者表示。

Yelp被称为美国的大众点评网。网络截图

他进一步解释道，在获得了美国的“大众点评网”Yelp的公开用户评论数据后，团队就开始做实验。具体而言，是从亚马逊上雇了600位用户，让他们对真人和人工智能编写的点评进行辨别。

“结果是几乎没有人看得出来哪些是机器撰写的点评。”赵燕斌对第一财经记者说道，“更让我们吃惊的是，用户不仅分辨不出真假，而且还觉得机器撰写的这些点评对他们很有帮助。”

他对第一财经记者表示：“目前这种技术仍然相对比较新，还无法做到十分精准。比如已经在微博或者Twitter上出现的有些基于简单模板产生的评论。”

赵燕斌认为，虽然他们无从得知是否已经有一些公司试图大规模利用人工智能的编程软件撰写虚假评论，但是这无疑会成为不法分子未来的一个“必要选项”，因为人工智能相比人类水军的优势非常明显：首先，人类“水军”发送虚假评论的时间控制不了，因为“水军”一见了工作都上去抢，所以很容易在被攻击的网页上发现异常，而人工智能发送消息的时间是可以控制的。其次，雇佣人类“水军”撰写评论的成本在增长，而人工智能可以反复频繁地被使用。

让人揪心的是，反抄袭软件也对这些虚假点评无能为力，因为这些“高段位”的AI点评是逐字生成的，而不是简单地替换已有点评中的用词。如果使用反抄袭软件检测，不但很难检测出虚假点评，而且会“误伤”一大批真实的点评。

赵燕斌教授在芝大的主页

“社交网站已经开始利用人工智能技术发布一些虚假的消息或评论。”人工智能初创公司WorkFusion创始人、CEO扬格列维奇(Max Yankelevich)告诉第一财经记者，“这些消息只有通过人工智能的手段才能加以制止。这不仅仅需要政府的努力，更需要科技公司和整个社会的努力。”

WorkFusion是一家为企业进行人工智能研发的科技公司。扬格列维奇介绍说，Fusion平台将自动化机器生产与机器学习相结合，可以帮助用户增加业务的灵活性和生产的自动化。

好消息是，人工智能有可能识别出机器中的“水军”。赵燕斌团队研究发现，用计算机去分析字符的分布等特征，他们就会发现真假点评之间存在着细微的差异。

假点评是从真实点评里学出来的，在这个过程中，难免会有信息流失。假点评注重的是流畅、可信，但像字符分布这种平时没人关注的特征，就做得不那么好了。

“在训练过程中发生的信息遗失，会传递到生成的文本中，因此生成文本和人类文本在基本字符分布上，有着统计上可检测的差异。”赵燕斌团队在论文中写道。

当然，攻击者也可以骗过检测。换好一点的硬件，做更复杂一点的神经网络就行。但这种检测至少提高了攻击的门槛，为攻击者设置了障碍。

赵燕斌对第一财经记者表示：“这就是一种胜利，所有的安全工作都是这样，提高攻击的门槛。当然，你永远没办法阻止那种目标坚定、身手老练的攻击者。”

赵燕斌表示，之所以会做这项研究，也是希望人们能关注这类攻击途径，把它们看做真实、迫切的威胁。“像Yelp、亚马逊这类网站集纳了大量消费者言论，如果他们的工程师们还没有开始考虑如何抵御，希望他们立刻开始思考。”

对于这一研究结果，Yelp发言人扬布莱德(Rachel Youngblade)发表声明回应称：“欺骗点评系统的手段越来越复杂，我们也持续迭代这些系统，来识别假点评。”

“不是仅为了设计出能防御这类攻击的系统，还想让更多人从大众的视角，看到人工智能在带来好处的同时，也存在真实的威胁。”赵燕斌说。不过，赵燕斌强调，虽然越来越多的研究致力于防御“假新闻”，但是并不是一切问题都能够用技术的手段来解决的。“我们需要更多地和社会学科学家以及心理学家合作，寻求共同的解决方案。”赵燕斌告诉第一财经记者。

福音还是灾难？

赵燕斌还提醒道“更值得注意的是，一些攻击当然是出于商业营利的目的，但是也不排除一些组织甚至政府机构利用虚假评论当做宣传的武器，这一旦发生，会很可怕。”

他认为，人工智能技术如果被滥用，对整个社会是一个巨大的威胁，不但会让依靠点评信息的用户失望，而且会以假乱真，破坏社会秩序，这样的后果更为严重。

美国商业内幕(Business Insider)网站在近期的一篇报道中就分析了科技的发展如何让人们难以辨别新闻真伪。报道还指出，鼓励“假新闻”，将加重人们对于传统主流媒体的不信任。然而不仅仅是在新闻领域，“假新闻”对于整个社会都将带来灾难性的影响。

“假新闻”将成为恶意敲诈者的工具，比如为很多无辜者制造合成的“艳照”；它还会让电话诈骗的手段变得更加技艺精湛而难以被发现，因为人们无法得知电话另一头的声音到底是真的还是被合成的。

这些听起来像科幻片的场景，事实上已经潜伏在我们身边的某个角落。人们现在能做的，就是让自己准备好应对的方法。

好在目前大多数合成的虚假视频和声音还都停留在实验室的展示阶段，作为科研人员的研究项目的形式出现，App应用也并没有被商业化。不过这些都暗示着未来的世界已经离我们不远了。

赵燕斌给记者举例说道，在去年的CCS大会上，卡内基梅隆大学的研究人员就展示了一个场景：只要人们戴上一副经过特殊打造的眼镜，人工智能对于人脸的辨认就会失败，比如一个白人女性可以被认为是一个黑人男性。

毫无疑问，这将对公共系统安全造成很大的隐患。

事实上，随着AI和计算机图像合成技术的发展，未来任何人都可以制造以假乱真的新闻、图片或者视频、音频。专家表示，这令信息“武器化”大战一触即发。

今年7月，华盛顿大学的研究人员就曾利用人工智能AI制作了一个关于美国前总统奥巴马演讲的假视频，该视频是基于对奥巴马过去几十个小时演讲的视频分析合成的，图像和声音都能达到以假乱真的水平。

而早在去年，一家名为Face2face的公司的研究人员对美国前总统布什、普京以及美国总统特朗普的视频进行分析，并且能够把他们的脸部表情实时合成到一个人类演员的身上，达到逼真的效果。

更可怕的是，人工智能已经可以做到“基于事实的胡编乱造”，这些内容在脸书(Facebook)和其他社交网站上广泛地流传开，很少有人会质疑它们的真伪。比如在2016年美国大选期间，特朗普就曾抨击Facebook上假新闻比真新闻多，甚至部分改变了选情。上个月底，Facebook宣布开始正式出手打击假新闻：将会禁止散布假新闻的主页在其网站上投放广告。

美国政府也开始加大对研发的资助来打击“假新闻”。9月初，宾夕法尼亚州的两名教授获得了美国国家自然科学基金会(NSF)资助的30万美元资金，以开发侦测“假新闻”的数字化设备。

杭州某连锁餐厅推出刷脸支付。摄影/何天骄

近日，杭州的某著名连锁快餐门店率先推出了“刷脸支付”服务，支付过程无需手机，只需由3D摄像头对准顾客的面部进行扫描就能验证身份、点餐付款。

但在赵燕斌看来，这种人脸支付的方式很容易受到攻击。“对抗这种攻击，不仅仅要大数据分析，还可能要用到计算机视觉。跨学科的融合是未来研究的趋势。” 赵燕斌对第一财经记者表示。