深度合成还是深度伪造？“元宇宙”治理“攻防博弈”序幕拉开

作为人工智能领域的新实践，近年来，利用深度学习、虚拟现实等生成合成类算法制作图像、音频、视频、虚拟场景等信息的深度合成技术，已在多个领域大量应用。伴随着不断涌现的场景需求，深度合成内容数量和关注度激增，但另一方面，恶意使用该技术生成的音视频，也存在巨大的安全隐患。

合成视频数量增长超10倍

随着“深度合成”技术逐渐成熟并进入商业化应用阶段，其巨大的经济价值已经逐渐展现。根据一项由清华大学人工智能研究院、北京瑞莱智慧科技、国家工业信息安全发展研究中心等单位周一联合发布的《深度合成十大趋势报告（2022）》（以下简称“《报告》”），在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数量较2017年增长超过10倍，点赞数已超过3亿。

《报告》称，深度合成在影视制作、广告营销、社交娱乐等领域发展出多元化的商业应用，例如AI合成主播、虚拟偶像、修复历史老照片、影视剧本地化配音、“数字复活”等；而“元宇宙”等新商业思维的提出，为深度合成提供了更广阔的应用场景。

“比如虚拟人、数字人即是深度合成的主要应用，也是元宇宙的重要组成部分。”阿里巴巴安全感知与认知智能部负责人薛辉表示。清华大学新闻与传播学院常务副院长陈昌凤也表示：“深度合成将重新定义虚拟数字化空间，从传播社会学意义上看，一个新的人类生存场景将以深度合成技术为基石展开。”

在以元宇宙为代表的沉浸式共享虚拟世界中，借助在AR、VR和3D技术，虚拟和现实之间的界限正在逐渐模糊，真假难辨。

瑞莱智慧CEO田天告诉第一财经记者，技术不断成熟是深度合成内容迎来爆发式增长的重要原因。“研究论文的持续增加、开源技术工具和大量代表性方法的涌现，令深度合成内容的效果更加逼真、制作也更加高效，尤其是生成对抗网络等算法的出现，让合成内容达到了真假难辨的程度。”他表示。

图形计算领域的顶尖技术公司英伟达去年就凭借高超的深度合成技术，合成了一个黄仁勋的数字孪生版本，差点骗过了全世界的眼睛。“数字黄仁勋”身穿的皮夹克，他所在的厨房，都是计算机科学家们通过3D仿真技术模拟出来的，展现了数字技术强大的创造力和可能性。

“好玩”背后藏风险

不过在深度合成激发创新内容的同时，也带来了新的威胁。《报告》指出：“随着技术逐步平民化，不法分子可轻易伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为，扰乱社会秩序。”

2021年10月，安徽合肥警方曾查获一起非法利用深度合成技术伪造手机用户人脸动态视频破解身份核验，为黑灰产业提供注册虚拟手机卡等技术支撑的案件。近年来，类似事件开始更多的进入公众视野。

浙江大学网络空间安全学院院长任奎表示：“目前对深度合成的检测主要依赖于人工智能模型以及训练数据的完备性，包括检测器泛用性相对较低、公开数据集适用性、数据敏感等挑战仍然存在。”

自从2017年Deepfake（深度伪造）出现后，AI技术在造假方面的能力引起世人警觉。算法的突飞猛进不仅仅可以做到AI换脸，甚至能自动生成文本、人工语音、图像等各种数字内容。此前，国家互联网信息办公室、公安部指导各地网信部门、公安机关加强对语音社交软件和涉“深度伪造”技术的互联网新技术新应用安全评估工作，并依法约谈相关企业。

目前学术界和产业界已对反“深度伪造”检测投入了大量研究，Meta、谷歌、微软等科技巨头均推出了深度合成视频认证的方法或产品。在国内，清华大学、中科大、瑞莱智慧科技、百度、科大讯飞等高校和企业在深度伪造内容检测方面取得显著成果。

清华大学人工智能研究院基础理论研究中心主任朱军认为，深度合成检测面临持续的攻防和博弈，未来还需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力，实现精准识别。

田天也对第一财经记者表示：“新型伪造方法层出不穷、网络传播环境的日趋复杂，加上基于检测算法存在漏洞缺陷等，反深伪检测技术面临强对抗性，需要持续更新与迭代。”

探索深度合成治理路径

除了发展深度伪造内容检测技术以外，近几年来，针对深度合成技术恶意使用所带来的挑战，世界各国纷纷出台相关法律法规，探索深度合成的治理路径。国际方面，美国从联邦和州层面进行专门立法，欧盟将深度合成纳入《通用数据保护条例（GDPR）》等现有法律框架规制。

2022年1月28日，国家网信办最新公布了《互联网信息服务深度合成管理规定（征求意见稿）》（简称《深度合成征求意见稿》），对作为元宇宙基石的深度合成技术做出了一系列较为明确的规定和指引。

按照定义，AI语音，NFT生成艺术、虚拟演唱会、全息人像投影、虚拟人数字人、AR购物等元宇宙的重要组成部分都属于深度合成技术的具体应用，均在《深度合成征求意见稿》的规制范围内，这项规则将对深度合成乃至人工智能行业的监管产生深远影响，尤其是针对“深度伪造”技术的防范。

中国工程院院士邬贺铨认为，深度合成的治理主要有两个原则，一是要持续发展技术，不能“一刀切”地禁止，避免阻碍正向应用与创新；二是针对衍生出的安全问题要从源头上解决，利用技术创新、技术对抗等方式，持续提升和迭代检测技术的能力。

中国信通院云大所人工智能部副主任石霖认为，有必要对“深度伪造”和深度合成进行明确区分，不能用“深度伪造”这一“污名化”词汇来概括“深度合成”技术。“深度合成技术本身没有善恶之分，当滥用该技术，跨越道德和法律的边界时，才会出现深度伪造行为。”石霖表示。

小米集团副总裁、小米安全与隐私委员会主席崔宝秋对第一财经记者表示：“技术监管是一场永恒的攻防对抗博弈。深度合成技术的服务方在提供服务的同时，会产生多方面的风险，除了深度伪造的风险外，还包括自动生成内容文本、图像或者视频带来的版权和著作权的侵权风险，信息安全和隐私泄漏风险以及敏感内容的风险。”

崔宝秋建议，未来出台的相关法规中，应该强制要求服务提供方对于哪些内容是深度合成的进行标注，对于技术提供方而言，则应从底层技术开始推进相关标准的建立，在算法上保证计算模型的公平性。