作为人工智能领域的新实践，近年来，利用深度学习、虚拟现实等生成合成类算法制作图像、音频、视频、虚拟场景等信息的深度合成技术，已在多个领域大量应用，伴随着不断涌现的使用需求，深度合成内容数量和关注度呈现快速增长态势。但另一方面，恶意使用该技术生成的音视频，也显现出了巨大的破坏力，给个人、企业造成了声誉损害和财产损失，也对社会、国家安全造成威胁。

近日，清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、国家工业信息安全发展研究中心、北京市大数据中心联合发布《深度合成十大趋势报告（2022）》（以下简称“《报告》”），从技术研究、领域应用、发展趋势等多个方面，全面深入地介绍和研判深度合成技术及应用带来的机遇与挑战，并就其发展与治理给出切实可行的建议和措施。

“在人类的数千年文明史中，科学技术的革新已经多次带来跨时代的社会变革。从远古时代的火到现代社会的电，每一次技术变革在造福人类的同时，也不可避免地带来了安全风险，”中国科学院院士、清华大学人工智能研究院创始院长张钹在《深度合成十大趋势报告（2022）》的开篇写道，“与其他技术不同，由于人工智能的安全性问题主要来源于算 法本身的不安全，它更容易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”

多个领域落地应用，深度合成内容迎爆发式增长

深度合成的图像、视频、音频、文本等内容，例如热门影视剧片段、话题明星的换脸视频等等，具有极强的娱乐性与传播性，伴随着技术的发展成熟，越来越多的创作者在互联网上发布和分享深度合成内容，数量逐年高速增长。

数据说明:在10家国内外平台中(爱奇艺、腾讯视频、优酷、哔哩哔哩、抖音、快手、微博、YouTube、Twitter、 TikTok)，以“Deepfakes”等10个中英文关键词进行检索，并通过URL去重后，统计出数据结果

以视频为例，《报告》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数量较2017年已增长10倍以上。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。

“技术不断成熟是深度合成内容迎来爆发式增长的重要原因。研究论文的持续增加、开源技术工具和大量代表性方法的涌现，令深度合成内容的效果更加逼真、制作也更加高效，尤其是生成对抗网络等算法的出现，让合成内容达到了 ‘真假难辨’的程度。”瑞莱智慧CEO田天表示。

数据说明:在10家国内外平台中(爱奇艺、腾讯视频、优酷、哔哩哔哩、抖音、快手、微博、YouTube、Twitter、 TikTok)，以“Deepfakes”等10个中英文关键词进行检索，并通过URL去重后，将具有视频分类标签的数据进行统计得到的分析结果

正因为如此，深度合成在影视制作、广告营销、社交娱乐等领域发展出多元化的商业应用，例如AI合成主播、虚拟偶像、修复历史老照片、影视剧本地化配音、“数字复活”已过世演员等。一些面向公众开发的合成类产品也陆续推出，《报告》显示，视频、语音和文本形式的服务最为普遍，例如支持风格定制的特效视频制作软件等风靡网络；语音方向衍生出了语音导航、有声读物、自动新闻播报等应用；文本合成则在新闻报道、诗文创作、聊天问答等方面发挥着重要作用。

“元宇宙”等新商业思维的提出，也为深度合成提供了更广阔的应用场景。“比如虚拟人、数字人即是深度合成的主要应用，也是‘元宇宙’的重要组成部分，”阿里巴巴安全感知与认知智能部负责人薛辉表示。清华大学新闻与传播学院常务副院长陈昌凤认为，深度合成将重新定义虚拟数字化空间，从传播社会学意义上看，一个新的人类生存场景将以深度合成技术为基石展开。

风险加剧，技术检测成重要应对举措

深度合成激发了新内容创造力的同时，也带来了新的威胁。随着技术逐步“平民化”，不法分子可轻易伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为，甚至捏造国家政要言论扰乱社会与政治秩序。

2021年10月，安徽合肥警方曾查获一起非法利用深度合成技术伪造手机用户人脸动态视频破解身份核验，为黑灰产业提供注册虚拟手机卡等技术支撑的案件。近年来，类似事件开始更多的进入公众视野。

深度合成内容模糊了真实和虚假的边界，将对社会信任、媒体信任、政治信任产生巨大的影响。陈昌凤表示，虚假内容的高难度甄别影响了事实核查的有效性，在社会重大事件或政治事件节点上，深度合成技术可能被用于操作舆论意见，借助社交媒体，使虚假信息短时间内引发产生病毒式扩散，激化社会矛盾。

负面风险不断加剧，如何有效甄别深度合成内容就成为了关键，但随着合成质量的不断提升，传统基于生物特征的鉴别方式越来越难以发挥作用。

数据说明:在arXiv中，论文摘要范围内以“GAN”等16个关键词进行检索，统计图像、视频、音频、文本合成领域的论文发表数量

“目前对深度合成的检测主要依赖于人工智能模型，依赖于训练数据的完备性，包括检测器泛用性相低、公开数据集适用性、数据敏感等，这些都将带来诸多挑战。”浙江大学网络空间安全学院院长任奎表示。

中国工程院院士邬贺铨认为，深度合成的治理有两项要点，第一，要持续发展技术，不能“一刀切”地禁止，避免阻碍正向应用与创新。第二，衍生出的安全问题要从源头上解决，利用技术创新、技术对抗等方式，持续提升和迭代检测技术的能力。田天也表示，新型伪造方法层出不穷、网络传播环境的日趋复杂，加上基于检测算法存在漏洞缺陷等，反深伪检测技术面临“强对抗性”，需要持续更新与迭代。

《报告》显示，目前学术界和产业界均已对反深伪检测投入了大量研究，Meta（原Facebook）、谷歌、微软等机构均推出了深度合成视频认证的方法或产品。

在国内，清华大学、中科大等高校在深度伪造内容检测方面取得显著成果，清华大学孵化团队瑞莱智慧推出的深度伪造内容检测平台DeepReal拥有工业级的检测性能和应对实网环境对抗变化的检测能力。

清华大学人工智能研究院基础理论研究中心主任朱军认为，深度合成检测面临持续的攻防和博弈，未来还需融合多模态内容的取证分析、基于数字水印的溯源技术等多方面能力，实现精准识别。

构建多维度治理机制，引导深度合成技术良性发展

深度合成技术的良性发展，离不开多维度治理机制的探索。

《报告》显示，除了发展深度伪造内容检测技术以外，近几年来，针对深度合成技术恶意使用所带来的挑战，世界各国纷纷出台相关法律法规，探索深度合成的治理路径。国际方面，美国从联邦和州层面进行专门立法，欧盟将深度合成纳入《通用数据保护条例（GDPR）》等现有法律框架规制。此外，德国、新加坡、英国、韩国等国家，均有适用于深度合成技术相关犯罪案件审理的法律法规。

我国也在积极探寻有效的治理机制。2019年11月起先后出台的《网络音视频信息服务管理规定》、《网络信息内容生态治理规定》、《中华人民共和国民法典》、《互联网信息服务算法推荐管理规定》，均对生成合成类内容等提出了不同程度的监管要求。今年1月，国家网信办公布了《互联网信息服务深度合成管理规定（征求意见稿）》，对深度合成内容的用途、标记、使用范围以及滥用处罚作出了具体规定。

对于深度合成内容治理路径的探索，陈昌凤表示可以从技术、伦理与法制等几个方面努力，“技术方面，通过政府与社会组织参与、协同治理，伦理方面，确立和倡导相关的深度合成原则”。中国社科院哲学所科技哲学研究室主任段伟文建议，对深度合成技术引发的社会、法律和伦理问题，应展开有系统性、前瞻性的跨学科研究，对其可能出现的高风险应用场景，进行有针对性的治理与监管。

中科院自动化所研究员、联合国教科文组织AI伦理特设专家组专家曾毅则倡导产研发展自律自治，他表示，在法律法规不完全成熟及体系化之前，产业界自身应强化“理论先行”意识，作为产业共同体共同防范滥用、严禁恶用。

“社会层面应加大宣传普及力度，强化公民对深度合成等人工智能技术的认识，提高全社会的防范意识，推动公民作为负责任的深度合成技术的使用者，主动标识合成内容并积极践行社会监督，”对外经济贸易大学法学院副教授许可表示。

对此，田天也表示，深度伪造的本质问题是透明度不足，因此提高公众对深度合成技术的认知尤为重要，只有将门槛降低到所有受众能够在共同的框架下去认识、讨论、理解这个问题的时候，深度合成技术才能健康良性发展。

《报告》也建议，各方应当与时俱进落实好新的规范要求，并在此前提下不断追求技术突破，不断开拓深度合成技术应用场景，创立示范标杆，形成对人工智能行业整体的带动效应，从而促进新技术的持续健康发展。