2020年12月,中共中央印发了《法治社会建设实施纲要(2020-2025年)》,提出将制定完善对网络直播、自媒体、知识社区问答等新媒体业态和算法推荐、深度伪造等新技术应用的规范管理办法。加强对大数据、云计算和人工智能等技术应用的规范引导,制定个人信息保护法。

新技术在推动社会经济发展的同时,也为网络空间治理带来新的挑战。规范新技术管理、完善网络法律制度成为建设法治社会的要义之一。对于新技术应用带来的安全风险问题,艾利艾智库将形成专题调研与分析。

 image.png

图片来源:中国政府网


深度伪造技术源自英文词汇deepfake,是计算机“深度学习”(deep learning)和“伪造”(fake)的组合,指通过深度学习伪造数字内容的人工智能技术,实质上是一种声音、图像与视频的智能处理技术,能够模仿特定人物或者让特定人物看起来在做特定的事件。其效果可以达到以假乱真的程度,被称为“音视频领域的PS技术”。

据英国《镜报》报道,英国电视台“第四频道”(Channel4)曾播出过一段通过深度伪造技术合成的搞笑版女王的圣诞讲话,电视台方面表示,制作这个短片的目的是警示观众注意辨别深度伪造信息。随着深度伪造技术应用范围的不断扩大,伪造信息充斥网络,潜藏的风险不容小觑。艾利艾智库分析盘点了深度伪造技术在色情、欺诈、合成语音等五大典型场景的应用及其风险。

应用场景一:专门用于色情领域。一是出现了DeepNude等能用AI技术“去除”衣服,制作大量“裸体”女性照片供用户换脸的色情软件。二是形成制作销售色情换脸内容的黑色产业。根据媒体曝光,在淘宝、闲鱼、贴吧等平台上,100元打包即可打包购买200部换脸情色片,囊括国内一二线女明星;只需买家提供5张照片就可以定制任意色情换脸视频;300-400元就能够购买换脸软件及教程。

风险:侵犯被伪造公民个人肖像权、名誉权、隐私权等个人权利。如利用AI换脸技术制作虚假色情视频污蔑、羞辱或报复他人;制作、散播关于商业竞争对手的深度伪造信息,损害其商誉;借用合成的虚假内容对他人施加精神压力等。

2020年,北京互联网法院发布的调研报告显示,P图、AI换脸等技术手段伪造他人肖像的新型侵权方式不断出现;根据英国Wired杂志报道,2020年7月份以来,至少有10万名女性被深度伪造应用DeepNude创建了裸照,其中一些人不到18岁。这说明普通人受到深度伪造技术侵害的风险正在加大。

应用场景二:专门用于伪造视频。目前已经出现了专门的视频伪造软件如Fakeapp、Openfaceswap、DeepFaceLab、MarioNETte等,使得深度伪造门槛更低、更易操作。普通人只需要一两个目标人物高清视频,就可快速制作一部自动换脸视频。

风险:一是存在利用“深度伪造”技术进行极端煽动,危害社会公共安全风险。当深度伪造信息涉及到贫富差距、劳资纠纷、民族关系等敏感议题时,或会进一步激化社会矛盾,加剧社会分化。如2018年,有人利用“深度伪造”技术在“WhatsApp”应用上传播假信息,导致印度有20多人被误以为涉嫌绑架小孩等罪案而被暴力打死。二是存在伪造国家领导人视频引发国内社会动荡风险。目前国外社交媒体已流传大量关于特朗普、普京等他国领导人的深度伪造视频,并且已经出现了利用深度伪造视频影响现实世界政治的案例。如2018年5月假特朗普批评比利时环保政策的视频,引起比利时民众激烈回应;非洲国家加蓬的反政府组织伪造视频甚至引起该国政治动荡。 

应用场景三:被用于音频合成目前,许多硅谷巨头和人工智能初创企业都在利用深度伪造技术开发语音合成软件,用以模仿人的声音。如2018年,三名蒙特利尔大学的博士联合创办了一家名为“琴鸟”(Lyrebird)的公司。该公司开发出一种“语音合成”技术,只要对目标人物的声音进行1分钟以上的录音,经过技术处理后可以用目标人物的声音,生成任何想说的话。

风险:被用于诈骗或敲诈勒索犯罪。国外反欺诈语音软件公司Pindrop2018年对美英德法四国共500家企业展开网上调查,结果显示,每638个欺诈电话中就有1个是人工合成声音。此外,由于许多语音录音都是低质量的电话通话或嘈杂场所的录音,将增加音频诈骗甄别难度,深度伪造技术用于进行诈骗或敲诈勒索的风险急剧升高。且目前已有相关公开案例,如2019年,有网络犯罪分子利用一款基于AI的软件模仿一家德国母公司首席执行官的声音,欺骗了该公司旗下一家英国能源公司的经理向诈骗者控制的银行账户转款24.3万美元。


image.png

图片来源:Lyrebird 官网截图


应用场景四:用于伪造虚假网络身份,通过给伪造图片附加身份信息,将其伪装成媒体或者社交平台上的用户。深度造假检测平台Sensity的首席执行官乔治·帕特里尼表示,他们曾发现一家软件公司使用深度伪造技术生成的假面孔,伪造身份,假扮用户;还发现一家营销公司使用深度伪造技术生成假的“团队”照片。

风险:被其他国家情报人员用来进行国家渗透工作。“深度伪造”技术或被用来创建虚假个人资料照片,成为间谍隐藏伪造身份的新手段。美联社曾报道,一名间谍使用AI生成图片,伪造自己是美国国际战略研究中心研究员,在领英上欺骗政治专家和政府内部人士。

image.png

图片来源:FINANCIAL TIMES《After deepfakes, a new frontier of AI trickery: fake faces》


应用场景五:AI换脸功能的影音娱乐产品。如大家熟知抖音APP的“换脸”特效,也出现了专门的换脸APP,如“去演”;已被下架的人工智能换脸App“ZAO”等。

风险:利用深度伪造技术给影视剧角色换脸存在盗版侵权风险。按照我国知识产权的相关规定,视频作品的作者享有作品的完整权,不受任意修改的权利。对影视剧中演员进行、恶搞等篡改原影视剧作品的行为,涉嫌侵犯著作权人享有的保护作品完整权的权利。此外,如果未经许可擅自将换脸后的影视片段提供给公众,还存在侵害著作权人信息网络传播权的风险。

 

从深度伪造技术已曝光的案例来看,新技术被非法利用,不仅存在科技伦理问题,还可能滋生灰黑产,危害社会公共安全。艾利艾智库研判认为,当前,人工智能等技术的科技伦理研究和政策制定,是各国战略重点之一。新技术应用不当可能引发平台的合规风险与舆论风险,在运用新技术升级产品、拓展业务时,互联网公司需要系统性考虑科技安全与伦理问题;我国相关立法也应紧密跟踪科技发展前沿与国外监管趋势,尽快对深度伪造等人工智能应用制定规则。