诈骗分子通过深度合成技术(即利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术),将人的面部表情和声音与另一个人的图像和声音结合起来,从而创造出虚假的视频或音频,冒充被诈骗者的亲人、朋友等关系亲密的人员,实施诈骗活动
《法治周末》记者 孟伟
领导发来视频要求转账被骗,接到家人带有乡音的借钱电话转账被骗……随着人工智能技术的不断发展,AI换脸已经不再是科幻电影的情节,反而成为网络诈骗的新工具。诈骗分子利用AI深度伪造技术制作虚假身份,从而欺骗受害者进行金钱交易或者泄露个人敏感信息。
不久前,国家金融监督管理总局金融消费者权益保护局发布《关于防范新型电信网络诈骗的风险提示》(以下简称《提示》),提醒广大群众警惕花样翻新的骗局,直指“AI换脸拟声”类诈骗。
深度合成能以假乱真
随着“互联网+”时代的到来,网络技术不断进步的AI正迅速进入大众生活,需要注意的是,诈骗分子也盯上AI技术,对面和你视频通话的可能不是本人。
微信小号被盗几天后,在异地工作的陈宇(化名)收到头像为自己母亲的微信好友申请,通过好友验证后,“母亲”向她发起了视频通话,称父亲生病需要8000元。
“当时也有点疑惑,就拨打了我父母的电话,但都无人接听。后来‘母亲’的微信号再次发来视频通话,在视频中能看到我妈妈,也看到爸爸确实是躺在医院病床上。”经过两次视频确认,陈宇将8000元打给了“母亲”。
再次联系到家人时陈宇才知道自己被骗,她难以相信现在诈骗手段已经如此逼真,“视频上确实是我父母的脸,声音也和我母亲的一样,讲的还是我们家乡话”。
无独有偶,网友王琳(化名)的父亲曾接到王琳被绑架的电话。王琳父亲对网络发展有一定的认知,第一时间通过微信确认她是否安全。
“骗子的电话号码和我的一模一样。他那边听到的是我的哭声和含糊不清的说话声,声音与我很相似,还有骗子大嗓门的威胁声。对方还能精确地讲出我家里很多信息。”王琳还记得父亲在与自己通话时声音都是颤抖的。
经过复盘,王琳回忆起,自己曾经接到过没有声音的陌生来电,“接起来对面没有声音,我喂了几声就挂掉了,不知道是不是这样声音就被录了下来”。
“只需提供约15秒的声音样本,AI技术就可以生成十分逼真的声音模仿。”北京市康达律师事务所高级合伙人苟博程告诉《法治周末》记者,目前的AI技术已经相当成熟,克隆一个人的声音变得十分容易。
不法分子是如何利用AI模仿进行诈骗的?
中国政法大学数据法治研究院教授张凌寒在接受记者采访时表示,诈骗分子通过深度合成技术(即利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术),将人的面部表情和声音与另一个人的图像和声音结合起来,从而创造出虚假的视频或音频,冒充被诈骗者的亲人、朋友等关系亲密的人员,实施诈骗活动。
她直言:“深度合成技术内容制作技术门槛越来越低,普通人仅需要少量的图像、音频、视频、文本等样本数据,利用简便易用的深度合成工具,就能够模糊真实信息和虚假信息的边界。”
张凌寒还强调,近年来在网络传播的深度合成视频内容,人物动作的逼真度、自然度,以及视频整体的清晰度、流畅度都可以达到以假乱真的水平,用户已经难以鉴别。
AI诈骗逐渐高发
实际上,国家金融监督管理总局北京监管局2023年也曾发布谨防“AI换脸”等新型欺诈手段的风险提示,利用“AI换脸拟声”诈骗的形式已经存在一段时间。
2023年8月10日,公安部召开新闻发布会,针对“AI换脸”导致群众被欺诈的问题,公安机关依托“净网”专项行动,组织专项会战,严打泄露身份证照片等图像信息的犯罪源头,侦破相关案件79起,抓获犯罪嫌疑人515名。
今年年初,香港警方披露了一起多人“AI换脸”诈骗案,涉案金额高达两亿港元。
在这起案件中,一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”,并按照要求先后转账多次,将两亿港元分别转账15次,转到5个本地银行账户内。其后,向总部查询才知道受骗。警方调查得知,这起案件中所谓的视频会议中只有受害人一个人是“真人”,其他“参会人员”都是经过“AI换脸”后的诈骗人员。
据了解,诈骗者通过盗取该公司的YouTube视频和其他公开渠道媒体资料,巧妙地复制了公司高层管理人员的外貌和声音。然后,他们运用深度伪造技术,制作出诈骗视频,让受害者误以为其正在多人视频会议中,与其他真实人员交流。
之前,内蒙古包头警方曾发布一起利用AI实施电信诈骗的典型案例,福建福州某科技公司法定代表人郭某10分钟内被骗430万元。
案发时,郭某的好友通过微信视频联系他,称自己的朋友在外地竞标,需要430万元保证金,想借用郭某公司的账户走账。基于对好友的信任,加上已经视频聊天“核实”了身份,郭某在10分钟内,先后分两笔把430万元转到了对方的银行账户上。事后,郭某拨打好友电话才得知被骗。
北京盈科(上海)律师事务所数智化建设委员会副主任李悦在接受记者采访时表示:“不法分子首先需要收集目标人物的素材。这些素材通常包括照片、视频、音频等公开或私密的资料。不法分子可以通过社交媒体、公开演讲、采访视频等多种渠道获取这些素材。现在很多人都会有自媒体账号,这实际上可以给不法分子提供大量的数据样本。”
张凌寒也表示:“互联网时代信息来源繁杂,面部、声音等个人特征在网络媒体分享中公之于众,给不法分子留下了可乘之机。”
“AI换脸拟声”这类新型诈骗形式不仅给受害者带来了沉重的打击,也给法律监管和打击犯罪带来了诸多挑战。
李悦告诉记者,利用“AI换脸拟声”诈骗更加难以追查,“过去传统的电信诈骗模式进行诈骗的不法分子虚构的只是事实和身份,但进行诈骗的主体还是本人,声音样貌等都有迹可循。而新型的诈骗模式采用的是AI合成的声音,共享屏幕诈骗依托于第三方平台,对公安部门的追查、被骗财产的追回以及走法律途径中证据的收集和认定也带来了更大的挑战”。
苟博程表示:“在证据收集方面也存在困难。首先,AI伪造技术越发成熟,检测和识别伪造内容变得更加困难;其次,跨领域合作困难:证据收集和认定需要多方合作,包括网络服务提供商、技术专家、审判机关,这种多方协同在实践中面临协调和沟通的难题。”
配套措施有待细化
实际上,我国高度重视数据风险的分析与预防。
在人工智能技术兴起之后,我国先后出台了生成式人工智能服务管理暂行办法、数据安全法、网络安全法、个人信息保护法、互联网信息服务深度合成管理规定等法律规范,从多方面对人工智能应用数据加以规制。
其中对深度伪造技术的应用监管和风险防范有针对性规定的有《网络音视频信息服务管理规定》《网络信息内容生态治理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》。
《互联网信息服务算法推荐管理规定》要求对算法生成合成的信息作显著标识,并要求提供互联网新闻信息服务的算法推荐服务提供者和使用者,不得生成合成虚假新闻信息。《互联网信息服务深度合成管理规定》则更加细致地规定了包括智能对话、智能写作、人脸生成、人脸操控、姿态操控等具有生成或显著改变信息内容功能的深度合成服务应当遵守的要求,包括以显著标识的形式向公众提示。
此外,最高人民法院、最高人民检察院、公安部发布的《关于依法惩治网络暴力违法犯罪的指导意见》,对“利用‘深度合成’等生成式人工智能技术发布违法信息”的网络暴力违法犯罪行为作出了“从重处罚”的规定。
企业作为AI深度合成技术的提供者,在《互联网信息服务深度合成管理规定》中,对企业责任作出明确规定。
“对于深度合成技术支持者在开发、测试、训练相关技术时,就要求其考虑到可能的风险与危害,履行相应的安全评估责任、数据安全管理义务等。对于信息发布传输者,要求平台在发布、传播的时候必须对深度合成内容进行标注。”张凌寒说。
苟博程补充道:“相关技术的开发企业,应严格监管其使用范围,并负有一定的监管和告知义务,如果相关开发企业未尽到监管和告知义务,可能成为侵权的主体。如相关企业进行技术开发的目的是进行犯罪,则企业和实施诈骗的人员可能构成共同犯罪。”
此外,利用AI深度伪造技术还可能涉及侵犯他人肖像权和名誉权侵权。
“AI深度伪造诈骗属于冒用他人身份、伪造音视频,进行欺诈的行为。涉嫌侵犯他人肖像权、隐私权、名誉权、著作权。情节严重的,可能构成刑法上的制作、复制、出版、贩卖、传播淫秽物品牟利罪、诈骗罪和帮助信息网络犯罪活动罪等犯罪。”苟博程说。
张凌寒表示:“民法典第一千零一十九条中规定:任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意,不得制作、使用、公开肖像权人的肖像,但是法律另有规定的除外。而根据民法典侵权责任编的规定,在被侵权人对损害后果难以准确证明的情况下,损害赔偿数额难以确定,精神损害赔偿不易实现,被侵权人难以得到充分救济。”
对此,她强调:“为进一步防止不法分子利用AI深度伪造等技术实施犯罪活动,仍需细化配套措施,让法律条款的落实更加简便易行。”
此外,李悦提出:“可以通过多种渠道宣传教育,增强公众的防范意识和辨别能力。还可以进一步规定数据泄露的法律责任,针对数据泄露和非法使用个人信息的行为,制定严厉的法律责任和处罚措施,并要求企业和机构加强对用户数据的保护。”
头条阅读