一个会议被骗了2个亿,“AI换脸”骗局是怎么发生的?
2024-03-01 12:41

一个会议被骗了2个亿,“AI换脸”骗局是怎么发生的?

本文来自微信公众号:华商韬略(ID:hstl8888),作者:耿康祁,题图来自:视觉中国

文章摘要
本文介绍了近期发生的两起利用AI换脸技术进行诈骗的案件。通过AI换脸和换声技术,骗子能够伪装成他人进行视频通话,并成功骗取巨额财物。这种AI诈骗越来越普遍,技术门槛和成本也在降低,给人们的财产、信息及现实安全带来了巨大威胁。

• 💰 AI换脸诈骗使用伪造的视频通话,成功骗取2亿港元和430万人民币。

• 🤖 AI技术的迅速发展使得骗子能够轻松地进行诈骗活动,大大增加了诈骗成功的几率。

• ⚠️ AI诈骗案件涉及的金额巨大,成功率高,而且越来越多的人成为受害者,对社会安全造成了严重威胁。

“人工智能之父”杰弗里·欣顿有个末日预言:人工智能可能对人类构成巨大威胁。因为,“很难找到防止坏人用它做坏事的方法”。


不幸的是,这一预言正成为现实。


一、高端局来了


一个跨国公司白领,一杯咖啡的功夫,就让公司损失了2亿港元。


原因是,他被邀请参加了一场公司高管的视频会议,总部首席财务官在会上要求他马上给几个账户共转账2个亿,在其他同事的配合下,他当场就把事情办妥了。


但事实上,这场会议就是个骗局,整场视频会议的出席者,只有他一个“真人”


这是香港警方近期披露的一起多人“AI换脸”诈骗案。被诈骗职员亲眼见到的所有人、亲耳听到的所有声音,全都来自经过“AI换脸、换声”的诈骗人员。



这位员工并非是没有警惕的“二愣子”。


最初收到英国总部CFO的邮件,称公司正在计划一个“秘密交易”,需要他将公司资金转到几个香港本地账户中待用时,他并没有相信,而且认为这是钓鱼诈骗邮件。


但当骗子给他拨了个视频电话,而且还邀请了其他几位“真实亲切”的同事在旁协助时,他彻底放下了戒备。


甚至,事件发生5天之后,他在向英国公司求证时才发现自己被骗了。


同样可怕的“遭遇”,也发生在福州市某科技公司法人代表郭先生身上。


2023年4月20日,一位好友突然打了个微信视频:“老郭,我一个朋友在外地竞标,需要430万保证金。你看看能不能先走你的公司账户,帮忙过个账?”


好友说钱已打过来,还发了银行转账底单截图。


因为是视频聊天,郭先生就没核实钱是否到账,直接给对方账户转了430万。


事后,郭先生给好友打了电话,称“事情办妥了”,对方却惊讶地回应完全没有这回事。


9分钟,430万没了!


坑了郭先生的,也是AI诈骗。


综合公开信息,这种让人防不胜防的骗局,一般分三步:


1. 不法分子用AI机器人骚扰电话,获取用来行骗的目标对象的声音素材,然后进行声音伪造;


2. 盗取目标对象的社交账号,寻找受害人;


3. 用AI换脸技术,和受害人视频通话,博取信任,实施诈骗。


三步下来,以往“发个语音”、“打个视频”的防诈手段,在AI诈骗面前基本失效。


更可怕的是,掌握AI的骗子,越来越多了!


公开信息显示,2021年以来多个省份都出现了AI诈骗及不当牟利案件。中国互联网协会2023年5月24日称,利用“AI换脸”“AI换声”等进行诈骗、诽谤的违法行为屡见不鲜。


当传统认知里,受骗对象还多是经不起诱惑、社会经验少的“冤大头”,以及一些不常上网的老年人。


只要给几张照片和几秒语音,就能复刻出“真人”的AI诈骗,却让每个人都可能难逃一劫。


比如假扮大学同学、亲戚、供货商等AI视频借钱案件,就层出不穷。


如果觉得从不借钱便不会中招,就太天真了。


当骗子伪装成领导,以汇款、资金周转等紧急理由,要求下属立即转账,很少有人能顶住压力。更有甚者,骗子直接伪造子女、父母车祸入院等借口,利用亲人感情实施欺诈。


据湖北网警巡查执法公布消息,AI技术新骗局诈骗成功率竟接近100%,其成功率之高、涉案金额之大、诈骗速度之快令人咋舌。


更令人毛骨悚然的是,信息泄露、隐私不安全的普遍现实,为AI诈骗造就了“天然温床”。


2023年2月15日,一则“几乎无人幸免,疑似45亿条电商或快递信息泄露”的消息,冲上热搜。有网友忍不住吐槽:“要有多强的防范意识,才能想到跟你视频通话的亲友,不是一个大活人啊?要有多强的隐私意识,才能保证自己信息不泄露或被窃取?”


微博大V@全民防诈骗,甚至因此预言:“你目前还没被骗,并不是因为你多聪明,也不是因为你没钱,而是适合你的‘剧本’还在路上。”


二、全球大爆发


2023年4月末,一位叫詹妮弗·德斯特凡诺的美国母亲突然接到电话:“妈妈,救命!”


眼看大女儿布里安娜似乎陷入了大麻烦,詹妮弗吓呆了。


接下来便是对方威胁:


“如果你打电话报警,就永远别想再见到她了!”


挂断后,詹妮弗立马要给赎金。


幸运的是,女儿正好打来电话,骗局不攻自破。但心有余悸的她仍无比惊讶:


“就算隔一栋楼,我也不会认错自己孩子的哭泣声。”


詹妮弗想不到的是,突飞猛进的AI技术,早已比一个母亲更了解自己的孩子。而骗子支付的代价,可能还不到每月5美元。


2017年,名为“Deepfakes”的网友,利用AI技术发布了将色情演员换脸成盖尔·加朵等名人的视频片段,引发轩然大波。


被称为“深度伪造”(Deepfake)的AI换声及换脸技术,自此进入大众视野。


一些从事类似诈骗的不法分子,立马盯上了这一先进技术。


2019年3月,一诈骗犯借助连“微妙的德国口音”也毫无破绽的AI换声技术,冒充一家英国能源公司大老板,忽悠其高管转了22万欧元,这被视为全球首例人工智能诈骗案。


随后,AI技术流行的欧美,迅速成为AI诈骗的温床。


美国联邦调查局年度报告显示,2022年美国AI诈骗同比上涨了50%到75%,美国网络诈骗损失达103亿美元,创五年来新高,面向老年人的AI语音骗局则是重灾区。


世界经济论坛研究与分析主管布鲁内曼的调查则显示,“在过去一年里,26%的小公司和38%的大公司都经历过深度伪造欺诈”。她甚至预测:


到2026年,超90%的网络攻击内容都将是AI合成。


AI诈骗的效果越来越逼真,但技术门槛和成本,却一直在降低。


美国加州大学伯克利分校教授法里德表示,AI换声到现在已经只需要十几秒录音就能实现,换脸则一张照片就可以。相应的AI使用费,也只需每月5美元到数百美元不等。


这基本上意味着,普通人都能“轻松”进行不法活动。


而且,AI还可以通过信息收集及大数据分析,智能筛选出“易骗人群”。比如进行金融诈骗,就可以搜集热衷关注投资信息的人群,成为潜在目标。


甚至,AI还能分析目标对象的社交网络,进而掌握其个性化表达方式、人际关系、兴趣爱好等生活习惯,实现“诈骗剧本”定制化。


法里德因此惊呼:


“这很可怕,就像一场完美的风暴,具备了酿成大祸的所有条件。”


但尽管风险显而易见,AI语音及视频合成技术却仍在狂奔。


今年春节期间,OpenAI文生视频模型Sora横空出世,让AI视频制作更加简单、真实。一夜之间,“现实不存在了”的惊叹,刷遍朋友圈。


当AI签名、AI视频、AI换声换脸等,本应创造美好和便利的高端技术变成坏人手中的“魔杖”,无数人和机构的财产、信息及现实安全,也越来越形同“裸奔”。


三、没有真相的时代


“现在已经到了大规模、集中化讨论AI风险的关键时刻”,清华大学教授沈阳曾如此呼吁。


其实,对AI诈骗的警惕与治理方案,早已在路上。


美国安全中心发布的《人工智能与国家安全》,明确将人工智能伪造技术列为威胁国家安全的重点技术。中国也开始通过政策管理和技术限制等途径,来应对其潜在安全风险。


但AI诈骗,似乎是打不死的“小强”——打击不断升级,案件也屡创历史新高。


根本原因,还是法律法规制定、推广的建设速度,赶不上AI技术的迭代和传播速度。产业、大众对AI危害的反应,也很容易慢半拍。


如今,AI骗局也早已超出“诈骗”范畴,蔓延到社会的各个角落。


今年1月底,明星泰勒·斯威夫特大量AI“不雅照片”在社交平台上传播,此事甚至震动美国白宫,并掀起一波关于人工智能的担忧。


包括白宫,也难以幸免。


上周,很多人都接到了美国总统拜登的AI电话呼叫,要求把选票留给自己而非特朗普。


这当然也是假的,但不少人还是信了。有人因此认为,AI骗局可能会影响美国大选。


在中国,假新闻、假图片案件也甚嚣尘上。


2023年5月,科大讯飞就受一篇名为《科大讯飞出现重大风险的警示文》的文章影响,股价迅速跳水。公司最后紧急回应,股价下跌系某生成式AI写作虚假“小作文”导致。


AI越来越方便着人们的生活,但也方便着不法分子们。


2023年4月13日索尼世界摄影奖颁奖礼,大奖得主却冲上舞台夺过话筒,悲愤地说这是AI伪作。他反问,“如果索尼世界摄影奖的评委都分不清真假照片,其他人还能怎么办?”


当AI骗局从专业级走向“平民化”,我们能做的,除了寄望于监管,或许就是:


对家人的电话,视频等等一切,都要首先报以深深地怀疑。以及把那句,不给任何陌生人汇款变成:


不给任何人汇款。


参考资料:

[1]《AI换脸风暴:骗局、产业与技术防守》36氪

[2]《“AI换脸”诈骗,怎么防?》人民日报

[3]《警惕!美国发生多起AI语音诈骗案件,联邦机构将加强监管》第一财经


本文来自微信公众号:华商韬略(ID:hstl8888),作者:耿康祁

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定