诈骗分子比你先用上了ChatGPT?
2023-09-11 21:11

诈骗分子比你先用上了ChatGPT?

本文来自:科技新知,作者:樟稻,编辑:伊页,原文标题:《一封钓鱼电邮背后的AI攻防战》,题图来自:视觉中国

文章摘要
生成式AI技术正在被黑客用于制作钓鱼邮件,使其更具说服力和攻击性。这些“邪恶GPT”版本如WormGPT和FraudGPT能够生成极具欺骗性的钓鱼邮件,给跨境电商从业者带来巨大的财务欺诈和数据窃取风险。传统的识别钓鱼邮件的方法已经不再有效,因为生成式AI能够排除传统的识别特征。为了对抗这种威胁,一些网络安全公司正在利用AI来提高电子邮件的安全能力和流程。

• 生成式AI技术被黑客用于制作钓鱼邮件,使其更具说服力和攻击性

• 邪恶GPT版本如WormGPT和FraudGPT能够生成极具欺骗性的钓鱼邮件

• 传统的识别钓鱼邮件的方法已经不再有效,网络安全公司正在利用AI来提高电子邮件的安全能力和流程

生成式AI正在把跨境电商领域变成互联网里的“新缅北”。
 
最近有不少卖家称收到伪装成亚马逊官方的“钓鱼邮件”,通过提供的恶意链接,提取卖家的重要账户信息。有人因此上当在短短一夜之间损失高达40万。
 
苏丹就是受害者中的幸运儿。他9月初收到的邮件中,发件地址与亚马逊官方地址高度相似,内容更是精巧地仿制了亚马逊的通知风格,敦促卖家更新紧急联系人信息。
 
按照邮件中的指引操作,会被引导到了一个似乎是“亚马逊”的网站,并被要求输入自己的邮箱、密码以及二次验证码。一旦上当,很快就会收到真正的亚马逊官方发出的“店铺异地登录”通知。
 

ChatGPT杀手GPTZero的检测结果


苏丹意识到不对劲后及时止损,他还利用技术工具对邮件内容进行分析,显示有高达90%的可能性是由AI生成。新技术再次站在了走向善恶的十字路口。


生成式AI正在“作恶”


经常在国内外互联网上冲浪,苏丹对ChatGPT并不陌生,还多次进行体验,也早就听闻ChatGPT可以通过某种方式绕过安全机制,从而生成违法和不道德的内容。
 
他尚未意识到的是,ChatGPT的“越狱”技术已经迭代数次,现在市面上甚至有了更为先进的“邪恶GPT”版本,而这次遭遇的钓鱼邮件,就可能出自该版本的手笔。
 
眼下比较有名的“邪恶GPT”版本是WormGPT和FraudGPT,两者都能快速实现钓鱼邮件骗局。
 
2021年3月,WormGPT问世,其开发者今年6月开始在黑客论坛上出售使用权。与ChatGPT不同,WormGPT并没有设置阻止回答与非法活动相关问题的限制,构建的基础是稍显过时的2021年的开源GPT-J模型,并专门在与恶意软件开发相关的数据中进行训练。
 
为了评估潜在风险,安全分析公司Slashnext的研究团队对BEC(商务邮件诈骗)攻击进行了测试。实验中他们要求WormGPT制作一封电子邮件,目标是对一个不设防的账户经理施加压力,迫使其支付虚假发票。 


WormGPT生成的钓鱼邮件


结果令人震惊,WormGPT生成的邮件不仅极具说服力,而且策略十分巧妙,充分展示了其在进行复杂性网络钓鱼和BEC攻击方面的能力。
 
另一款名为FraudGPT的邪恶语言模型在今年7月亮相。从7月22日开始,开发者在多个论坛上宣传该产品,称其为不受限制的ChatGPT替代版本。
 
据透露,FraudGPT每隔一至两周更新一次,架构下采用了多种AI模型。此工具采用基于订阅的定价策略,每月收费为200美元,或年费为1700美元。 


一个论坛的截图,展示了FraudGPT的功能


安全研究团队Netenrich购买并进行了测试。FraudGPT的界面与ChatGPT极为相似,左侧展示了用户的历史查询,而聊天窗口则占据了界面的大部分。使用者只需在“提问”区域输入问题,系统便会为其生成相应答案。 


FraudGPT生成钓鱼邮件


测试中研究人员指示FraudGPT制作一个与某银行相关的钓鱼邮件。用户只需将问题格式化以包含特定银行的名称,FraudGPT就能处理其余部分。这款工具还会指导用户在邮件内容的哪个位置放置恶意链接,并能进一步生成用于诈骗的登录页面,诱导受害者提供个人信息。
 
分析人士称,FraudGPT 可能成为发动有影响力的网络钓鱼和BEC攻击的理想工具,从而导致巨大的财务欺诈和数据窃取。
 
活跃的“邪恶GPT”不只上述两个。就在8月中旬,有网络安全领域的专家揭示了另一个基于GPT的网络犯罪工具,名为EvilGPT。
 
这款应用与FraudGPT、WormGPT类似,它可以帮助制造恶意软件、诱骗邮件、陷阱链接并针对企业网络安全的弱点进行探测。若上述GPT因某些原因被封禁或移除,它将作为备选方案在市场上供应。与此同时,它也采用了基于订阅的定价模式,吸引潜在用户购买。
 
EvilGPT仅仅是在最近几周中被发现的冰山一角。随着时间的推移,可能会有更多基于人工智能技术的恶意工具和应用浮现出来。


AI“加持”下,钓鱼邮件防不胜防


钓鱼邮件对跨境电商从业者来说并不陌生,但苏丹这次仍然险些中招,除了偶尔的疏忽大意之外,生成式AI的“加持”功不可没。

 
过去,一种有效的识别钓鱼邮件的方法是注意内容单词的拼写及语法错误。据资料显示,约有50%的钓鱼邮件来源于俄罗斯、德国和中国。从这些母语非英语地区发出的邮件中,大多假冒的内容都包含了不正常的语法或用词,与正规标准的电子邮件风格不符。

未经校对的钓鱼邮件

 
事实上,为了防止员工点击带有恶意链接的邮件或泄露登录信息,许多电商公司在培训中都会提醒注意拼写错误、不寻常的语法以及非英语母语者可能犯的其它错误。
 
然而,现在的生成式AI技术已经能够完美地排除掉这些传统的识别特征。这次的亚马逊钓鱼邮件没有任何语法上的错误。
 
最近电子邮件安全公司Abnormal Security的CEO Evan Reiser在接受采访时也指出了这点,由生成式AI平台制作的精细钓鱼邮件几乎与真实邮件无异,使人难以一眼辨识。他表示:“当你浏览这些邮件时,大脑中并不会产生任何提示,警告你这可能是一次网络钓鱼攻击。”
 
可怕的是,避免语言错误只是生成式AI在钓鱼邮件上展现的基本技能,更强的欺诈和混淆能力更为致命。
 
得益于AI模仿人类书写的能力,钓鱼邮件的内容可能包括制造紧迫感、鼓励收件人点击链接或者伪装为汇款请求的社交工程邮件等。一旦收件人点击链接,他们的系统就可能受到恶意代码的感染。
 
上述伪造亚马逊邮件的场景中,便是被AI制造了对于卖家而言比较急迫的场景。不少卖家在仔细审查邮件内容后,虽感到不太对劲,但由于担忧可能错过了某些重要信息,还是按照邮件中的指引操作。
 
另外,生成式AI还能够使钓鱼邮件更具攻击性。它们可以从社交平台、新闻门户、网上论坛等多种来源中抓取个人信息,以针对性更强的诱人邮件。这在过去通常是需要花上数月的时间才能完成的任务。如果攻击者能够掌握这些专有信息,他们可以在邮件中植入更具说服力的细节内容,或是模仿某人的写作方式。
 
Evan Reiser指出:“目前,犯罪者只需捕获这些电子邮件,自动地喂养到一个大型模型,接着指示它构建一封引用最近五次在线对话的邮件。这样之前可能需要八小时完成的任务,现在只需八秒。”
 
即使是技术能力有限的攻击者,也可以利用生成式AI来编写VBA代码。他们只需指示AI将恶意URL嵌入到代码中,当用户打开如Excel这样的文件时,系统会自动下载并执行恶意软件。

 
过去,像ChatGPT和Bard这样的系统都有内置的保护功能,能够尽可能预防生成恶意内容,但随着越来越多的邪恶GPT版本涌现,电子邮件安全正在面临巨大的挑战。
 
2023年8月21日,国际安全研究团队Perception Point与Osterman Research公司联合发布了名为《人工智能在电子邮件安全中的作用》的报告。该报告揭示了网络犯罪分子如何利用AI来增加和复杂化电子邮件威胁(如网络钓鱼和BEC攻击)的惊人趋势。
 
此项研究指出,网络罪犯正在迅速采用AI工具以推动其利益,而有91.1%的组织称他们已遭受到了被AI增强的电子邮件攻击。


解决之道:使用AI来对抗AI?


在AI的威胁下,过去依靠经验躲避钓鱼邮件陷阱的方法不再有效,新的对策或在于以AI对抗AI。已有数家网络安全公司将生成式AI融入其产品,力图在被大规模滥用前采取措施。
 
有供应商正在利用AI来提高电子邮件的安全能力和流程,例如:为了洞察每个发送者和接收者的习惯和特性,一个AI模型被设计出给组织中的每位成员绘制通信模式。
 
具体来说,谁会给他们发信息?信息内容是什么?何时和从哪里发送这些消息?通常有其他人被抄送还是只有一个目标接收者?每位发送者使用哪些电邮地址?简而言之,AI被用于构建关于每个人常规行为的档案。
 
另外,为了察觉不常见的邮件发送模式,供应商结合了以下策略:利用社交图技术进行基础发送模式的分析;识别相似或相近的电子邮件地址;鉴别包含社交工程技巧的信息;检测冒名顶替的标记和其它品牌相关的视觉元素;以及对电子邮件中的语气、情感和风格进行分类。以上策略都有助于检测那些旨在混淆人类思维的异常邮件。
 
尽管接受过安全意识培训的人力也可以找到这些异常信号,但只有AI能够在网络速度下整合所有分析维度,确保在面对海量消息时能够持续并可靠地执行检测。
 
AI解决方案还可以利用多个机器学习模型来识别带有恶意内容的信息。这些模型是基于被标记为恶意或无害的信息数据集进行开发、调整和更新的。某些供应商采用生成式AI技术,从已知的恶意信息中产生附加的样本数据,这为机器学习模型提供了更为丰富的优质训练数据。
 
能够战胜AI的,也就只有AI了。
 
实际上,不少组织已经在使用AI进行电子邮件安全防护。根据Osterman Research的数据,最近的两年内五分之四的组织已经部署了或正在积极推进基于AI的电子邮件安全解决方案,这种方案是在常规保护措施之外附加的。
 


其中,引进AI加强电子邮件安全的方式主要有两个方向:一方面是现有的电子邮件安全提供商将AI防护集成到他们的产品中;另一方面是组织正在刻意寻找新的使用了AI的解决方案。
 
而在过去两年中,仍有五分之一的受访者没有采纳此类方案:12.7%的人没有实行任何解决方案,而6.0%的人正在积极探索和评估可能的选择。
 
从Osterman Research的数据来看,AI在提高检测效率和强化保护方面显示出了不俗的能力。
 


在采纳AI加强的电子邮件安全解决方案之前,各组织都有一定的检测效率。但随着网络罪犯使用AI提高攻击技术,没有AI保护的组织会发现他们的检测效率将受到严峻挑战。
 
只有魔高一尺道高一丈,才能把钓鱼邮件的攻防双方,重新拉回到AI技术这同一起跑线上。


(文中人物为化名)


参考资料

Over  91%  of  Organizations  Have  Experienced  AI-enhanced  Email  Attacks  and  84% Expect  Continued  Use  of  AI to  Circumvent  Existing  Security Systems 
WormGPT-The  Generative  AI  Tool  Cybercriminals  Are  Using  to  Launch  Business  Email  Compromise  Attacks
WormGPT and FraudGPT - The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定