恶意 AI 聊天机器人的兴起：威胁行为者拥抱“Hackbots”

AI 流行的浪潮席卷了那些怀有善意的人和那些意图可能更险恶的人。安全专家正在发出警报，指出使用此类模型进行恶意文本生成或“hackbots”现在在威胁行为者中很流行。它已达到订阅制服务中现成服务的水平。

利用 AI 工具的网络罪犯

一方面，网络安全专家迅速意识到 AI 启用工具在更好地保护其系统方面的潜力。威胁行为者也表现出同等的热情，利用这些技术来利用他们攻击者留下的安全漏洞。在过去几年中，邪恶行为者使用的 AI 应用程序数量呈指数级增长，这引起了安全团队对采取足够方法来降低 AI 相关威胁的关注。

另一方面，英国网络安全专家也指出 AI 是一个新兴的新风险，涉及未知领域及其不断变化的性质。NCSC 预测 2024 年第一季度将是最大规模并成功超越 2022 年和 2023 年的记录。聪明的罪犯同样利用语言模型进行社会工程，要求通过钓鱼方案或语音识别设备将名人置于视频或音频环境中。微软公司安全副总裁 Vascut Jakkal 参加了 RSA 2024 会议。问题不在于这些工具的恶化，而在于它们越来越广泛的可用性用于密码破解，这与身份相关攻击的增长呈 10 倍关系。

一些专家进一步得出结论，聊天机器人使用独特的短语来积极开发恶意软件。确实，诸如 ChatGPT 和 Gemini 等公开可用的服务已实施保障措施，以防止其被用于恶意目的。然而，黑客通过复杂的提示工程技术绕过了许多保护。

Hackbot-as-a-service：网络犯罪中的增长趋势

根据最近的研究，公开可见的语言模型通常未能滥用软件安全弱点。然而，只有 OpenAI 的 GPT-4 显示出有希望的功能，因为它可以为已知漏洞生成可执行文件。上述限制可能已经促进了原型恶意聊天机器人的生产，旨在协助网络犯罪实施者进行其恶意活动。 

它们在暗网的论坛和市场上被宣传，提供雇佣和利用攻击者的能力，助长了 hackbot-as-a-service 模式。Trustwave SpiderLabs 团队在 2023 年 8 月发表的一篇最新博客文章说明了托管在多个隐藏网络留言板上的恶意语言模型数量的增加，以牟利。

Trustwave于2021年6月发布了WormGPT模型，这是黑客已知的一种恶意语言模型。这种方法可能出现在设备中，机器人通过暗网托管的黑客结构注入网络攻击。FraudGPT于2023年7月生成，在传播到Telegram之前，首先被Netenrich的威胁研究人员发现。

这些工具允许攻击者设计用于社会工程攻击的资产，例如网络钓鱼邮件、深度伪造和语音克隆。然而，它们的创造者声称，其真正的价值在于利用漏洞。它们使黑客能够将有关特定漏洞的代码输入这些恶意模型，理论上可以为攻击者生成多个概念验证（PoC）漏洞利用程序以供尝试。

这些产品在黑市的地下市场中出售，黑客需支付月度许可费才能使用这种黑客机器人，就像勒索软件即服务（RaaS）模式一样，该模式直接连接到当今许多公司面临的勒索软件网络。

虽然WormGPT是首个大规模推出的恶意语言模型，但其他恶意和不道德的语言模型，如BlackHatGPT、XXXGPT和WolfGPT也紧随其后，形成了网络黑市的一个新细分市场。

黑客机器人的有效性：炒作还是真实威胁？

与 Trustwave 进行的旨在通过比较推荐工具的输出与合法聊天机器人生成的输出来测试推荐工具效率的研究不同，研究结果表明ChatGPT可以通过正确的提示有效地创建一些 Python 恶意软件。为此，消息必须发送给声称代码是白帽的，并且在部署前，代码输出还需要进行额外的修改。

ChatGPT可能能够生成用于网络钓鱼攻击的真实文本消息，但指示命令必须非常具体才能达到此效果。只有当用户提出错误请求时，ChatGPT才会基于此进行操作。因此，这些聊天机器人可以被视为网络罪犯或AI攻击聊天对象的一种更简单的方法，而不是费力地创建页面或恶意软件。

虽然这个行业是新的，威胁仍在变化中，但公司必须真正了解其当前的保护水平。AI系统充斥的内容和文化特征可能被滥用，以制造信息差距，而只有通过建立更强的AI安全计划和身份管理工具才能弥合这一差距。

针对这一日益严重的问题的解决方案的合法性仍在争论中。然而，最近的勒索软件变种表明，网络罪犯可以匹配甚至超过软件开发人员的开发速度。