生成式AI工具如何使网络犯罪升级为复杂攻击

一家网络安全公司做出了令人担忧的发现——一种名为WormGPT的生成式AI工具正在向犯罪分子出售。另一种名为PoisonGPT的恶意生成式AI工具也已出现，旨在故意在网上传播假新闻。随着生成式AI技术的广泛使用，执法机构越来越担心其被不法分子和犯罪分子滥用的可能性。这些工具代表了生成式AI如何被用于非法活动的最新例子，引发了关于行业道德界限和需要更大监管的问题。

恶意生成式AI工具

WormGPT最近由网络安全公司SlashNext发现，是一种专门用于恶意活动的黑帽替代品。该工具利用基于2021年开发的开源GPTJ语言模型的AI模块。它提供多种功能，包括无限制字符支持、聊天记忆保留和代码格式化能力。SlashNext使用WormGPT进行了一项实验，生成了一封欺骗性电子邮件，旨在迫使一名不知情的账户经理支付欺诈性发票。结果令人不安，展示了复杂网络钓鱼和企业电子邮件妥协攻击的潜力。

另一个令人担忧的发展涉及Mithril Security，这是一家网络安全公司，测试了如何利用GPTJ在网上传播虚假信息。他们创建了一个名为PoisonGPT的工具，并将其上传到Hugging Face，这是一个为开发人员分发AI模型的平台。该恶意模型被伪装成传播假新闻。令人担忧的是，犯罪分子可以操纵大型语言模型，并通过Hugging Face等模型提供商分发它们，导致受害者无意中使用了被污染的模型。这凸显了AI供应链中信任和透明度的更大问题，用户通常对其使用的模型所使用的数据集和算法毫无了解。

AI广泛采用中的道德考量

OpenAI的使用政策严格禁止将其模型用于非法活动以及剥削或伤害他人的内容。但是，随着生成式AI工具变得更加普及，犯罪分子和不法分子滥用的风险增加。尽管如此，随着AI创新界限的不断扩展，被恶意分子和犯罪分子滥用的风险也随之增加。这种日益增长的担忧并未逃脱欧洲刑警组织（Europol）和国际刑警组织（Interpol）等著名执法机构的密切关注，它们都清楚地意识到AI在支持其崇高使命方面所具有的巨大潜力。

国际刑警组织已采取积极措施，开发了一个专用工具包，赋予全球警察力量利用AI的能力。自动巡逻系统、识别弱势群体以及高效管理紧急呼叫中心，只是AI在保障社会福祉方面证明是无价盟友的一些领域。除了AI建设性使用的承诺外，同样重要的是要承认这些复杂系统存在的局限性和固有风险。为此，网络安全领域的利益相关者、行业领导者和执法机构必须联合起来，共同努力解决AI迅猛崛起及其对社会结构深远影响所带来的挑战。

随着WormGPT和PoisonGPT——由地下秘密兜售的恶意生成式AI工具——的出现，AI叙事翻开了最新黑暗的一章，对强大监管框架的呼声比以往任何时候都更加响亮。犯罪分子和别有用心者试图利用这些AI奇迹来推进其邪恶议程，这强调了采取协作方法解决道德困境和安全影响的紧迫性。在不懈追求创新与负责任地管理AI技术之间取得微妙平衡，对于确保其持续进步而不损害支撑AI未来的伦理和安全核心原则至关重要。