研究确定生成式人工智能部署中的惊人安全差距

82% 的高管认为安全且可信赖的 AI 至关重要。然而，只有 24% 的高管在其与生成式人工智能 (GenAI) 相关的举措中构建安全性。这是 IBM 和 Amazon Web Services 新研究的结果，该联合研究在 RSA 大会 2024 上公布，详细说明了针对高管观点的调查，重点关注如何推动人工智能的安全用例，重点集中在生成式人工智能上。IBM 报告称，只有 24% 的受访者在他们的生成式人工智能举措中考虑了安全维度，而近 70% 的人表示创新优先于安全。

创新与安全的权衡

虽然大多数高管担心不可预测的风险会影响生成式人工智能举措，但他们并未优先考虑安全。尽管完全实现的人工智能威胁格局尚未发生，但一些用例涉及使用 ChatGPT 或类似工具生成网络钓鱼电子邮件脚本和深度伪造音频。IBM X-Force 安全研究人员警告称，随着更成熟的技术的发展，预计人工智能系统将在更大规模上成为目标。

报告称，虽然整合的人工智能威胁面才刚刚开始形成，但 IBM X-Force 研究人员预计，一旦行业围绕共同技术和赋能模型成熟，威胁行为者将开始更广泛地针对这些人工智能系统。事实上，随着市场迅速成熟，这种融合正在进行中，领先的提供商已出现在硬件、软件和服务领域。

IBM 报告 指出，更令人担忧的是那些没有妥善保护其构建和用作业务一部分的人工智能模型的公司。生成式人工智能工具的应用不当可能导致敏感数据的处理不当或泄露。根据报告，“影子 AI”在组织内的使用正在增加，因为员工使用了未经企业安全团队批准和保护的生成式人工智能工具。

为此，IBM 于 1 月宣布了一项保护生成式人工智能的框架。其基本原则是集中用于训练人工智能模型的数据，通过使用扫描开发管道中的漏洞、强制执行人工智能使用策略和访问控制以及保护其免受实时人工智能模型攻击的组合来保护模型。

保护人工智能管道

周一，IBM 的 X-Force Red 进攻性安全团队推出了一项人工智能测试服务，旨在通过红队测试评估人工智能应用程序、人工智能模型和 MLSecOps 管道。周三在 RSA 大会 2024 上，IBM 将展示“现在创新，稍后安全？决定，决定……”关于保护和管理人工智能管道的内容。

第二位演讲者是 IBM Security 的安全技术项目总监 Ryan Dougherty。在接受 TechTarget Editorial 采访时，他表示，从一开始就保护人工智能是 IBM Security 在技术领域的主要关注点之一。他说，这正是该领域如此关键的原因，特别是对于生成式人工智能而言：它正深深嵌入到业务应用程序和流程中。整合业务架构使其超越了潜在的风险和威胁。

据他介绍，从商业角度来看， AI 必须扎根于其真实本质。

“生成式人工智能是在大量敏感业务数据上进行训练和运营的，我们需要保护这些新的皇冠明珠，因为竞争优势就来自于此。它围绕这些组织拥有的数据以及他们通过使用生成式人工智能并在其应用程序中展示这些见解以改善业务所获得的见解，”

Dougherty 补充说，他们为这些模型支付了大量资金，这些模型非常昂贵。大量的知识产权和投资正用于运营这些生成式人工智能应用程序，企业根本负担不起保护它们的成本。