一项研究dent了生成式人工智能部署中令人担忧的安全漏洞

经过

阅读时长：3分钟 2024年5月6日

高管层将生成式人工智能创新置于安全之上。.
不安全的“影子人工智能”工具可能会导致数据风险。.
企业将开始嵌入生成式人工智能，这就需要采取深层次的安全措施。.

82% 的高管认为安全可靠的人工智能至关重要。然而，只有 24% 的高管将安全因素纳入其与生成式人工智能 (GenAI) 相关的计划中。这是 IBM 和亚马逊网络服务 (AWS) 在 RSA 2024 大会上联合发布的一项研究得出的结论。该研究详细介绍了高管们关于如何推动人工智能安全应用（尤其关注生成式人工智能）的调查结果。IBM 的报告显示，只有 24% 的受访者dent其生成式人工智能计划中考虑了安全因素，而近 70% 的受访者表示创新优先于安全。

创新与安全之间的权衡

尽管大多数高管担心不可预测的风险会影响新一代人工智能计划，但他们并未将安全放在首位。即使人工智能面临的威胁尚未完全显现，一些应用案例已经涉及使用 ChatGPT 或类似技术生成钓鱼邮件脚本和深度伪造音频。IBM X-Force 安全研究人员警告称，与更成熟的技术一样，人工智能系统预计会越来越频繁地成为大规模攻击的目标。.

报告指出，尽管人工智能威胁面尚处于初步形成阶段，但IBM X-Force的研究人员预测，一旦行业格局围绕通用技术和赋能模式日趋成熟，威胁行为者将开始更广泛地攻击这些人工智能系统。事实上，随着市场快速成熟，这种融合趋势正在发生，领先的供应商已在硬件、软件和服务领域崭露头角。.

IBM的报告，更令人担忧的是，有些公司未能妥善保护其构建和使用的AI模型。不当使用GenAI工具可能导致敏感数据处理不当或泄露。报告称，随着员工使用未经企业安全团队批准和安全保障的GenAI工具，“影子AI”在企业内部的使用日益增多。

为此，IBM 于 1 月份发布了 GenAI 安全框架。其基本原则包括：集中用于训练 AI 模型的数据；通过扫描开发流程中的漏洞来保护模型；强制执行 AI 使用策略和访问控制；以及保护其免受基于实时 AI 模型的攻击。.

保障人工智能管道安全

周一，IBM 的 X-Force Red 攻击性安全团队推出了一项人工智能测试服务，旨在通过红队演练评估人工智能应用、人工智能模型和机器学习安全运营 (MLSecOps) 管道。周三，在 RSA 2024 大会上，IBM 将发表题为“先创新，后保障？决策，决策……”的演讲，探讨如何保障人工智能管道的安全并建立相应的治理机制。.

第二位发言人是 IBM Security 的安全技术项目总监 Ryan Dougherty。他在接受 TechTarget 编辑部采访时表示，确保人工智能从一开始就安全可靠是 IBM Security 在技术领域的首要关注点之一。他说道：“正因如此，这个领域才显得如此关键，尤其是在生成式人工智能方面：它正被深度嵌入到业务应用和流程中。与业务架构的整合使其超越了潜在的风险和威胁。”.

他认为，从商业角度来看，人工智能必须建立在其真实本质之上。