AI ) 软件 NeMo Framework 内的安全机制的令人不安的消息被曝光
该软件的一项关键突破是为了满足聊天机器人等基于人工智能的解决方案的语言模型处理而构建的，但已被利用，暴露了敏感数据，从而引发了安全问题。
暴露 Nvidia NeMo 框架中的缺陷
NeMo 框架被视为企业的实用工具，由 Nvidia 设计，用于容纳专有数据来回答查询，类似于客户服务代表或医疗顾问的方式。
然而，这个框架表面上安全的结构很容易被旧金山 Robust Intelligence 的研究人员攻克，在短短几个小时内就突破了内置的护栏。
在一项对照实验中，研究人员做了一个看似微不足道的改变，将字母“I”替换为“J”。 然而，这个看似微小的调整却导致了重大漏洞，因为系统从数据库中发布了个人dent信息 (PII)。
对于将敏感数据委托给 Nvidia 等人工智能系统的企业和用户来说，这一漏洞的影响带来了相当大的潜在风险。
进一步的测试表明，人工智能可以被操纵，使其偏离其预期行为，从而提出它不打算讨论的话题。
例如，虽然对话是针对工作报告，但该模型被操纵来谈论不相关的话题，例如名人的健康状况或普法战争等历史事件，所有这些都defi系统的内置限制。
这些发现突显了英伟达等公司在努力将人工智能货币化时所面临的挑战，人工智能是硅谷最有前途的创新之一。
Robust Intelligence 首席执行官、哈佛大学计算机科学教授亚伦·辛格 (Yaron Singer) 指出，这些发现是认识人工智能技术潜在陷阱的发人深省的教训。 辛格的公司现在建议其客户不要使用英伟达的软件产品。
据报道，在这些发现披露后，英伟达解决了研究人员dent的根本问题之一。
尽管出现了一些问题，但由于tron销售预测和对其芯片的需求不断增长，该公司的股价仍大幅上涨，芯片被认为对于构建能够生成类人内容的生成人工智能系统至关重要。
Nvidia 负责应用dent的副总裁 Jonathan Cohen 将 NeMo 框架描述为 AI 聊天机器人开发的跳板，该框架遵循安全性和特定主题的指导方针。
他还承认鲁棒智能的研究结果对于人工智能应用的未来发展具有重要意义。
这一dent突显了人工智能公司面临的更广泛的挑战，包括谷歌和微软支持的 OpenAI 等巨头，尽管它们设置了安全屏障来避免其人工智能产品表现出不当行为，但它们还是遭遇了安全事故。
正如英伟达欧洲、中东和非洲政府事务主管 Bea Longworth 在一次行业会议上指出的那样，建立公众信任是人工智能公司的首要任务。
人工智能的潜力是巨大的，但英伟达等技术提供商有责任确保这些先进系统不被视为威胁，而是对未来有利的工具。
