엔비디아 AI 소프트웨어가 민감한 데이터 노출 – 세부 사항

최근 조사 이후, 엔비디아의 인공지능(AI) 소프트웨어인 NeMo Framework의 안전 메커니즘에 대해 불안한 진상이 드러났습니다.

챗봇과 같은 AI 기반 솔루션을 위한 언어 모델 처리를 위해 설계된 이 소프트웨어의 pivotal breakthrough가 악용되어 민감한 데이터가 노출되었고, 이로 인해 보안 우려가 제기되었습니다.

엔비디아의 NeMo 프레임워크의 결함 노출

기업들에게 필수적인 도구로 간주되는 NeMo Framework는 엔비디아가 고객 서비스 담당자나 의료 조언자가 하는 것처럼 쿼리에 답하기 위해 proprietary 데이터를 수용하도록 설계되었습니다.

그러나 이 프레임워크의 ostensibly secure한 구조는 샌프란시스코의 Robust Intelligence 연구진에 의해 쉽게 극복되었으며, 그들은 내장된 guardrails를 단 몇 시간 만에 뚫었습니다.

통제된 실험에서 연구진은 seemingly insignificant한 변경을 가했는데, 문자 'I'를 'J'로 바꾸는 것이었습니다. 그러나 이러한 seemingly minor한 tweak는 시스템이 데이터베이스에서 개인식별정보(PII)를 노출시키는 major한 breach로 이어졌습니다.

이러한 breach의 함의는 엔비디아의 AI 시스템과 같은 시스템에 민감한 데이터를 신뢰하는 기업과 사용자에게 considerable한 잠재적 위험을 제시합니다.

추가 테스트는 AI가 예상 행동에서 벗어나 의도되지 않은 주제를 다루도록 조작될 수 있음을 보여주었습니다.

예를 들어, 대화가 직무 보고서로 향하고 있었음에도 불구하고, 모델은 시스템의 내장된 제한을 무시하고 유명인의 건강 상태나 프랑코-프로이센 전쟁과 같은 관련 없는 주제에 대해 이야기하도록 조작되었습니다.

AI 상용화의 거친 바다 항해

이러한 발견은 실리콘 밸리의 가장 유망한 혁신 중 하나인 AI를 monetize하려는 엔비디아와 같은 회사들이 직면한 도전을 강조합니다.

로버트 인텔리전스(Robust Intelligence)의 최고경영자이자 하버드 대학교 컴퓨터 과학 교수인 야론 싱어(Yaron Singer)는 이 발견을 AI 기술의 잠재적 함정을 인식하는 데 있어 냉정한 교훈으로 지적했다. 싱어의 회사는 이제 고객들에게 엔비디아의 소프트웨어 제품을 사용하지 말 것을 조언하고 있다.

이러한 발견이 공개된 후, 엔비디아는 연구원들이 식별한 근본적인 문제 중 하나를 해결한 것으로 알려졌다.

일시적인 문제에도 불구하고, 이 회사의 주가는 강력한 판매 전망과 인간과 유사한 콘텐츠를 생성할 수 있는 생성형 AI 시스템 구축에 필수적인 것으로 간주되는 그들의 칩에 대한 증가하는 수요를 바탕으로 크게 상승했다.

엔비디아의 응용 연구 부사장인 조나단 코헨(Jonathan Cohen)은 NeMo 프레임워크가 안전성, 보안 및 주제별 지침을 준수하는 AI 챗봇 개발을 위한 발판이라고 설명했다.

그는 또한 로버트 인텔리전스의 연구 결과가 향후 AI 애플리케이션 개발에 중요한 의미를 가진다고 인정했다.

이 사건은 Google과 Microsoft가 지원한 OpenAI와 같은 AI 기업들이 AI 제품이 부적절한 행동을 보이지 않도록 안전 장치를 마련했음에도 불구하고 안전 사고를 겪어온 더 넓은 도전을 강조한다.

유럽, 중동 및 아프리카 지역 정부 관계 담당 부사장인 비 롱워스(Bea Longworth)는 산업 컨퍼런스에서 공공의 신뢰를 구축하는 것이 AI 기업들의 주요 우선순위라고 지적했다.

AI의 잠재력은 막대하지만, 이러한 고급 시스템이 위협으로 인식되지 않고 미래의 유익한 도구로 인식되도록 보장하는 책임은 엔비디아와 같은 기술 제공자에게 있다.