엔비디아의 AI 소프트웨어가 민감한 데이터를 노출시켰습니다 - 자세한 내용

)의 안전 메커니즘에 대한 불안한 사실들이 드러났습니다AI최근 조사 결과,

챗봇과 같은 AI 기반 솔루션의 언어 모델 처리를 위해 개발된 소프트웨어에서 중요한 기술적 결함이 악용되어 민감한 데이터가 노출되면서 보안 문제가 제기되고 있습니다.

엔비디아의 NeMo 프레임워크의 취약점을 드러내다

NeMo 프레임워크는 기업에 필수적인 도구로 여겨지며, 엔비디아가 자체 데이터를 활용하여 고객 서비스 담당자나 의료 상담사가 질문에 답변하는 방식과 유사하게 설계되었습니다.

하지만 이 프레임워크의 겉보기에는 안전해 보이는 구조는 샌프란시스코의 Robust Intelligence 연구원들에 의해 쉽게 무력화되었으며, 그들은 단 몇 시간 만에 내장된 안전장치를 뚫고 들어갔습니다.

통제된 실험에서 연구원들은 'I'라는 글자를 'J'로 바꾸는 것처럼 사소해 보이는 변경을 가했습니다. 그러나 이 작은 수정이 시스템에서 개인 식별 정보(PII)를dent하는 중대한 보안 침해로 이어졌습니다.

이번 데이터 유출 사건은 엔비디아와 같은 AI 시스템에 민감한 데이터를 맡기는 기업과 사용자에게 상당한 잠재적 위험을 초래할 수 있습니다.

추가 테스트 결과, 인공지능이 조작되어 예상되는 행동에서 벗어나 의도하지 않은 주제를 다루도록 유도할 수 있음이 밝혀졌습니다.

예를 들어, 대화는 업무 보고서에 관한 것이었지만, 모델은 시스템에 내재된 제약을 defi하고 유명인의 건강 상태나 프랑코-프로이센 전쟁과 같은 역사적 사건 등 관련 없는 주제에 대해 이야기하도록 조작되었습니다.

인공지능 상용화라는 험난한 바다를 헤쳐나가기

이러한 연구 결과는 실리콘 밸리에서 가장 유망한 혁신 중 하나인 인공지능을 수익화하려는 엔비디아와 같은 기업들이 직면한 과제를 잘 보여줍니다.

로버스트 인텔리전스의 최고경영자이자 하버드 대학교 컴퓨터 과학 교수인 야론 싱어는 이번 조사 결과가 인공지능 기술의 잠재적 위험성을 깨닫게 해주는 씁쓸한 교훈이라고 지적했습니다. 싱어 교수의 회사는 이제 고객들에게 엔비디아의 소프트웨어 제품 사용을 자제하도록 권고하고 있습니다.

이러한 연구 결과가 공개된 후, 엔비디아는 연구원들이dent근본적인 문제 중 하나를 해결한 것으로 알려졌습니다.

여러 어려움에도 불구하고, 회사의 주가는tron매출 전망과 인간과 유사한 콘텐츠를 생성할 수 있는 생성형 AI 시스템 구축에 필수적인 것으로 여겨지는 칩에 대한 수요 증가에 힘입어 크게 상승했습니다.

엔비디아의 응용 연구 부문dent 조너선 코헨은 네모 프레임워크를 안전, 보안 및 주제별 지침을 준수하는 AI 챗봇 개발을 위한 발판이라고 설명했습니다.

그는 또한 Robust Intelligence의 연구 결과가 향후 AI 애플리케이션 개발에 중요한 의미를 지닌다는 점을 인정했습니다.

이번dent 구글과 마이크로소프트가 지원하는 오픈AI 같은 거대 AI 기업들을 포함한 AI 기업들이 직면한 더 광범위한 문제를 부각시킨다. 이들 기업들은 AI 제품이 부적절한 행동을 보이는 것을 방지하기 위해 안전 장치를 마련했음에도 불구하고 여러 차례 안전 사고를 겪어왔다.

엔비디아의 유럽, 중동 및 아프리카 지역 정부 업무 책임자인 비아 롱워스가 업계 컨퍼런스에서 언급했듯이, 대중의 신뢰를 구축하는 것은 AI 기업에게 있어 가장 중요한 우선순위입니다.

인공지능의 잠재력은 엄청나지만, 엔비디아와 같은 기술 제공업체는 이러한 첨단 시스템이 위협이 아닌 미래를 위한 유익한 도구로 인식되도록 해야 할 책임이 있습니다.