최근 조사 결과 AI 의 안전 메커니즘에 대한 불안한 사실이 밝혀졌습니다
챗봇과 같은 AI 기반 솔루션의 언어 모델 처리를 위해 구축된 소프트웨어의 획기적인 발전이 악용되어 민감한 데이터가 노출되어 보안 문제가 촉발되었습니다.
Nvidia의 NeMo 프레임워크에서 단층선 노출
기업을 위한 도구로 여겨지는 NeMo 프레임워크는 고객 서비스 담당자나 의료 자문가가 하는 방식과 유사하게 쿼리에 응답하기 위해 독점 데이터를 수용하도록 Nvidia에서 설계했습니다.
그러나 이 프레임워크의 표면적으로 안전한 구조는 샌프란시스코의 Robust Intelligence 연구원들에 의해 쉽게 극복되어 단 몇 시간 만에 내장된 가드레일을 돌파했습니다.
통제된 실험에서 연구자들은 글자 'I'를 'J'로 바꾸는 겉보기에 사소해 보이는 변경을 했습니다. 그러나 이 사소해 보이는 조정은 시스템이 데이터베이스에서 개인 dent 가능 정보(PII)를 공개하면서 심각한 침해로 이어졌습니다.
이번 침해의 의미는 민감한 데이터를 Nvidia와 같은 AI 시스템에 맡기는 기업과 사용자에게 상당한 잠재적 위험을 제시합니다.
추가 테스트에서는 AI가 예상된 동작에서 벗어나도록 조작되어 논의할 의도가 없었던 주제를 꺼낼 수 있다는 사실이 밝혀졌습니다.
예를 들어, 대화가 채용 보고서에 관한 것인 반면, 모델은 시스템에 내장된 제한을 defi 하고 유명인의 건강 상태나 프랑스-프로이센 전쟁과 같은 역사적 사건과 같은 관련 없는 주제에 대해 이야기하도록 조작되었습니다.
이러한 발견은 Nvidia와 같은 기업이 실리콘 밸리의 가장 유망한 혁신 중 하나인 AI를 수익화하기 위해 노력하면서 직면한 과제를 강조합니다.
Robust Intelligence의 CEO이자 하버드 대학의 컴퓨터 과학 교수인 Yaron Singer는 이번 연구 결과가 AI 기술의 잠재적인 함정을 인식하는 데 있어 냉철한 교훈이라고 언급했습니다. Singer의 회사는 이제 고객에게 Nvidia의 소프트웨어 제품을 사용하지 말라고 조언합니다.
이러한 결과가 공개된 후 Nvidia는 연구원들이 확인한 근본 문제 중 하나를 해결한 dent 알려졌습니다.
딸꾹질에도 불구하고 회사의 주가는 tron 판매 예측과 인간과 유사한 콘텐츠를 생산할 수 있는 생성 AI 시스템을 구축하는 데 중요하다고 간주되는 칩에 대한 수요 증가에 힘입어 크게 급등했습니다.
Nvidia의 응용 연구 담당 dent 인 Jonathan Cohen은 NeMo 프레임워크를 안전, 보안 및 주제별 지침을 준수하는 AI 챗봇 개발을 위한 발판으로 설명했습니다.
그는 또한 향후 AI 애플리케이션 개발을 위한 Robust Intelligence 연구 결과의 중요성을 인정했습니다.
이 dent AI 제품이 부적절한 동작을 나타내지 않도록 안전 장벽을 설치했음에도 불구하고 안전 사고를 겪은 Google 및 Microsoft가 지원하는 OpenAI와 같은 거대 기업을 포함하여 AI 기업에 대한 더 광범위한 도전을 강조합니다.
Nvidia의 유럽, 중동 및 아프리카 정부 업무 책임자인 Bea Longworth는 업계 컨퍼런스에서 언급했듯이 대중의 신뢰를 구축하는 것이 AI 회사의 최우선 과제입니다.
AI의 잠재력은 엄청나지만 이러한 고급 시스템이 위협으로 인식되지 않고 미래를 위한 유익한 도구로 인식되도록 하는 책임은 Nvidia와 같은 기술 제공업체에 있습니다.
