마이크로소프트, AI 환각으로부터 보호하는 새로운 Azure AI 안전 기능 공개

마이크로소프트는 Azure AI 플랫폼의 보안을 강화하기 위한 고급 기능 툴킷을 출시했습니다. 마이크로소프트 센티언트 AI 이니셔티브의 수석 제품 책임자인 사라 빈드는 AI 기반 애플리케이션 사용 시 발생할 수 있는 위험을 해결하기 위해 세심하게 설계된 다양한 도구를 공개할 예정입니다. 

미리 보기 단계에서 새로운 보안 조치는 Azure AI를 위협으로부터 보호하고, 안전한 답변을 제공하며, 특정 레드팀 없이도 악성 프롬프트 주입 및 숨겨진 프롬프트 삽입을 방지합니다.

Microsoft Azure의 고급 AI 보안 도구

이러한 우려 사항들을 해결하는 것은 인공지능 기술을 공공 부문에 효과적으로 통합하는 데 있어 매우 중요합니다. 왜냐하면 이는 구현과 장기적인 성공을 저해할 수 있는 예상치 못한 위험과 우려 사항들을 완화하는 데 필수적이기 때문입니다.

Prompt Shields, Groundedness Detection, 정교한 취약점 평가와 같은 도구들은 모델의 취약점을 선별하는 데 도움을 주기 위한 빙산의 일각에 불과하지만, 이러한 도구들도 공개되었습니다. 

프롬프트 쉴드는 악의적인 프롬프트 주입을 차단하는 게이트웨이 역할을 하며, 금지된 언어/은밀한 프롬프트 사용을 금지함으로써 AI 모델을 통해 디지털 세계에 AI를 악용하려는 위험으로부터 사용자를 보호합니다. 이러한 프롬프트는 사용자 입력 및 제3자 데이터의 악용으로 이어질 수 있기 때문입니다. 

이는 특히 역사적 사건에 대한 허위 또는 부정확한 자료의 생산을 방지하는 데 있어 매우 중요하며, 이는 AI 기반 모델에서 겪었던 과제였습니다

Azure 생태계에서의 AI 보안 및 환각 완화

마이크로소프트의 안전 툴킷의 또 다른 핵심 요소인 텍스트 기반 환각 완화는 일련의 환각 현상을 차단하는 데 중점을 둡니다. 이를 통해 모든 아이디어가 허용되는 것이 아니라, 증거에 의해 뒷받침되고 검증 가능한 아이디어만이 AI 시스템에 가장 적합한 입력값이 되는 환경을 조성할 수 있습니다. 

또한, 안전성 평가를 통해 모델의 취약점을 심층적으로 모니터링하여 이러한 약점을 즉시dent하고 필요에 따라 보안 조치를 조정할 수 있습니다. 이러한 점을 고려하여 마이크로소프트는 개별 고객의 요구 사항과 적절한 AI 보안 조치를 지원할 준비가 되어 있습니다. 

Azure 고객은 성별 편향 콘텐츠, 혐오 발언 및 기타 모욕적인 콘텐츠를 포함하거나 제외하는 등 특정 요구 사항에 맞춰 설정을 사용자 지정할 수 있습니다. 

마찬가지로, 향후 업그레이드를 통해 관리자는 보고 기능을 제공하여 사용자가 진정한 테스터인지 악의적인 사용자인지 판단하는 데 도움을 받을 수 있을 것입니다.

마이크로소프트의 안전하고 윤리적인 AI 개발에 대한 선구적인 접근 방식

이러한 안전 조치의 중요성은 즉각적인 보안 이점뿐만 아니라 정보 기술 산업이 사회적 책임을 다하는 AI 개발에 대한 총체적인 접근 방식을 수용한다는 사실에도 있습니다. Llama와 같은 도구를 GPT-4 및 Llama 2와 같은 주요 버전에 통합하면 Azure AI에서 실행되는 수많은 AI 애플리케이션이 강화된 사기 및 오류 제어 조치를 기반으로 작동하게 될 것입니다. 

하지만 널리 사용되지 않는 오픈 소스 모델의 경우 사용자가 보안 도구를 시스템에 수동으로 통합해야 할 수도 있다는 점은 부차적인 문제입니다. 이러한 강제 기능은 마이크로소프트가 안전하고 윤리적인 AI 환경을 구축하기 위한 포괄적인 전략의 일환으로 인식되고 있습니다. Azure AI 고객(예: KPMG, AT&T, Reddit)은 다양한 분야에 걸쳐 발전을 구현하고자 하는 주요 기업들입니다. 

따라서 그 영향은 광범위할 것으로 예상됩니다. 더욱이 마이크로소프트는 OpenAI와의 파트너십과 Azure OpenAI 서비스 출시를 통해 AI 분야의 선두 주자로서 개발자와 기업이 AI 애플리케이션에서 경쟁력을 확보하는 데 필요한 도구를 제공하고 있음을 입증하고 있습니다.

마이크로소프트의 최신 자동 안전 기능은 인공지능 기술의 음성적 표현이 야기하는 큰 위험에 대한 대응책으로 제시되었습니다. 마이크로소프트는 AI를 보안 위협으로부터 보호하고 AI 도구의 실시간 출력 정확도를 높이는 방법을 연구함으로써 새로운 AI 보안 기준을 defi하고 있습니다. 이를 통해 AI 솔루션의 안전성, 무결성 및 신뢰성을 향상시키고 AI 개발자들이 음성적 표현을 활용하여 발전할 수 있도록 지원합니다.

인공지능이 발전할수록 안전한 관리 감독의 필요성은 더욱 커집니다. 마이크로소프트는 이러한 혁신적인 보안 기술을 통해 진정으로 안전하고 윤리적인 AI 패러다임을 향해 한 단계 더 나아갑니다. 이러한 안전장치를 통해 Azure AI 고객은 인공지능이 수반할 수 있는 모든 잠재적 위험을 완벽하게 이해하고 자동화 시스템을 운영에 도입할 수 있다는dent 가질 수 있습니다.

원문 출처: https://thehorizon.ai/microsofts-new-safety-system-can-catch-hallucinations-in-its-customers-ai-apps