마이크로소프트, AI 챗봇 보안 강화로 사기꾼 저지

워싱턴주 레드먼드에 본사를 둔 다국적 기술 기업인 마이크로소프트 코퍼레이션은 시간이 지남에 따라 사용자가 AI 모델을 비정상적이거나 부적절하게 작동하도록 구성할 가능성을 지속적으로 줄일 것으로 예상되는 Azure AI Studio에 여러 보안 기능을 추가했습니다. 이 회사는 블로그 게시물을 통해 개선 사항을 개요로 제시하며, AI 상호작용의 무결성 보장과 사용자 기반의 신뢰 구축을 강조했습니다.

프롬프트 쉴드 및 기타 기능 

주요 개발 사항 중 하나는 '프롬프트 쉴드(Prompt Shields)'의 생성으로, 이는 AI 챗봇과 대화하는 동안 프롬프트 인젝션을 찾고 차단하도록 설계된 기술입니다. 이러한 인젝션은 소위 '저크브레이크'로, 사용자의 의도적인 입력으로 인해 AI 모델이 원치 않는 응답을 유도하는 방식입니다.

예를 들어, 마이크로소프트는 악의적인 명령 실행이 가능한 프롬프트 인젝션에 간접적으로 대응하고 있으며, 이러한 시나리오는 데이터 유출 및 시스템 하이재킹과 같은 심각한 보안 결과로 이어질 수 있습니다. 마이크로소프트의 책임 있는 AI 담당 최고 제품 책임자 사라 버드는 이러한 독특한 위협을 실시간으로 감지하고 대응하는 메커니즘이 핵심이라고 밝혔습니다.

마이크로소프트는 곧 사용자의 화면에 알림이 표시되어 모델이 거짓 또는 오해의 소지가 있는 정보를 표현할 가능성이 있을 때 이를 지적할 것이라고 추가했으며, 이는 더 많은 사용자 친화성과 신뢰를 보장합니다.

AI 도구에서의 신뢰 구축 

마이크로소프트의 노력은 개인 소비자 및 기업 고객을 대상으로 하는 서비스에 광범위하게 적용되는 점점 더 인기 있는 생성형 AI에 대한 사람들의 자신감을 높이기 위한 더 큰 이니셔티브의 일부입니다. 마이크로소프트는 사용자가 Copilot 챗봇을 기괴하거나 해로운 출력을 생성하도록 조작할 수 있었던 사례들을 겪은 후 세밀한 검토를 진행했습니다. 이는 언급된 조작적 전술에 대한 강력한 방어 필요성을 보여주는 결과로, AI 기술과 대중적 인식의 증가와 함께 이러한 전술이 증가할 가능성이 있음을 시사합니다. 공격 패턴(예: 공격자가 역할극을 하며 질문이나 프롬프트를 반복하는 경우)을 예측하고 완화하는 것은 이를 인정하는 것입니다.

최대 투자자이자 전략적 파트너로서 마이크로소프트는 책임 있고 안전한 생성형 AI 기술을 통합하고 생성하는 방법의 한계를 넓히고 있습니다. 양사는 생성형 AI의 책임 있는 배포와 안전 조치를 위한 기본 모델에 전념하고 있습니다. 그러나 버드는 이러한 대규모 언어 모델이 향후 많은 AI 혁신의 기반이 되어가고 있음에도 불구하고 조작에 완전히 면역되지는 못한다고 인정했습니다.

이러한 기반을 바탕으로 하는 것은 모델 자체에만 의존하는 것보다 훨씬 더 많은 것을 필요로 하며, AI 안전 및 보안에 대한 포괄적인 접근이 필요합니다.

마이크로소프트는 최근 Azure AI Studio의 보안 조치를 강화하여 변화하는 AI 위협 환경으로부터 보호하기 위해 취해지고 있는 선제적 조치를 보여주고 보장하겠다고 발표했습니다.

timely 스크린과 알림을 통합함으로써 AI의 오용을 피하고 AI 상호작용의 무결성과 신뢰성을 유지하는 것을 목표로 합니다.

AI 기술의 지속적인 진화와 일상 생활의 많은 측면에서의 채택으로 인해, 마이크로소프트와 나머지 AI 커뮤니티는 매우 경계하는 보안 입장을 유지할 때가 되었습니다.