마이크로소프트는 애저 AI 스튜디오에 여러 보안 기능을 추가했습니다. 이러한 기능은 시간이 지남에 따라 사용자가 AI 모델을 비정상적이거나 부적절하게 작동하도록 설정할 가능성을 줄여줄 것으로 예상됩니다. 워싱턴주 레드먼드에 본사를 둔 이 다국적 기술 기업은 블로그 게시물을 통해 이러한 개선 사항을 설명하고, AI 상호 작용의 무결성을 보장하고 사용자 기반의 신뢰를 구축하는 데 중점을 두었습니다.
신속 방어막 및 기타
주요 발전 사항 중 하나는 AI 챗봇과의 대화 중에 의도적으로 입력값을 조작하는 "프롬프트 쉴드" 기술의 개발입니다. 이러한 조작은 소위 '탈옥'이라고도 불리며, 사용자가 의도적으로 AI 모델에서 원치 않는 반응을 유발하도록 입력값을 입력하는 것을 말합니다.
예를 들어 마이크로소프트는 악성 명령 실행이 가능한 프롬프트 인젝션과 같은 방식으로 간접적으로 대응하고 있습니다. 이러한 시나리오는 데이터 도난이나 시스템 하이재킹과 같은 심각한 보안 결과를 초래할 수 있습니다. 마이크로소프트의 책임 있는 AI 부문 최고 제품 책임자인 사라 버드에 따르면, 이러한 메커니즘은 이러한 특이한 위협을 실시간으로 탐지하고 대응하는 데 핵심적인 역할을 합니다.
마이크로소프트는 조만간 사용자 화면에 모델이 허위 또는 오해의 소지가 있는 정보를 표현할 가능성이 있을 때 알려주는 알림 기능이 추가되어 사용자 편의성과 신뢰도를 높일 것이라고 덧붙였습니다.
AI 도구에 대한 신뢰 구축
마이크로소프트의 이러한 노력은 개인 소비자와 기업 고객을 대상으로 하는 서비스에 광범위하게 적용되고 있는 생성형 AI에 대한 신뢰를 구축하기 위한 더 큰 계획의 일환입니다. 마이크로소프트는 사용자들이 코파일럿 챗봇을 조작하여 이상하거나 유해한 결과를 도출하는 사례가 발생한 후, 철저한 검증 작업을 진행했습니다. 이는 AI 기술과 대중의 지식 증가와 함께 증가할 가능성이 있는 이러한 조작 전술에 대한tron방어책의 필요성을 보여주는 결과입니다. 공격 패턴을 인식하고 예측 및 완화 조치를 취하는 것은 공격자가 역할극에서 질문을 반복하거나 유도하는 등의 행동을 파악하는 데 달려 있습니다.
오픈AI의 최대 투자자이자 전략적 파트너인 마이크로소프트는 책임감 있고 안전한 생성형 AI 기술을 통합하고 개발하는 방법을 끊임없이 모색하고 있습니다. 두 회사 모두 생성형 AI의 책임감 있는 배포와 안전 조치를 위한 기반 모델 구축에 전념하고 있습니다. 그러나 버드는 이러한 대규모 언어 모델이 미래 AI 혁신의 기반으로 여겨지고 있지만, 조작에 완전히 안전한 것은 아니라는 점을 인정했습니다.
이러한 기반 위에 구축하려면 단순히 모델 자체에만 의존하는 것 이상의 것이 필요하며, 인공지능의 안전과 보안에 대한 포괄적인 접근 방식이 요구될 것입니다.
마이크로소프트는 최근 변화하는 AI 위협 환경으로부터 AI를 보호하기 위해 취하고 있는 선제적 조치를 보여주고 보장하기 위해 Azure AI Studio의 보안 조치를 강화했다고 발표했습니다.
이 시스템은 시의적절한 화면 표시와 알림 기능을 통합하여 AI의 오용을 방지하고 AI 상호 작용의 무결성과 신뢰성을 유지하기 위해 노력합니다.
인공지능 기술이 끊임없이 발전하고 일상생활 곳곳에 도입됨에 따라 마이크로소프트를 비롯한 인공지능 업계는 더욱 철저한 보안 태세를 유지해야 할 시점입니다.
