Microsoft Corp는 시간이 지남에 따라 사용자가 AI 모델을 비정상적이거나 부적절하게 작동하게 하는 모드로 구성할 가능성을 계속 줄여주는 Azure AI Studio에 다양한 보안 기능을 추가했습니다. 레드몬드에 본사를 둔 다국적 기술 회사는 워싱턴은 블로그 게시물에서 AI 상호 작용의 무결성을 보장하고 사용자 기반에 대한 신뢰를 조성하는 것을 강조하면서 개선 사항을 설명했습니다.
프롬프트 쉴드 등
주요 개발 중에는 AI 챗봇과 대화하는 동안 즉각적인 주입을 찾아서 제거하도록 설계된 기술인 "프롬프트 쉴드"의 생성이 있습니다. 이것은 소위 탈옥이며 기본적으로 AI 모델에서 원치 않는 응답을 이끌어내는 방식으로 형성되도록 의도된 사용자의 입력입니다.
예를 들어, 마이크로소프트는 악의적인 명령을 실행할 수 있는 즉각적인 주입을 통해 간접적으로 역할을 수행하고 있으며, 이와 같은 시나리오는 데이터 도난 및 시스템 하이재킹과 같은 심각한 보안 결과를 초래할 수 있습니다. Microsoft의 Responsible AI 최고 제품 책임자인 Sarah Bird에 따르면 이러한 메커니즘은 이러한 독특한 위협을 실시간으로 감지하고 대응하는 데 핵심입니다.
마이크로소프트는 모델이 허위 또는 오해의 소지가 있는 정보를 표현할 가능성이 있는 시기를 알려주는 알림이 곧 사용자 화면에 표시될 것이라고 덧붙여 사용자 친화성과 신뢰도를 더욱 높였습니다.
AI 도구에 대한 신뢰 구축
Microsoft의 노력은 개인 소비자와 기업 고객을 대상으로 하는 서비스에 광범위하게 적용되고 있는 점점 인기를 얻고 있는 생성 AI에 대한 사람들의 신뢰를 주기 위한 더 큰 이니셔티브의 일부입니다. Microsoft는 인스턴스가 발생한 후 미세한 빗질을 통해 사용자가 Copilot 챗봇을 게임하여 기괴하거나 유해한 출력을 생성할 수 있는 기능을 갖게 되었습니다. 이는 AI 기술과 대중적 지식으로 인해 증가할 가능성이 있는 언급된 조작 전술에 대한 tron 방어의 필요성을 보여주는 결과를 뒷받침할 것입니다. 예측하고 완화하는 것은 공격자가 역할극에서 질문을 반복하거나 프롬프트를 표시하는 등 공격 패턴을 인식하는 것입니다.
OpenAI의 최대 투자자이자 전략적 파트너인 Microsoft는 책임감 있고 안전한 생성 AI 기술을 통합하고 생성하는 방법의 한계를 넓히고 있습니다. 두 사람 모두 안전 조치를 위한 Generative AI의 책임 있는 배포와 기본 모델에 전념하고 있습니다. 그러나 Bird는 이러한 대규모 언어 모델이 미래 AI 혁신의 기반으로 여겨지더라도 조작이 방지되지 않는다는 점을 인정했습니다.
이러한 기반을 구축하려면 모델 자체에 의존하는 것보다 훨씬 더 많은 노력이 필요합니다. AI 안전과 보안에 대한 포괄적인 접근 방식이 필요합니다.
Microsoft는 최근 변화하는 AI 위협 환경을 보호하기 위해 취하고 있는 사전 조치를 보여주고 보장하기 위해 Azure AI Studio에 대한 보안 조치 강화를 발표했습니다.
적시에 화면과 경고를 통합하여 AI의 오용을 방지하고 AI 상호 작용의 무결성과 신뢰성을 보존하기 위해 노력합니다.
AI 기술이 지속적으로 발전하고 일상 생활의 다양한 부분에 AI가 채택됨에 따라 Microsoft와 나머지 AI 커뮤니티는 매우 경계적인 보안 자세를 유지해야 할 때입니다.
