블랙 마켓 챗봇의 새로운 물결이 등장하고 번성함

블랙 마켓 챗봇은 AI 부문에서 부상한 최신 트렌드 중 하나가 되었으며, 악의적인 대규모 언어 모델(LLM)이 제작자에게 수익을 창출하면서 번성하고 있습니다.

미국의 한 연구에 따르면 등록되지 않은 LLM(대규모 언어 모델)이 지하에서 서비스를 판매하며 큰 수익을 올리는 번성하는 AI 블랙 마켓이 존재하는 것으로 나타났습니다. OpenAI, Perplexity 및 동일한 서비스를 제공하는 기타 대형 기업과 같은 등록되고 공개적인 기업들은 따르는 규제 지침이 있습니다.

지하 LLM은 백신 소프트웨어를 회피할 수 있음

이 연구는 주로 합법적인 LLM과 AI 플랫폼을 왜곡하여 이익을 얻는 생태계인 Malla에 초점을 맞추었으며, 2023년 4월부터 10월까지 지하 마켓플레이스에 등록된 212개의 블랙 마켓 LLM을 검토하고 그 속성을 평가했습니다.

인디애나 대학교의 저자 중 한 명인 지롱 린(Zilong Lin)은 다음과 같이 말했습니다.

“우리는 지하 포럼에서 발견된 말라 서비스의 대부분이 주로 수익을 목적으로 존재한다는 것을 발견했습니다.”

또한 이 연구는 규제된 AI의 제한을 벗어나고자 하는 사람들의 구독 및 구매로부터 두 달 동안 최대 28,000달러를 벌어들인 플랫폼도 있음을 발견했습니다.

다크GPT(DarkGPT)와 이스케이프GPT(EscapeGPT)와 같은 일부는 적법하게 라이선스를 받은 대형 언어 모델(LLM)의 jailbreak 파생물로, 합법적으로 사용되고 있습니다.

별도의 연구에 따르면 이러한 불법 LLM은 피싱 이메일 생성과 같은 다양한 작업에 사용될 수 있습니다. 예를 들어, DarkGPT와 EscapeGPT는 거의 75%의 확률로 정확한 코드를 생성했지만, 백신 소프트웨어는 이러한 코드를 탐지하지 못했습니다.

다른 모델인 WolfGPT는 피싱 이메일 생성 및 스팸 필터 회피를 위한 “강력한 도구”로 간주되었습니다.

카네기 멜론 대학교의 컴퓨팅 혁신 전문가인 앤드류 헌트(Andrew Hundt)는 급성장하는 AI 지하 시장이 우려의 대상이 되어야 한다고 말했습니다.

그는 악의적인 동기를 가진 사람들의 복제를 방지할 수 있는 강력한 시스템을 갖추도록 LLM을 개발하는 기업들을 의무화하는 법적 요구 사항을 촉구했습니다.

“또한 이러한 모델을 생성하고 서비스를 제공하는 기업들이 악의적 행위자가 초래하는 위험을 완화하는 방식으로 더 책임감 있게 행동하도록 보장할 법적 체계가 필요합니다.”라고 헌트는 말했습니다.

블랙 마켓 채팅봇의 작동 방식을 이해하는 것이 핵심입니다

연구에 참여한 인디애나 대학교의 샤오펑 왕(Xiaofeng Wang) 교수는 이러한 블랙 마켓 LLM이 어떻게 작동하는지 이해하는 것이 중요하며, 이를 통해 식별된 문제에 특정한 해결책을 마련할 수 있다고 말했습니다.

왕 교수는 이러한 LLM의 조작을 피할 수 없으며, 이는 사이버 공격의 모든 형태로 인한 잠재적 피해를 최소화하기 위해 해당 부문이 강력한 가드레일을 마련할 수 있는 여지를 만든다고 덧붙였습니다.

“우리는 이미 큰 피해가 발생한 후에 기다리고 싶지 않기 때문에 지금이 이러한 연구를 시작하기에 좋은 시기라고 믿습니다.”

왕 교수.

교수에 따르면, LLM을 포함한 모든 기술에는 선한 측면과 악한 측면의 두 가지가 있습니다.

사이버 보안 전문가들은 이미 AI 산업이 경쟁을 늦추고 익명 인터넷 커뮤니티에 의해 기술이 변조될 수 있는 증가하는 위험에 대해 성찰할 것을 요구하고 있습니다.

포브스(Fortune) 기고문은 지난해 말 새로운 아이디어, 특히 LLM과 관련된 분야에서 책임감 있는 도입이 이루어져야 한다고 주장했습니다. 또한 규제가 개발을 저해한다는 오해와 달리, 책임감 있는 AI 혁신을 촉진하는 데 있어 규제의 역할을 강조했습니다.

“LLM의 개발자와 제공자는 더욱 복잡한 모델을 끊임없이 생산하는 급박한 군비 경쟁을 잠시 멈추고, 생성형 AI 애플리케이션의 윤리적 설계와 사용에 대한 프레임워크를 채택하기 위해 규제 기관과 협력해야 합니다.”라고 보고서의 일부에 명시되어 있습니다.

현재 규제 공백으로 인해 AI 블랙 마켓도 빠르게 수백만 달러 규모의 산업으로 성장하고 있으며, 이를 통제하기에는 광범위한 자원이 필요할 수 있다고 Fast Company는 전했습니다.