유해한 AI는 존재하며, 도발적인 행동에 대한 보상을 받습니다 

대규모 언어 모델(LLMs)은 거의 모든 산업의 일부가 되고 있습니다. 자연어 애플리케이션을 위한 LLM 개발에는 많은 단계가 있습니다. 그중 하나는 LLM이 위험한 응답이나 유해한 콘텐츠를 생성하지 않도록 보장하는 것입니다. 이 문제를 해결하기 위해 개발자들은 본질적으로 LLM이 위험한 출력을 내뱉도록 만드는 프롬프트를 생성하는 사람들의 그룹인 인간 레드 팀을 사용합니다. 

인간 레드 팀을 사용하는 문제점은 채용 비용이 비싸고 많은 시간을 소비한다는 것입니다. 이것이 MIT 연구진이 또 다른 LLM을 사용하여 자연어 LLM 애플리케이션을 테스트하는 새로운 방법을 발견한 이유입니다. 이 접근 방식은 호기심 기반 레드 팀핑(CRT)이라고 불리며 머신러닝을 기반으로 합니다. 이 연구는 ICLR 2024에서 컨퍼런스 논문으로 발표되었으며 온라인에서 이용 가능합니다.

호기심 기반 레드 팀핑(CRT)이 더 낫습니다

처음에는 인간 레드 팀핑 작업을 자동화하는 접근 방식이 레드 팀 모델을 생성하고 강화 학습(RL)을 사용하여 훈련시킴으로써 이루어졌습니다. 레드 팀 모델을 테스트한 후 결과는 성공적이지만 효과적인 결과의 수가 적었습니다. 

이는 유해한 출력을 생성할 수 있는 많은 프롬프트가 포함되지 않았기 때문에 대상 LLM이 정확하게 평가되지 않을 것임을 의미합니다. 효과적인 결과의 수가 적은 이유는 레드 팀 모델이 매우 유해하고 유사한 결과를 생성하도록 훈련되었기 때문입니다. 보상 시스템은 효과성 또는 유해성에 따라 도발적인 프롬프트에 점수를 매깁니다. 대상 LLM을 트리거할 수 있는 모든 가능한 프롬프트를 고려할 인센티브는 없습니다. 

반면 호기심 기반 레드 팀핑(CRT)을 사용하는 것은 더 강력합니다. CRT는 매우 지능적인 모델을 도발할 수 있는 많은 수의 프롬프트를 생성합니다. 이는 CRT가 각 프롬프트의 결과에 초점을 맞추기 때문입니다. 그것은 다른 단어와 문장을 사용함으로써 유해한 출력의 더 넓은 범위를 목표로 할 것입니다. 강화 학습 모델의 보상 시스템은 단어의 유사성에 초점을 맞추는 반면, CRT 모델은 유사성을 피하고 다른 단어와 패턴을 사용하는 것에 대해 보상을 받습니다. 

유해한 출력을 위한 LLaMA2 테스트

연구진은 오픈 소스 LLM 모델인 LLaMA2에 호기심 기반 레드 팀핑(CRT)을 적용했습니다. CRT는 오픈 소스 모델에서 유해한 콘텐츠를 생성하는 196개의 프롬프트를 출력하는 데 성공했습니다. LLaMA2는 유해한 콘텐츠 생성을 극복하기 위해 인간 전문가에 의해 파인튜닝되었습니다. 연구진은 137M 파라미터를 가진 작은 모델로 간주되는 GPT2를 사용하여 이 실험을 수행했습니다. 팀은 CRT가 레드 팀핑 작업을 자동화하는 데 중요한 구성 요소가 될 수 있다고 결론지었습니다. CRT 코드는 github에서 사용할 수 있습니다.

“우리는 모델의 급증을 보고 있으며, 이는 더욱 증가할 것으로 예상됩니다. 수천 개의 모델, 심지어 그 이상을 상상해 보십시오. 기업/랩들이 모델 업데이트를 자주 푸시하고 있습니다. 이러한 모델은 우리의 삶에 필수적인 부분이 될 것이며, 대중 소비 전에 검증되는 것이 중요합니다. 모델의 수동 검증은 확장성이 단순히 부족하며, 우리의 작업은 더 안전하고 신뢰할 수 있는 AI 미래를 보장하기 위해 인간의 노력을 줄이려는 시도입니다,”라고 아그라왈은 말합니다.  

안전한 LLM 모델 생성의 미래는 밝아 보입니다. 지속적인 연구를 통해 어떤 목적을 위한 안전한 LLM 생성의 목표를 효율적으로 달성할 수 있을 것입니다. 이 논문의 저자들은 자동화된 레드 팀핑 및 언어 모델의 적대적 공격과 같은 영역에서 관련 작업을 추가로 발표했습니다.