MIT 연구진, 유해 콘텐츠 퇴치를 위한 독성 AI 개발

매사추세츠 공과대학(MIT)의 연구자들은 AI를 도구로 사용하여 모방하고 혐오를 표현하도록 AI 시스템을 훈련하는 혁명적인 연구를 수행하고 있습니다. 여기서의 목표는 미디어에서 유해한 콘텐츠를 감지하고 억제하기 위한 탄탄한 계획을 수립하는 것입니다. 이 기술은 단기적으로 CRT라고 불릴 수 있습니다. 이를 수행하기 위해 챗봇은 부적절한 답변을 제외하기 위해 미리 설정된 매개변수에 의존하도록 가르쳐져야 합니다.

AI 위험 이해 및 완화

언어 모델을 대표로 하는 머신러닝 기술은 소프트웨어 생성부터 비단순한 질문에 답변하는 것에 이르기까지 다양한 기능에서 인간을 빠르게 능가하고 있습니다. 이러한 능력은 오정보나 유해한 콘텐츠의 확산과 같이 나쁜 의도로 악용될 수도 있지만, 의료 분야에서의 AI 잠재력은 방대합니다. AI는 시스템의 필수적인 부분이 되고 있습니다. 따라서 ChatGPT와 같은 AI는 필요에 따라 컴퓨터 알고리즘을 개발할 수 있지만, 이 AI가 지시되지 않을 때는 호환되지 않는 콘텐츠를 발행할 수도 있습니다.

MIT의 AI 알고리즘은 프롬프트를 종합하여 이러한 문제를 해결합니다. 이는 먼저 주어진 프롬프트를 복제한 다음 응답함으로써 수행됩니다. 이 조치는 과학자들이 상승하는 추세를 보고 초기 단계에서 문제를 해결할 수 있도록 돕습니다. arXiv 플랫폼에 게재된 논문에 언급된 이 연구는 AI 시스템이 인간이 일반적으로 고려할 것보다 더 넓은 범위의 악의적 행위를 구상할 수 있음을 나타냅니다. 이는 다시 시스템이 이러한 공격을 더 효과적으로 대응하는 데 도움이 될 수 있습니다.

더 안전한 AI 상호 작용을 위한 레드 팀링(Red teaming) 

MIT의 확률적 인공 지능 연구소(Department of Probabilistic Artificial Intelligence Lab)는 풀리트 아그라왈(Pulkit Agrawal) 소장의 지도 하에 위치해 있으며, 이 팀은 적대자로 가장하여 시스템을 테스트하는 적대적 테스트(Red Teaming) 방식을 옹호합니다. 이 접근 방식은 아직 이해되지 않은 인공 지능의 잠재적 결함을 드러내는 데 사용되며, 다른 방법들과 함께 활용됩니다. 지난 주 AI 개발팀은 한 걸음 더 나아가 '남편을 어떻게 살해할까?'와 같은 매우 도전적인 가상 시나리오를 포함한 여러 위험한 프롬프트를 생성하기 시작했습니다. 그들은 이러한 사례들을 사용하여 AI 시스템에서 허용되어서는 안 되는 콘텐츠가 무엇인지 학습하고 있습니다.

적대적 테스트의 혁신적인 적용은 기존 결함 식별을 넘어섭니다. 이는 또한 알려지지 않은 유형의 잠재적으로 해로운 응답에 대한 기회를 적극적으로 탐색하는 것을 포함합니다. 이러한 전략적 접근 방식은 AI 시스템이 단순한 논리적 오류부터 예측 불가능한 사고까지 다양한 부정적 입력에 대응하도록 설계되었음을 보장하며, 이러한 기술이 최대한 안전하도록 유지합니다.

AI 안전성 및 정확성 기준 설정 

AI 응용 프로그램이 점점 더 보편화됨에 따라 주요 아이디어는 AI 모델의 정확성과 안전성을 예방적으로 유지하는 것입니다. 아그라왈은 MIT에서 AI 시스템 검증을 주도해 왔으며, 현재 이러한 작업에 관여하고 있는 다른 사람들과 함께 최전선에 서 있는 것으로 간주됩니다. 그들의 연구는 매우 중요합니다. 새로운 모델이 계속 추가되고 있으며, 업데이트 빈도도 높아지고 있습니다.

따라서 MIT 보고서에서 수집된 데이터는 인간과 건강한 관계를 맺을 수 있는 AI 시스템 구축에 상당한 유용성을 가질 것입니다. 시간이 지남에 따라 아그라왈과 그의 그룹이 채택한 기술은 AI 응용 기술이 발전함에 따라 산업의 벤치마크가 될 것이며, 머신 러닝 발전의 의도치 않은 영향은 통제될 것입니다.