국가 안보가 위기에 처하다 – 영국 AI 연구소, 생성형 AI 기술 도입 시 신중함 촉구

영국의 최고 국가 AI 연구소인 앨런 튜링 연구소는 생성형 AI의 배포, 특히 기술이 직접적인 인간의 감독 없이 되돌릴 수 없는 행동을 취할 수 있는 상황에서 정부에게 '레드 라인'을 설정할 것을 촉구하는 포괄적인 보고서를 발표했습니다. 금요일 밤 늦게 발표된 이 보고서는 현재 생성형 AI 도구의 신뢰성 부족과 오류 발생 가능성, 특히 국가 안보 내의 고위험 시나리오에서의 우려를 강조합니다.

생성형 AI의 신뢰성 부족과 국가 안보 위험

앨런 튜링 연구소의 보고서는 현재 생성형 AI 도구의 한계를 강조하며, 특히 중요한 국가 안보 맥락에서 그 신뢰성 부족과 오류 발생 가능성을 지적합니다. 이는 생성형 AI가 국가 안보 위험을 초래하는 우발적이거나 부수적인 방식을 고려하기 위해 사고방식의 근본적인 전환이 필요함을 강조합니다. 보고서는 사용자가 AI 생성 출력물에 과도하게 의존하면 잠재적으로 결함이 있는 정보를 도전하는 것을 꺼리게 될 수 있다고 제안합니다.

보고서는 자율 에이전트가 국가 안보 맥락에서 긴밀한 감독이 필요한 생성형 AI의 주요 응용 분야로 특정되어 있음을 지적합니다. 기술이 국가 안보 분석을 가속화할 잠재력을 인정하면서도, 보고서는 자율 에이전트가 인간 수준의 추론 능력을 갖추지 못했으며 실패를 피하는 데 필수적인 위험에 대한 본능적인 이해를 재현할 수 없다고 경고합니다. 

제안된 완화 조치에는 자율 에이전트가 수행한 행동과 결정을 기록하고, 생성형 AI 출력의 모든 단계에 경고문을 첨부하며, 최악의 시나리오를 문서화하는 것이 포함됩니다.

정부의 권고 사항 및 엄격한 제한

앨런 튜링 연구소는 원자력 명령 및 통제와 같은 '완전한 신뢰'가 필요한 영역, 그리고 경찰 활동 및 형사 사법과 같이 덜 존재론적인 영역에서 엄격한 제한을 권고합니다. 보고서는 다른 기술의 브레이크 시스템과 유사하게 중요한 인프라를 제어하는 AI 시스템에 안전 브레이크를 구현할 것을 제안합니다. 그러나 특히 운영 직원의 신중함을 공유하지 않을 수 있는 고위 관리자의 경우 제한 사항과 위험을 고려하는 것이 중요하다고 강조합니다.

보고서는 또한 생성형 AI의 악의적 사용을 안전 우려 사항으로 지적하며, 이 기술이 허위 정보, 사기, 아동 성 착취물과 같은 기존 사회적 위험을 증폭시킨다고 밝혔습니다. 정확성과 투명성 요구 사항에 구애받지 않는 악의적 행위자들이 위협이 됩니다. 보고서는 NVIDIA와 같은 GPU 제조업체의 약속과 국제 정부 간 협조를 요구하는 변조 방지 워터마킹 기능에 대한 정부 지원을 권장합니다. 그러나 구현에 대한 도전 과제가 formidable(엄청난)하다고 인정됩니다.

앨런 튜링 연구소의 '생성형 AI를 위한 레드라인'에 대한 긴급한 호소는 보고서를 통해 기술 혁신과 국가 안보의 미묘한 교차점을 탐색합니다. 연구소는 현재 생성형 AI 도구의 불확실성, 특히 고위험 시나리오에서의 불확실성을 인정하며 패러다임 전환을 강조하고, 엄격한 제한과 안전 조치의 필요성을 부각합니다. 

영국 정부가 AI 규제를 다루는 가운데, 이러한 권고 사항은 자율 에이전트와 악의적 사용과 관련된 위험을 완화하기 위한 선제적 접근을 촉구하는 로드맵 역할을 합니다. 질문은 여전히 남아 있습니다. 규제 체계는 어떻게 혁신과 안보 사이의 균형을 맞추어 복잡한 사회기술적 환경에서 생성형 AI의 책임 있는 진화를 보장할 수 있을까요? 과제는 잠재적 위협으로부터 보호하면서 지속적인 기술 발전을 촉진하는 효과적인 정책으로 이러한 권고 사항을 이행하는 데 있습니다.