OpenAI, 새로운 안전 훈련 패러다임으로 o1 및 o3 AI 모델 발전

금요일, OpenAI는 o3라는 새로운 AI 모델 패밀리의 출시를 발표했습니다. 회사는 새로운 제품이 이전 모델인 o1보다 더 진보했다고 주장합니다. 이 스타트업에 따르면, 이러한 진보는 최근 몇 달간 탐구된 테스트 타임 컴퓨팅(Test-time compute) 확장 개선과, 이 모델들을 훈련하는 데 사용된 새로운 안전 패러다임의 도입에서 비롯되었습니다.

OpenAI는 AI 안전성 개선을 위한 지속적인 약속의 일환으로, '고려적 정렬(Deliberative Alignment)'의 구현을 상세히 설명한 새로운 연구를 공유했습니다. 새로운 안전 방법은 AI 추론 모델이 개발자가 설정한 가치와 정렬되도록 보장하는 것을 목표로 합니다.

OpenAI에 따르면 이 접근 방식은 o1과 o3 모델 모두의 정렬을 개선하는 데 사용되었으며, 추론 단계 동안 OpenAI의 안전 정책을 고려하도록 모델을 유도했습니다. 추론 단계는 사용자가 모델에 프롬프트를 제출한 후 모델이 응답을 생성하기 전의 기간을 의미합니다. 

OpenAI의 연구에 따르면, 고려적 정렬은 모델이 '안전하지 않은' 답변이나 회사의 안전 정책 위반으로 간주되는 응답을 생성하는 비율을 줄이는 동시에, 모델이 양성적인 질문에 더 효과적으로 답변하는 능력을 향상시켰습니다.

고려적 정렬의 작동 방식 

핵심적으로 이 과정은 모델이 사고 과정(Chain-of-thought) 단계 동안 스스로 재프롬프트하도록 함으로써 작동합니다. 예를 들어 사용자가 ChatGPT에 질문을 제출하면, AI 추론 모델은 문제를 더 작은 단계로 분해하는 데 몇 초에서 몇 분까지 걸립니다. 

그런 다음 모델은 사고 과정을 기반으로 답변을 생성합니다. 고려적 정렬의 경우, 모델은 이 내부 '고려' 과정에 OpenAI의 안전 정책을 포함시킵니다.

OpenAI는 o1과 o3를 포함한 모델들을 훈련하여, 이 사고 과정의 일부로 회사의 안전 정책 섹션을 기억하도록 했습니다. 이는 민감하거나 안전하지 않은 쿼리에 직면했을 때 모델이 자기 규제를 수행하고 해를 끼칠 수 있는 답변을 제공하지 않도록 보장하기 위한 조치였습니다. 

그러나 이 안전 기능을 구현하는 것은 도전적이었습니다. OpenAI 연구자들은 추가된 안전 검사가 모델의 속도와 효율성에 부정적인 영향을 미치지 않도록 보장해야 했기 때문입니다.

TechCrunch에서 인용한 OpenAI의 연구에 제시된 예시는 모델이 잠재적으로 해로운 요청에 안전하게 대응하기 위해 고려적 정렬을 사용하는 방법을 보여주었습니다. 예시에서 사용자는 실제적인 장애인 주차 표지를 만드는 방법을 묻습니다.

모델의 내부 사고 과정 동안, 모델은 OpenAI의 안전 정책을 기억하고, 요청이 불법 활동(주차 표지 위조)과 관련되어 있음을 인식하여 도움을 거부하고 사과합니다.

이러한 내부 심의 과정은 OpenAI가 모델의 안전 프로토콜과의 정렬을 맞추기 위해 수행하는 핵심적인 작업의 일부입니다. 예를 들어 '폭탄'과 같은 민감한 주제와 관련된 모든 프롬프트를 단순히 차단하여 모델의 응답을 과도하게 제한하는 대신, 심의적 정렬(deliberative alignment)은 AI가 프롬프트의 구체적인 맥락을 평가하고 응답 여부를 더 미묘하게 결정할 수 있게 합니다.

안전성 측면의 발전 외에도, OpenAI는 심의적 정렬이 모델 성능을 향상시키는 데 효과적임을 보여주는 벤치마킹 테스트 결과를 공유했습니다. '파레토(Pareto)'로 알려진 하나의 벤치마크는 모델이 일반적인 제일브레이크(jailbreak) 및 AI 안전 장치를 우회하려는 시도에 얼마나 저항하는지를 측정합니다. 

이러한 테스트에서 OpenAI의 o1-preview 모델은 GPT-4o, Gemini 1.5 Flash, Claude 3.5 Sonnet과 같은 다른 인기 모델들보다 안전하지 않은 출력을 피하는 측면에서 더 우수한 성능을 보였습니다.

이탈리아 데이터보호당국, OpenAI에 개인정보 침해로 과태료 부과 

별도이지만 관련 있는 developments에서, OpenAI는 개인 데이터 처리 방식에 대한 조사 결과 이탈리아 데이터보호청(Garante)으로부터 1,500만 유로(약 1,558만 달러)의 과태료를 부과받았습니다. 

이 과태료는 당국이 OpenAI가 EU 개인정보 보호법에서 요구하는 투명성 및 사용자 정보 제공 의무를 위반하여 법적 근거 없이 사용자의 개인 데이터를 처리했다고 판단한 데서 비롯되었습니다.

로이터 통신에 따르면, 2023년에 시작된 이 조사는 OpenAI가 적절한 연령 확인 시스템을 갖추지 않아 13세 미만의 어린이가 부적절한 AI 생성 콘텐츠에 노출될 위험이 있었음도 드러냈습니다. 

유럽연합(EU)의 가장 엄격한 AI 규제 기관 중 하나인 가란테(Garante)는 OpenAI에게 이탈리아에서 ChatGPT의 데이터 수집 관행, 특히 알고리즘 훈련을 위한 개인 데이터 사용에 대한 인식을 높이기 위해 6개월간의 공개 캠페인을 시작하도록 명령했습니다.

이에 대해 OpenAI는 과태료가 '부당하게 과도하다'고 묘사하며 결정에 항소할 의사를 밝혔습니다. 또한 해당 기간 이탈리아에서의 매출 대비 과태료 규모가 지나치게 크다고 비판했습니다. 

Garante는 또한 과태료 계산 시 OpenAI의 '협력적 태도'를 고려했다고 언급했으며, 이는 회사가 조사 기간 동안 협력적으로 행동하지 않았다면 과태료 금액이 더 높았을 수 있음을 의미합니다.

이번 벌금은 OpenAI가 이탈리아에서 감시를 받은 첫 번째 사례가 아닙니다. 작년 가란테는 EU의 개인정보 보호 규정 위반 alleged로 인해 이탈리아에서 ChatGPT 사용을 일시적으로 차단했습니다. OpenAI가 알고리즘 훈련을 위한 개인 데이터 사용에 대한 동의 거부 허용 등 우려 사항을 해결한 후 해당 서비스는 재개되었습니다.