연구, 직업 명성 인식에서의 AI 편향 드러내

국제노동기구(ILO)가 최근 수행한 연구는 인공지능(AI)을 사용하여 다양한 직업의 명성과 사회적 가치를 평가하는 방식을 심층적으로 분석했으며, 그 잠재적 이점과 과제를 모두 조명했습니다.

영국에서 수행된 ‘A Technological Construction of Society: Comparing GPT-4 and Human Respondents for Occupational Evaluation in the UK’라는 제목의 이 연구는 대규모 언어 모델(LLM)인 GPT-4가 수행한 AI 평가와 영국 내 인간 응답자들의 평가를 비교했습니다.

AI와 인간 평가 비교

이 획기적인 연구에서 영국 내 인간 응답자들은 먼저 다양한 직업의 명성과 사회적 가치에 대한 순위를 매기도록 요청받았습니다. 이후 GPT-4는 ‘평균적인 영국 프로필’을 대표하는 100명의 무작위 응답자의 관점을 시뮬레이션하여 유사한 순위를 제공하도록 임무를 부여받았습니다. 

이 연구는 AI 시스템의 평가가 인간 참가자의 평가와 얼마나 밀접하게 일치하는지, 그리고 AI가 인구통계학적 편향을 나타내는지 여부를 측정하는 것을 목표로 했습니다.

특히 연구는 두 가지 서로 다른 접근 방식을 통해 얻은 결과 사이에 유의미한 상관관계가 있음을 발견했습니다. GPT-4는 개별 직업의 명성과 사회적 가치에 대한 평균적인 영국의 견해를 예측하는 데 뛰어난 능력을 보였으며, 효과적으로 상대적인 직업 순위를 생성했습니다. 

이러한 일반적인 인간 의견을 알고리즘적으로 이해하는 능력은 AI가 직업 연구에 기여할 잠재력을 보여주며, 효율성 증대, 비용 효율성, 속도 향상, 사회적 인식 포착의 정확성 향상 등의 장점을 제공합니다.

직업 명성과 AI의 복잡한 관계

이 연구는 직업 연구에서 AI의 가능성을 강조하는 동시에 여러 가지 과제도 드러냈습니다. GPT-4는 디지털 경제와 관련된 직업이나 강력한 마케팅 및 영업 요소가 포함된 직업의 명성과 가치를 과대평가하는 경향이 있었습니다. 

반면, 인간 평가자와 비교할 때 특정 불법적이거나 전통적으로 낙인이 찍힌 직업의 명성과 사회적 가치를 과소평가했습니다. 또한, AI의 알고리즘 지시가 조작되었을 때 영국 맥락에서 인구통계학적 소수자들이 인식하는 직업의 명성과 사회적 가치 계층 구조를 이해하는 데 어려움을 겪었습니다.

인구통계학적 편향의 중요성

연구에서 강조된 중요한 측면 중 하나는 AI 모델에 인구통계학적 편향이 존재한다는 점입니다. GPT-4를 포함한 현재의 대규모 언어 모델은 주로 서구, 교육 수준이 높고, 산업화된, 부유한, 인구통계학적(WEIRD) 집단의 의견을 반영합니다. 

이러한 집단은 전 세계적으로 소수이지만, AI 모델 학습에 사용되는 데이터에 크게 기여했습니다. 그 결과, GPT-4와 같은 AI 시스템은 우연히도 인구통계학적 소수자나 취약 계층의 관점을 배제할 수 있습니다.

직장 세계에서의 AI에 대한 함의

이 연구의 발견은 직장 세계에서의 AI 시스템 적용에 광범위한 함의를 지닙니다. AI는 방대한 양의 비정형 텍스트, 음성 및 이미지 데이터를 처리하는 데 특히 유용한 보완적 도구가 될 수 있지만, 그 한계를 신중하게 고려해야 합니다. 

여기에는 인구통계학적 소수자의 의견과 관점을 생략할 가능성이 포함됩니다. 커리어 조언 제공이나 알고리즘 기반 성과 평가와 같은 맥락에서 이 연구는 이러한 한계를 해결하고 공정성과 포용성을 보장하는 것의 중요성을 강조합니다.