기술 거대 기업들, AI 시대의 고품질 데이터를 위해 Karya에 의존

방갈로르 남서쪽의 논과 땅콩 밭 사이에 자리 잡은 고요한 마을 아가라에서 프리티 P.는 재봉틀 앞에 앉아 있다. 평소 그녀는 하루 종일 옷을 바느질하고 수선하며 하루 1달러 미만의 임금을 받는다. 하지만 오늘은 다르다. 프리티는 스마트폰 앱에 모국어인 칸나다어로 문장을 읽고 있다. 그녀는 Karya에 고용된 70명의 노동자 중 한 명으로, Karya는 인도 현지 언어로 텍스트, 음성, 이미지 데이터를 수집하는 데 전념하는 스타트업이다.

프리티와 그녀의 동료들은 인도, 케냐, 필리핀 등 여러 국가에서 활동하는 광범위한 글로벌 노동력의 일원으로, AI 챗봇과 가상 비서에 필수적인 데이터 수집 및 레이블링 작업을 담당한다. 다른 많은 데이터 계약업체와 달리 Karya는 현지 기준으로도 관대하게 노동자에게 임금을 지급한다. Karya에서 단 3일 일한 후, 프리티는 4,500루피(54달러)를 벌었는데, 이는 재봉사로 한 달 버는 금액의 네 배 이상이었다. 이 소득으로 그녀는 주택 수리 대출 할부를 상환할 수 있었고, 이는 그녀의 가족에게 안도감을 안겨주었다. Karya의 모델은 기술이 어떻게 농촌 지역 사회를 부양할 수 있는지 보여준다.

2021년에 설립된 Karya의 등장은 ChatGPT와 같은 생성형 AI 기술의 급증과 맞물려, 기술 기업들의 데이터에 대한 갈증을 더욱 고조시켰다. Nasscom에 따르면, 특히 인도는 2030년까지 거의 100만 명의 데이터 주석 작업자를 보유할 것으로 예상된다. Karya는 주로 여성으로 구성된 농촌 노동자에게 prevailing 최저임금의 최대 20배에 달하는 임금을 제공함으로써, 기술 기업들에게 더 나은 품질의 인도어 데이터를 보장하는 점에서 두각을 나타낸다.

기술 거대 기업들, 품질 데이터를 위해 Karya에 의존

실리콘 밸리의 주요 기업들 중 일부는 이제 Karya와 협력하여 AI 제품에 필요한 고품질 데이터 확보라는 과제를 해결하고 있다. Microsoft의 경우, Karya를 활용해 현지 음성 데이터를 확보했다. 빌 & 멜린다 게이츠 재단은 대규모 언어 모델에 입력되는 데이터의 성별 편향을 완화하기 위해 Karya와 파트너십을 맺었으며, 이는 AI 챗봇에 필수적이다. 알파벳의 구글도 85개 인도 지역구에서 음성 데이터를 수집하기 위해 Karya에 의존하고 있으며, 모든 지역구와 언어로 확대할 계획이다.

많은 AI 서비스는 주로 영어권 데이터를 사용하여 개발되었기 때문에, 인도와 같은 국가의 비영어권 사용자들에 대한 대표성이 부족하다는 문제가 있었다. 구글의 마니슈 구프타는 수백만 명이 사용하는 70개 이상의 인도어 디지털 코퍼스가 전혀 없다는 극명한 과제를 지적한다. 이러한 격차는 AI 시스템이 남아시아 언어의 문법과 어휘 처리에 어려움을 겪게 만든다. Karya의 노력은 이러한 불균형을 해소하는 데 필수적이다.

다양하고 고품질의 데이터의 중요성은 아무리 강조해도 지나치지 않다. 불충분한 데이터로 훈련된 대규모 언어 모델은 허위 정보, 유해한 고정관념, 심지어 혐오 발언을 생성할 수 있다. 훈련 데이터에 대한 대표성을 보장하는 것은 매우 중요하며, Karya는 이 측면에서 중요한 역할을 수행하고 있다.

Karya의 사회적 영향

방갈로르에 기반을 둔 사회적 영향 스타트업인 Karya는 대표 언어의 풀을 확장할 뿐만 아니라, 그렇지 않으면 간과될 수 있는 농촌 지역의 노동자들을 대상으로 하고 있다. 회사의 앱은 인터넷 접속 없이도 작동하도록 설계되었으며, 문해력이 제한된 사용자를 위해 음성 지원을 제공한다. 인도에서는 32,000명 이상의 크라우드소싱 노동자가 앱에 로그인하여 이미지 인식, 비디오 주석 달기, 음성 주석 달기 등 4,000만 건의 유료 디지털 작업을 완료했다.

Karya의 창립자 마누 초프라에게 미션은 데이터를 넘어선다. 서부 델리의 빈곤 속에서 자라면서 그는 기술이 빈곤 완화에 미칠 수 있는 영향을 이해했다. Karya의 모델은 노동자들이 공정한 소득을 얻을 수 있게 하여 궁극적으로 농촌 지역 사회의 빈곤 퇴치에 기여한다.

인도에서의 Karya의 성공은 이 회사가 국경 너머의 기회를 모색하도록 영감을 주고 있다. 이 스타트업은 아프리카와 남미의 조직들에게 자신의 플랫폼을 서비스로 제공하기 위한 협상을 진행 중이며, 이러한 조직들은 이 모델을 복제하여 자체 지역 사회를 강화할 수 있다.

인도 농촌 지역의 30,000명 이상의 교육받은 여성들이 AI 데이터 세트의 성별 편향을 줄이는 프로젝트를 위해 Karya와 적극적으로 활동하고 있다. 빌 & 멜린다 게이츠 재단의 지원을 받는 이 이니셔티브는 인도어 분야에서 중요한 노력이며, AI 시스템의 성평등을 촉진하는 데이터 세트를 구축하는 기반이 될 것이다.

더 밝은 미래를 향한 길

얀두르와 같은 마을에서 여성들은 자녀를 부양하고 교육하려는 욕구로 Karya의 프로젝트에 적극적으로 참여하고 있다. 기술이 계속 발전함에 따라 Karya와 같은 이니셔티브는 데이터 산업을 재편할 뿐만 아니라 전 세계 농촌 지역 사회를 위해 더 밝은 미래의 문을 열고 있다.

Karya의 혁신적인 데이터 수집 접근 방식은 AI 환경을 변화시키면서 빈곤과 성별 편향과 같은 중요한 사회적 문제들을 해결하고 있다. 기술 기업들이 고품질 데이터의 가치를 점점 더 인식함에 따라, Karya의 모델은 기술 산업에서 진보와 포용성의 등불 역할을 한다.