科技巨头转向Karya获取AI时代的高质量数据

在班加罗尔西南部稻田和花生田环绕的安静村庄Agara，Preethi P.正坐在她的缝纫机前。通常，她白天忙着缝制和修补衣物，每天工作收入不到1美元。然而，今天不同。Preethi正在用智能手机应用程序朗读她母语卡纳达语的句子。她是Karya雇佣的70名工人之一，Karya是一家致力于在印度方言中收集文本、语音和图像数据的初创公司。

Preethi和她的同事是遍布印度、肯尼亚和菲律宾等国家的庞大全球劳动力的一部分，负责收集和对AI聊天机器人和虚拟助手所需的数据进行标注。与许多其他数据承包商不同，Karya向其工人支付慷慨的报酬，尤其是按当地标准而言。在Karya工作仅仅三天后，Preethi赚了4,500卢比（54美元），是她作为裁缝月收入的四倍多。这笔收入使她能够支付房屋维修贷款的分期款项，给家庭带来了 relief。Karya的模式展示了技术如何提升农村社区。

Karya成立于2021年，其崛起恰逢ChatGPT等生成式AI技术的激增，加剧了科技公司对数据的渴望。据Nasscom称，到2030年，印度预计将拥有近100万名数据标注工人。Karya脱颖而出，为其主要由农村女性组成的劳动力提供高达现行最低工资20倍的工资，确保为科技公司提供更高质量的印度语言数据。

科技巨头转向Karya获取高质量数据

硅谷的一些主要玩家现在正与Karya合作，解决为其AI产品获取高质量数据的挑战。微软就是一个例子，它利用Karya获取本地语音数据。比尔及梅琳达·盖茨基金会正与Karya合作，以减轻喂入大型语言模型的数据中的性别偏见，这对AI聊天机器人至关重要。Alphabet旗下的Google也依赖Karya在印度85个地区收集语音数据，并计划扩展到所有地区和语言。

许多AI服务主要使用英语数据开发，导致非英语用户（特别是在印度等国家）缺乏代表性。Google的Manish Gupta指出了这一严峻挑战：超过70种由数百万人使用的印度语言完全没有数字语料库。这一差距导致AI系统在南亚语言的语法和词汇方面表现不佳。Karya的努力对于解决这些差异至关重要。

多样化和高质量数据的重要性怎么强调都不为过。在不足的数据上训练的大型语言模型可能会产生错误信息、有害刻板印象甚至仇恨言论。确保训练数据中的代表性至关重要，而Karya在这方面发挥着关键作用。

Karya的社会影响

Karya是一家位于班加罗尔的社会影响力初创公司，不仅扩大了代表性语言的池子，还针对那些可能被忽视的农村地区工人。该公司的应用程序设计为无需互联网即可工作，并为识字有限的人提供语音支持。印度已有超过32,000名众包工人登录该应用程序，完成了4,000万个付费数字任务，包括图像识别、视频标注和语音标注。

对于Karya的创始人Manu Chopra来说，使命超越了数据。他在西德里贫困中长大，深知技术对减轻贫困的影响。Karya的模式允许工人获得公平的收入，最终帮助对抗农村社区的贫困。

Karya在印度的成功激励着该公司探索边境以外的机会。这家初创公司正在讨论将其平台作为服务提供给非洲和南美洲的组织，这些组织可以复制该模式以赋能其自身社区。

超过30,000名受过教育的印度农村女性正积极参与Karya的项目，旨在减少AI数据集中的性别偏见。这项由比尔及梅琳达·盖茨基金会支持的计划是印度语言领域的一项重大努力，将为构建促进AI系统中性别平等的数据集奠定基础。

通往更光明未来的道路

在Yelandur等村庄，女性积极参与Karya的项目，渴望赚取收入并教育子女。随着技术的不断进步，像Karya这样的举措不仅正在重塑数据行业，也为全球农村社区打开了通往更光明未来的大门。

Karya在数据收集方面的创新方法正在改变AI格局，同时解决贫困和性别偏见等关键社会问题。随着科技公司越来越认识到高质量数据的价值，Karya的模式成为科技行业进步和包容性的灯塔。