Технологические гиганты обращаются к Karya за высококачественными данными в эпоху ИИ

В тихой деревне Агара, расположенной среди рисовых полей и арахисовых полей на юго-западе Бангалора, Притхи П. сидит за своей швейной машинкой. Обычно она проводит дни, сшивая одежду и ремонтируя garments, зарабатывая менее 1 доллара в день за свою работу. Однако сегодня день отличается. Притхи записывает предложения на своем родном языке каннада в приложение для смартфона. Она является одной из 70 работников, нанятых Karya, стартапом, посвященным сбору текстовых, голосовых и визуальных данных на местных языках Индии.

Прити и её коллеги входят в обширную глобальную рабочую силу, действующую в таких странах, как Индия, Кения и Филиппины, и занимаются сбором и маркировкой данных, необходимых для работы ИИ-чатботов и виртуальных помощников. В отличие от многих других подрядчиков по обработке данных, Karya выплачивает работникам щедрую зарплату, особенно в местных масштабах. Всего за три дня работы в Karya Прити заработала 4500 рупий (54 доллара США), что более чем в четыре раза превышает её ежемесячный доход в качестве портнихи. Этот доход позволил ей погасить часть кредита на ремонт дома, принёс облегчение её семье. Модель Karya демонстрирует, как технологии могут способствовать развитию сельских сообществ.

Основанная в 2021 году, компания Karya появилась на волне бума генеративных ИИ-технологий, таких как ChatGPT, что усилило голод технологических компаний в данных. По данным Nasscom, к 2030 году в Индии ожидается почти миллион работников по аннотации данных. Karya выделяется тем, что предлагает своим преимущественно женским работникам из сельской местности заработную плату, которая может быть в 20 раз выше установленного минимума, обеспечивая технологическим компаниям более качественные данные на индийских языках.

Технологические гиганты обращаются в Karya за качественными данными

Некоторые из ведущих игроков Кремниевой долины теперь сотрудничают с Karya для решения проблемы получения высококачественных данных для их продуктов ИИ. Microsoft, например, использовала Karya для приобретения местных речевых данных. Фонд Билла и Мелинды Гейтс сотрудничает с Karya для смягчения гендерных предубеждений в данных, которые питают большие языковые модели, критически важные для чат-ботов ИИ. Google от Alphabet также полагается на Karya для сбора речевых данных в 85 округах Индии, с планами расширения на все округа и языки.

Многие ИИ-сервисы разрабатывались преимущественно на основе данных на английском языке, что привело к недостаточному представлению пользователей, не говорящих по-английски, особенно в таких странах, как Индия. Маниш Гупта из Google отмечает острую проблему: более 70 языков, на которых говорят миллионы людей в Индии, не имеют цифровой корпусной базы. Этот пробел приводит к тому, что ИИ-системы испытывают трудности с грамматикой и словарным запасом в языках Южной Азии. Усилия Karya имеют решающее значение для устранения этих неравенств.

Значение разнообразных и качественных данных трудно переоценить. Большие языковые модели, обученные на недостаточных или некачественных данных, могут распространять дезинформацию, вредные стереотипы и даже язык вражды. Обеспечение репрезентативности в обучающих данных жизненно важно, и Karya играет в этом ключевую роль.

Социальное влияние Karya

Karya, стартап социального воздействия со штаб-квартирой в Бангалоре, не только расширяет пул представленных языков, но и привлекает работников из сельских районов, которых иначе могли бы игнорировать. Приложение компании разработано для работы без доступа в интернет и предлагает голосовую поддержку для людей с низкой грамотностью. Более 32 000 краудсорсинговых работников в Индии вошли в приложение, выполнив 40 миллионов оплачиваемых цифровых задач, включая распознавание изображений, аннотирование видео и аннотирование речи.

Для основателя Karya Ману Чопры миссия выходит за рамки работы с данными. Выросший в бедности в Западном Дели, он понимал, какое влияние технологии могут оказать на борьбу с бедностью. Модель Karya позволяет работникам получать справедливый доход, что в конечном итоге помогает бороться с бедностью в сельских сообществах.

Успех Karya в Индии вдохновляет компанию исследовать возможности за пределами своих границ. Стартапт ведет переговоры о предоставлении своей платформы в качестве услуги организациям в Африке и Южной Америке, которые могут воспроизвести модель для расширения прав и возможностей своих собственных сообществ.

Более 30 000 образованных женщин в сельской Индии активно работают с Karya над проектами, направленными на снижение гендерных предубеждений в наборах данных ИИ. Эта инициатива, поддерживаемая Фондом Билла и Мелинды Гейтс, является значительным вкладом в развитие ИИ на индийских языках и послужит основой для создания наборов данных, способствующих гендерному равенству в ИИ-системах.

Путь к светлому будущему

В таких деревнях, как Яландур, женщины с энтузиазмом участвуют в проектах Karya, движимые желанием зарабатывать и обеспечивать образование своих детей. По мере развития технологий инициативы, подобные Karya, не только трансформируют индустрию данных, но и открывают двери к светлому будущему для сельских сообществ по всему миру.

Инновационный подход Karya к сбору данных трансформирует ландшафт ИИ, одновременно решая критические социальные проблемы, такие как бедность и гендерная предвзятость. По мере того как технологические компании всё больше осознают ценность качественных данных, модель Karya служит маяком прогресса и инклюзивности в технологической индустрии.