Дефицит данных в индустрии ИИ

По мере того как индустрия искусственного интеллекта (ИИ) продолжает набирать популярность, назревает серьезная проблема — нехватка качественных обучающих данных. Этот дефицит угрожает замедлить рост моделей ИИ, особенно больших языковых моделей, и может потенциально изменить траекторию революции ИИ. В этой статье рассматривается, почему сокращение ресурсов данных вызывает обеспокоенность, и предлагаются возможные решения для устранения этой проблемы.

Данные высокого качества являются кровеносной системой алгоритмов ИИ, способствуя их точности, производительности и общему качеству. Например, ChatGPT, известная языковая модель, была обучена на огромном массиве текстовых данных объемом 570 гигабайт, что эквивалентно примерно 300 миллиардам слов. Аналогично, алгоритм стабильной диффузии, который лежит в основе приложений для генерации изображений ИИ, таких как DALL-E, Lensa и Midjourney, опирался на набор данных LIAON-5B, содержащий 5,8 миллиарда пар «изображение-текст». Недостаточное количество данных может привести к неточностям и низкому качеству результатов.

Кроме того, качество обучающих данных играет ключевую роль. Данные низкого качества, такие как посты в социальных сетях или размытые изображения, доступны в изобилии, но их недостаточно для обучения высокопроизводительных моделей ИИ. Текст, извлеченный из социальных сетей, может быть искажен предвзятостью, предрассудками, дезинформацией или незаконным контентом, которые модели ИИ могут непреднамеренно воспроизвести. Например, попытка Microsoft обучить ИИ-бота на основе контента Twitter привела к тому, что он стал генерировать расистские и мизогинные ответы. 

Чтобы смягчить эти риски, разработчики ИИ ищут высококачественный контент из таких источников, как книги, онлайн-статьи, научные статьи, Википедия и тщательно отфильтрованный веб-контент. Даже необычные источники, такие как романы с самоиздания на платформе Smashwords, использовались для улучшения диалоговых ИИ, таких как Google Assistant.

Предложение данных против спроса ИИ

Хотя индустрия ИИ постоянно увеличивала размер наборов данных, используемых для обучения, доступность онлайн-данных растет более медленными темпами. Недавние исследования показывают, что при текущих темпах обучения ИИ высококачественные текстовые данные могут быть исчерпаны до 2026 года. Данные языкового моделирования низкого качества могут закончиться в период с 2030 по 2050 год, а данные изображений низкого качества — в период с 2030 по 2060 год. Эти прогнозы вызывают опасения по поводу потенциального узкого места в развитии ИИ.

Ставки в мире ИИ высоки: PwC оценивает, что ИИ может внести вклад до 15,7 триллиона долларов США в мировую экономику к 2030 году. Однако назревающий дефицит данных угрожает замедлить развитие отрасли и реализацию ее потенциала.

Улучшение эффективности данных: Разработчики ИИ могут совершенствовать алгоритмы для более эффективного использования существующих данных. В ближайшие годы они смогут создавать высокопроизводительные системы ИИ с меньшим объемом данных и сниженным потреблением вычислительных мощностей. Такой подход не только alleviates дефицит данных, но и способствует снижению экологического следа ИИ.

Генерация синтетических данных: Другим решением является использование ИИ для создания синтетических данных, адаптированных для обучения конкретных моделей ИИ. Проекты уже используют синтетический контент от сервисов генерации данных, таких как Mostly AI, и этот подход, вероятно, станет более распространенным в будущем.

Исследование источников данных с ограничениями на использование: Разработчики все чаще исследуют контент за пределами свободно доступных онлайн-ресурсов. Ценные данные, хранящиеся у крупных издателей и в офлайн-хранилищах, включая миллионы текстов, опубликованных до эпохи интернета, могут служить новыми источниками для проектов ИИ. Недавние шаги компаний, таких как News Corp, по заключению сделок о контенте с разработчиками ИИ, где ИИ-компании платят за обучающие данные, могут помочь обеспечить справедливую компенсацию создателям контента и устранить дисбаланс сил.

Зависимость индустрии ИИ от высококачественных обучающих данных очевидна, и потенциальный дефицит таких данных может создать препятствия для ее дальнейшего роста. Хотя существуют опасения, ситуация может быть не такой ужасной, как кажется. У разработчиков ИИ есть возможности для повышения эффективности использования данных, создания синтетических данных и исследования источников данных с ограничениями на использование. Эти стратегии, в сочетании с постоянным совершенствованием технологий ИИ, дают надежду на смягчение рисков, связанных с нехваткой данных. По мере развертывания революции ИИ адаптивность и инновации будут ключевыми факторами в решении этой новой проблемы и обеспеченииcontinued вклада ИИ в мировую экономику.