Скрытые затраты на обучение моделей ИИ

Создание и поддержка современных моделей ИИ требуют значительных инвестиций, которые могут превысить сотни миллионов долларов. Оценки показывают, что эти затраты могут достичь миллиарда долларов в ближайшем будущем. 

Эти расходы в основном связаны с вычислительной мощностью, где используются GPU Nvidia, которые могут стоить около $30 000 каждая и могут требовать тысяч других для эффективности. Исследователи заявили, что качество и количество набора обучающих данных, используемых при разработке таких моделей, очень важны. 

Лидеры отрасли раскрывают ошеломляющие затраты на разработку ИИ

Согласно Джеймсу Беткеру из OpenAI, производительность модели является функцией обучающих данных, а не дизайна или архитектуры модели. Его утверждение заключается в том, что модели, обученные на больших наборах данных, достигнут одинаковых результатов. Следовательно, данные являются ключом к развитию технологии ИИ.

Дарио Амодеи, генеральный директор компании Anthropic AI, поделился своими взглядами на финансовые аспекты этих вызовов в подкасте In Good Company. Он заявил, что обучение текущих моделей, таких как ChatGPT-4, оценивается примерно в $100 миллионов, а обучение будущих моделей может потребовать от $10 до $100 миллиардов в ближайшие несколько лет.

Генеративные модели ИИ, и те, которые создаются крупными фирмами, по своей сути являются статистическими моделями. Следовательно, они используют множество примеров для прогнозирования наиболее вероятных исходов. Кайл Ло из Института ИИ Аллена (AI2) говорит, что прирост производительности можно в основном отнести на счет данных, особенно когда среда обучения последовательна. 

Централизация данных вызывает этические проблемы и проблемы доступности

Высокая стоимость получения данных хорошего качества делает разработку ИИ прерогативой нескольких крупных компаний в развитом мире. Эта концентрация ресурсов также является источником беспокойства относительно доступности технологии ИИ и возможности ее misuse. 

Только OpenAI потратила сотни миллионов долларов на лицензии на данные, а Meta рассматривала возможность покупки издателей для доступа к данным. Ожидается, что рынок обучающих данных для ИИ расширится, и брокеры данных, вероятно, извлекут выгоду из этой возможности. 

Проблемы возникают из-за сомнительных практик приобретения данных. Согласно отчетам, многие компании захватили большие объемы контента без разрешения владельцев такого контента, а некоторые компании используют данные с разных платформ и не выплачивают вознаграждение пользователям. Как мы сообщали ранее, OpenAI использовала свою модель транскрипции аудио Whisper для транскрипции более миллиона часов видео YouTube для тонкой настройки GPT-4.

Организации работают над созданием обучающих наборов данных для ИИ с открытым доступом

Поскольку гонка за сбор данных создает определенные проблемы, необходимы усилия независимых сторон для обеспечения открытого доступа к обучающим наборам данных. Некоторые организации, такие как EleutherAI и Hugging Face, создают крупные наборы данных, доступные общественности для разработки ИИ.

The Wall Street Journal недавно выделил две потенциальные стратегии решения проблем сбора данных: генеративное создание данных и обучение по программе (curriculum learning). Синтетические данные создаются с помощью самих моделей ИИ, в то время как обучение по программе пытается предоставлять моделям высококачественные данные структурированным образом, чтобы они могли устанавливать связи даже при меньшем объеме данных. Однако оба метода все еще находятся на стадии разработки, и их эффективность еще не была протестирована.