Как предотвратить коллапс моделей и домино-эффект обучения ИИ на ИИ

Краткое содержание

• Обучение моделей ИИ на данных, сгенерированных ИИ, приводит к искаженному восприятию и неточным репрезентациям.
• Использование данных, сгенерированных ИИ, для обучения моделей ИИ повышает вероятность коллапса модели и отклонения от истинного распределения данных.
• Приоритет данных, созданных человеком, имеет решающее значение для предотвращения коллапса моделей ИИ и поддержания точности.

Искусственный интеллект (ИИ) сделал замечательные шаги в последние годы, с достижениями в моделях машинного обучения, приводящими к значительным прорывам. С другой стороны, появилась тревожная тенденция, при которой модели ИИ обучаются на данных, сгенерированных ИИ. В статье под названием «Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать» исследователи из престижных учреждений осветили потенциальные опасности этой практики. Они предупреждают, что такой подход может привести к явлению, известному как коллапс модели, где модели ИИ теряют способность точно воспринимать реальность. Эта статья углубляется в тонкости коллапса модели и подчеркивает важность опоры на данные, созданные человеком, для поддержания целостности моделей ИИ.

Проклятие рекурсии приводит к коллапсу модели

Исследователи из Кембриджского, Оксфордского, Торонтского университетов и Имперского колледжа в Лондоне выявили тревожное последствие обучения моделей ИИ на данных, сгенерированных ИИ. Согласно их выводам, коллапс модели происходит, когда сгенерированные данные загрязняют обучающий набор для последующих поколений моделей. Проще говоря, модели ИИ, обученные на загрязненных данных, развивают искаженное восприятие реальности. В результате они производят неточные репрезентации, отклоняющиеся от истинного лежащего в основе распределения данных.

Проблема коллапса модели не ограничивается определенным типом модели ИИ. Некоторые наблюдают это в различных обученных генеративных моделях и инструментах, включая большие языковые модели (LLM), вариационные автокодировщики и модели гауссовских смесей. Накопление поколений усугубляет проблему, так как модели постепенно забывают исходное распределение данных. Следствием является симуляция, оторванная от реальности, делающая модели ИИ галлюцинирующими.

Обучение ИИ на ИИ — опасный тренд

Появление моделей ИИ, обучаемых на данных, сгенерированных ИИ, представляет собой тревожный тренд. По мере развития технологий иногда модели машинного обучения намеренно обучаются на выводах других систем ИИ. Например, языковые модели обучения (LLM) обучаются на выводах, сгенерированных GPT-4. Также платформы, такие как DeviantArt, позволяют публиковать произведения искусства, созданные ИИ, и использовать их в качестве обучающих данных для новых моделей ИИ. Хотя это может показаться шагом вперед, это несет значительные риски.

Исследователи предупреждают, что процесс обучения ИИ на ИИ может привести к распространению коллапсов моделей. Подобно проблемам, возникающим при попытке бесконечного клонирования, обучение моделей ИИ на данных, сгенерированных ИИ, может создать каскад неточностей и искажений. По мере того как модели продолжают учиться на загрязненных данных, они все больше отдаляются от истинного распределения данных, что приводит к потере понимания реального мира.

Данные, созданные человеком, предотвращают коллапс модели

Чтобы предотвратить вредные последствия коллапса модели, критически важно сохранять доступ к исходному источнику данных, созданных человеком. Исследователи предлагают, что существует «преимущество первопроходца» для обучения моделей ИИ. Обеспечивая обучение моделей на реальных данных, произведенных человеком, можно смягчить риск сдвига распределения и последующего коллапса модели.

Предотвращение коллапса модели требует решения двух основных причин, выявленных в исследовательской статье. «Статистическая ошибка аппроксимации» является первой причиной из-за ограниченного количества образцов данных. Вторая причина — «функциональная ошибка аппроксимации», возникающая из-за неправильной настройки поля ошибки во время обучения ИИ. Эти ошибки могут накапливаться с течением поколений, приводя к растущему каскаду неточностей внутри моделей.

Защита будущего моделей искусственного интеллекта

Появление ИИ, обучающегося на данных, созданных другим ИИ, создает серьезные вызовы для будущего моделей искусственного интеллекта. Феномен «коллапса моделей», при котором ИИ-модели теряют способность точно воспринимать реальность, требует немедленного внимания. Чтобы предотвратить коллапс моделей и обеспечить целостность ИИ-моделей, необходимо сохранять доступ к исходному источнику данных, созданных человеком, или иметь возможность отличать контент, сгенерированный машиной, от контента, созданного человеком.