Модели ИИ осваивают возможности задолго до их проявления, показывают исследования

Новые исследования показали, что модели искусственного интеллекта (ИИ) обладают некоторыми возможностями задолго до того, как проявят их в процессе обучения. Согласно исследованию, проведенному Гарвардским университетом и Мичиганским университетом, модели не демонстрируют эти способности, пока они им не понадобятся тем или иным образом.

Это исследование является одним из многих, проведенных для понимания того, как модели ИИ формируют свои возможности перед их демонстрацией.

Исследование проанализировало, как модели ИИ усваивают базовые концепции, такие как размер и цвет, и выявило, что они осваивают эти навыки раньше, чем показывают большинство тестов. Исследование также дало представление о сложности измерения возможностей ИИ. «Модель может казаться некомпетентной при использовании стандартных запросов, хотя на самом деле обладает сложными способностями, которые проявляются только в определенных условиях», — говорится в статье.

Исследования показывают, что модели ИИ интернализируют концепции

Гарвардский университет и Мичиганский университет не первыми пытаются понять возможности моделей ИИ: исследователи из Anthropic опубликовали статью под названием «Словарное обучение» (dictionary learning). В статье обсуждалось картирование связей в языке Claude с конкретными концепциями, которые он понимает. Хотя большинство этих исследований рассматривали вопрос с разных сторон, их главная цель — понять модели ИИ.

Anthropic сообщила, что обнаружила признаки, которые можно связать с различными интерпретируемыми концепциями. «Мы обнаружили миллионы признаков, которые, по-видимому, соответствуют интерпретируемым концепциям, ranging от конкретных объектов, таких как люди, страны и известные здания, до абстрактных идей, таких как эмоции, стили письма и шаги рассуждения», — говорится в исследовании.

В ходе исследования исследователи провели несколько экспериментов с использованием диффузионной модели, одной из самых популярных архитектур для ИИ. Во время эксперимента они заметили, что модели имеют различные способы манипуляции базовыми концепциями. Паттерны были последовательными: по мере того как модели ИИ демонстрировали новые способности на разных этапах, наблюдался резкий переходный момент, сигнализирующий о приобретении новой способности.

В процессе обучения модели демонстрировали, что освоили концепции примерно за 2000 шагов раньше, чем это мог бы обнаружить стандартный тест. Сильные концепции появлялись примерно на 6000-м шаге, а более слабые становились видимыми около 20 000 шагов. После корректировки сигналов концепций исследователи обнаружили прямую корреляцию со скоростью обучения.

Исследователи раскрывают методы доступа к скрытым возможностям

Исследователи использовали альтернативные методы запросов для выявления скрытых возможностей до их проявления в стандартных тестах. Массовый характер скрытого возникновения способностей влияет на оценку и безопасность ИИ. Например, традиционные бенчмарки могут упустить определенные возможности моделей ИИ, тем самым упустив как полезные, так и тревожные аспекты.

В ходе исследования команда выявила определенные методы доступа к скрытым возможностям моделей ИИ. Исследователи назвали эти методы линейным латентным вмешательством и избыточным запросом (over-prompting), поскольку заставляли модели демонстрировать сложное поведение до того, как оно проявлялось в стандартных тестах. Исследователи также обнаружили, что модели ИИ манипулировали определенными сложными функциями до того, как могли бы показать их через стандартные запросы.

Например, моделям можно было успешно предложить сгенерировать «улыбающихся женщин» или «мужчин в шляпах» до того, как их просили объединить эти образы. Однако исследования показали, что они научились объединять их раньше, но не могут продемонстрировать это через обычные запросы. Демонстрация моделей своих возможностей может быть названа «грокингом» (grokking) — ситуацией, когда модели демонстрируют идеальную производительность в тестах после длительного обучения. Однако исследователи отметили ключевые различия между этими явлениями.

В то время как грокинг происходит после нескольких сеансов обучения и включает в себя уточнение нескольких распределений одних и тех же наборов данных, исследования показывают, что эти способности возникают в процессе активного обучения. Исследователи отметили, что модели находили новые способы манипуляции концепциями через изменение фаз, а не через постепенное улучшение представлений, как при грокинге.

Согласно исследованию, модели знают эти концепции, они просто не могут их продемонстрировать. Это похоже на людей, которые смотрят и понимают иностранный фильм, но не могут говорить на этом языке. Это показывает, что у большинства моделей больше возможностей, чем они демонстрируют, а также иллюстрирует сложность понимания и контроля их способностей.