Исследования показывают, что модели искусственного интеллекта осваивают свои возможности задолго до того, как начинают их демонстрировать

Новое исследование показало, что модели искусственного интеллекта (ИИ) обладают некоторыми возможностями задолго до того, как проявляют их во время обучения. Согласно исследованию, проведенному Гарвардским университетом и Мичиганским университетом, модели не демонстрируют эти способности до тех пор, пока в них не возникнет необходимость в том или ином виде.

Данное исследование — одно из многих, проведенных для понимания того, как модели искусственного интеллекта формируют свои возможности, прежде чем демонстрировать их.

В исследовании анализировалось, как модели ИИ усваивают базовые понятия, такие как размер и цвет, и выяснилось, что они осваивают эти навыки раньше, чем показывают большинство тестов. Исследование также позволило понять сложность измерения возможностей ИИ. «Модель может казаться некомпетентной при стандартных запросах, в то время как на самом деле она обладает сложными способностями, которые проявляются только при определенных условиях», — говорится в статье.

Исследования показывают, что модели искусственного интеллекта усваивают концепции

Гарвардский университет и Мичиганский университет не первые, кто пытается понять возможности моделей ИИ: исследователи из Anthropic опубликовали статью под названием «обучение словарям». В статье обсуждалось сопоставление связей в их языке Клода с конкретными понятиями, которые он понимает. Хотя большинство этих исследований проводились под разными углами, их основная цель — понять модели ИИ.

В исследовании Anthropic были обнаружены признаки, которые можно связать с различными интерпретируемыми понятиями. «Мы обнаружили миллионы признаков, которые, по-видимому, соответствуют интерпретируемым понятиям, начиная от конкретных объектов, таких как люди, страны и известные здания, и заканчиваяtracидеями, такими как эмоции, стили письма и этапы рассуждения», — говорится в отчете.

В ходе своих исследований ученые провели несколько экспериментов, используя диффузионную модель, одну из самых популярных архитектур для ИИ. В ходе экспериментов они обнаружили, что модели используют различные способы манипулирования базовыми понятиями. Закономерности были последовательными: модели ИИ демонстрировали новые возможности на разных этапах, а также наблюдалась резкая точка перехода, сигнализирующая о приобретении новой способности.

В ходе обучения модели показали, что освоили концепции примерно на 2000 шагов раньше, чем это выявил бы стандартный тест.tronконцепции появились примерно на 6000 шагах, а более слабые — примерно на 20000 шагах. После корректировки сигналов концепций была обнаружена прямая корреляция со скоростью обучения.

Исследователи раскрывают методы доступа к скрытым возможностям

Исследователи использовали альтернативные методы подсказок, чтобы выявить скрытые возможности до того, как они проявились в стандартных тестах. Широкое распространение скрытых возможностей влияет на оценку и безопасность ИИ. Например, традиционные бенчмарки могут упускать из виду определенные возможности моделей ИИ, тем самым не учитывая как полезные, так и вызывающие опасения.

В ходе исследования команда разработала определенные методы доступа к скрытым возможностям моделей ИИ. Эти методы получили названия «линейное латентное вмешательство» и «чрезмерное подсказывание», поскольку исследователи заставляли модели демонстрировать сложное поведение до того, как оно проявится в стандартных тестах. Исследователи также обнаружили, что модели ИИ манипулировали определенными сложными характеристиками, прежде чем демонстрировали их с помощью стандартных подсказок.

Например, моделям могли предложить успешно сгенерировать «улыбающихся женщин» или «мужчин в шляпах», прежде чем попросить их объединить. Однако исследования показали, что они научились объединять их раньше, но не смогут продемонстрировать это с помощью обычных подсказок. Можно сказать, что модели, демонстрирующие свои возможности, находятся в состоянии «познания» — ситуации, когда модели показывают идеальные результаты тестирования после длительного обучения. Однако исследователи отметили, что между этими двумя состояниями есть существенные различия.

Хотя процесс освоения понятий происходит после нескольких тренировочных сессий и включает в себя уточнение нескольких распределений одних и тех же наборов данных, исследование показывает, что эти возможности проявляются в ходе активного обучения. Исследователи отметили, что модели находили новые способы манипулирования понятиями посредством изменения фаз, а не постепенного улучшения представления в процессе освоения понятий.

Согласно исследованию, модели ИИ знают эти концепции, но не способны их продемонстрировать. Это похоже на ситуацию, когда люди смотрят и понимают иностранный фильм, но не говорят на этом языке. Это показывает, что большинство моделей обладают большими возможностями, чем демонстрируют, а также демонстрирует сложность понимания и управления этими возможностями.