Исследователи Microsoft представили инновационный метод стирания конкретных знаний из больших языковых моделей

В заметном достижении в области искусственного интеллекта команда исследователей из Microsoft представила новаторский подход к избирательному изменению конкретных знаний в больших языковых моделях (LLM). Этот новаторский метод, подробно описанный в недавней статье на известной платформе arXiv.org, решает актуальную проблему, связанную с использованием материалов, защищенных авторским правом, во время обучения LLM. Кроме того, он предлагает многообещающее решение вопроса о том, могут ли эти модели адаптироваться без масштабного переобучения.

Значительный скачок в адаптивности

Большие языковые модели, включая ChatGPT от OpenAI, Llama 2 от Meta и Claude 2 от Anthropic, привлекли значительное внимание и scrutiny из-за своей исключительной способности генерировать текстовый контент на основе обширных наборов данных, на которых они обучены, которые могут включать материалы, защищенные авторским правом. Проблема настройки этих моделей для «забывания» или «обучения забыванию» конкретной информации давно вызывает обеспокоенность.

Эффективное стирание за один час работы на GPU

Исследователи из Microsoft, а именно Ронен Эльдан и Марк Рассинович, предложили элегантное решение этой проблемы. В их статье представлена трехкомпонентная методика, предназначенная для аппроксимации процесса «забывания» конкретной информации в больших языковых моделях. Наиболее примечательной особенностью их подхода является высокая эффективность. В частности, они продемонстрировали возможность полного удаления всех знаний, связанных с книгами о Гарри Поттере, включая персонажей и сюжетные детали, всего за один час дообучения на одном GPU. Такой высокий уровень эффективности открывает значительные перспективы для создания более адаптивных и отзывчивых языковых моделей.

Разбор трехэтапной техники

Техника Элдана и Руссиновича представляет собой заметное отступление от традиционного подхода к машинному обучению, который в основном сосредоточен на накоплении знаний без предоставления простых механизмов для их удаления. Их инновационный подход состоит из трех фундаментальных шагов:

1. Идентификация релевантных токенов: На начальном этапе модель обучается на целевых данных — в данном случае это книги о Гарри Поттере. Модель определяет токены, наиболее тесно связанные с целевыми данными, сравнивая свои прогнозы с прогнозами, сгенерированными базовой моделью. Этот начальный шаг является основой для точного определения знаний, которые необходимо стереть.

2. Замена уникальных выражений: Второй шаг включает замену уникальных выражений, специфичных для серии о Гарри Поттере, на общие аналоги. Таким образом, исследователи генерируют альтернативные прогнозы, которые эффективно отражают вывод модели, лишенной конкретных обучающих данных. Эта замена является ключевым элементом процесса стирания знаний.

3. Тонкая настройка и стирание: Финальный шаг заключается в тонкой настройке базовой модели с использованием альтернативных прогнозов. Этот процесс тонкой настройки стирает исходный текст из памяти модели при предоставлении контекста, связанного с серией о Гарри Поттере. Этот критический шаг позволяет модели «забыть» сложные сюжеты книг о Гарри Поттере.

Оценка успеха

Элдан и Руссинович провели всестороннюю серию тестов для оценки эффективности своей методологии. Они изучили способность модели генерировать или обсуждать контент, связанный с серией о Гарри Поттере, используя 300 автоматически сгенерированных запросов, и тщательно проанализировали вероятности токенов. Что наиболее важно, их результаты показывают, что всего после одного часа тонкой настройки модель могла практически «забыть» детальные сюжеты книг о Гарри Поттере. Примечательно, что это стирание оказало минимальное влияние на производительность модели в стандартных контрольных тестах, таких как ARC, BoolQ и Winogrande.

Последствия и будущие исследования

Хотя этот новаторский метод демонстрирует значительный потенциал, важно подчеркнуть, что дальнейшие исследования необходимы для совершенствования и расширения методологии, особенно в отношении более широких задач «обучения забыванию» в больших языковых моделях. Стоит отметить, что этот подход может быть особенно эффективным для художественных текстов, таких как серия о Гарри Поттере, благодаря наличию уникальных отсылок.

По мере того как системы искусственного интеллекта продолжают играть все более важную роль в различных сферах, способность избирательно «забывать» или удалять конкретную информацию приобретает первостепенное значение. Эта методология представляет собой фундаментальный шаг к созданию более ответственных, адаптивных и юридически соответствующих требованиям больших языковых моделей. Она имеет потенциал для решения этических норм, социальных ценностей и конкретных требований пользователей по мере развития области искусственного интеллекта.