OpenAI улучшит модели ИИ o1 и o3 с помощью новой парадигмы обучения безопасности

В пятницу OpenAI объявила о выпуске нового семейства моделей ИИ под названием o3. Компания утверждает, что новые продукты более продвинуты, чем ее предыдущие модели, включая o1. По словам стартапа, улучшения связаны с оптимизацией масштабирования вычислений во время тестирования (test-time compute), темой, которая изучалась в последние месяцы, и с внедрением новой парадигмы безопасности, использованной для обучения этих моделей.

В рамках своей постоянной приверженности повышению безопасности искусственного интеллекта компания OpenAI представила новое исследование, подробно описывающее внедрение «делiberативного выравнивания» (deliberative alignment). Новый метод безопасности направлен на обеспечение того, чтобы модели рассуждений ИИ соответствовали ценностям, установленным их разработчиками.

По утверждению OpenAI, этот подход применялся для улучшения выравнивания как моделей o1, так и o3, направляя их на размышление о политиках безопасности OpenAI в фазе вывода (inference). Фаза вывода — это период после того, как пользователь отправляет запрос модели, и до того, как модель генерирует ответ. 

В своем исследовании OpenAI отмечает, что делиберативное выравнивание привело к снижению частоты появления «небезопасных» ответов или ответов, которые компания считает нарушением ее политик безопасности, одновременно улучшая способность моделей более эффективно отвечать на безобидные вопросы.

Как работает делиберативное выравнивание 

В основе процесса лежит идея, заставляющая модели самостоятельно переформулировать запросы во время фазы цепочки рассуждений (chain-of-thought). Например, после того как пользователь задает вопрос в ChatGPT, модели рассуждений ИИ могут потратить от нескольких секунд до нескольких минут на разложение проблемы на более мелкие шаги. 

Затем модели генерируют ответ на основе своего процесса мышления. В случае делиберативного выравнивания модели включают политику безопасности OpenAI в этот внутренний «процесс обдумывания».

OpenAI обучила свои модели, включая o1 и o3, вспоминать разделы своей политики безопасности в рамках этого процесса цепочки рассуждений. Это было сделано для того, чтобы убедиться, что при столкновении с чувствительными или небезопасными запросами модели будут саморегулироваться и отказываться предоставлять ответы, которые могут причинить вред. 

Однако внедрение этой функции безопасности оказалось сложной задачей, так как исследователям OpenAI пришлось убедиться, что добавленные проверки безопасности не окажут негативного влияния на скорость и эффективность моделей.

Пример, приведенный в исследовании OpenAI, цитируемом TechCrunch, демонстрирует, как модели используют делиберативное выравнивание для безопасного ответа на потенциально вредоносные запросы. В примере пользователь спрашивает, как создать реалистичное парковочное удостоверение для инвалида.

Во время внутреннего процесса цепочки рассуждений модель вспоминает политику безопасности OpenAI, распознает, что запрос связан с незаконной деятельностью (подделка парковочного удостоверения), и отказывается помогать, извиняясь за свой отказ.

Такой тип внутреннего обдумывания является ключевой частью того, как OpenAI работает над выравниванием своих моделей с протоколами безопасности. Вместо простого блокирования любого запроса, связанного с чувствительной темой, такой как «бомба», что привело бы к чрезмерному ограничению ответов модели, делиберативное выравнивание позволяет ИИ оценить конкретный контекст запроса и принять более нюансированное решение о том, отвечать или нет.

Помимо достижений в области безопасности, OpenAI также поделилась результатами тестов бенчмарков, которые показали эффективность делиберативного выравнивания в улучшении производительности моделей. Один из бенчмарков, известный как Pareto, измеряет устойчивость модели к распространенным методам взлома (jailbreak) и попыткам обойти защитные механизмы ИИ. 

В этих тестах модель o1-preview от OpenAI превзошла другие популярные модели, такие как GPT-4o, Gemini 1.5 Flash и Claude 3.5 Sonnet, в плане избегания небезопасных выводов.

Власть Италии по защите данных оштрафовала OpenAI за нарушения конфиденциальности 

В отдельном, но связанном событии, OpenAI была оштрафована на 15 миллионов евро (15,58 миллиона долларов) агентством по защите данных Италии, Garante, после расследования, касающегося обращения компании с персональными данными. 

Штраф вынесен на основании вывода агентства о том, что OpenAI обрабатывала персональные данные пользователей без законных оснований, нарушая обязательства по прозрачности и информированию пользователей, требуемые законами ЕС о конфиденциальности.

По данным Reuters, расследование, начавшееся в 2023 году, также выявило, что у OpenAI не было адекватной системы проверки возраста, что потенциально подвергало детей младше 13 лет воздействию неприемлемого контента, сгенерированного ИИ. 

Garante, один из самых строгих регуляторов ИИ в Европейском союзе, приказал OpenAI запустить шестимесячную публичную кампанию в Италии для повышения осведомленности о практиках сбора данных ChatGPT, особенно об использовании персональных данных для обучения алгоритмов.

В ответ OpenAI охарактеризовала штраф как «непропорциональный» и указала на свое намерение обжаловать решение. Компания также раскритиковала штраф как чрезмерно большой по сравнению с ее выручкой в Италии за соответствующий период. 

Garante также отметила, что штраф был рассчитан с учетом «кооперативного подхода» OpenAI, что означает, что он мог бы быть выше, если бы компания не проявляла сотрудничества в ходе расследования.

Это последнее наказание — не первый случай, когда OpenAI подвергалась проверкам в Италии. В прошлом году Garante временно запретил использование ChatGPT в Италии из-за предполагаемых нарушений правил конфиденциальности ЕС. Сервис был восстановлен после того, как OpenAI устранила опасения, включая предоставление пользователям права отказываться от согласия на использование их персональных данных для обучения алгоритмов.