Руководители OpenAI предостерегают от истерии после того, как компания Astra преодолела критически важный кибер-порог

Главный научный сотрудник OpenAI Якуб Пахоцкий выступил с заявлением спустя несколько часов после того, как компания стала первой в гонке ИИ, получившей статус «критически важной» в рамках своей системы готовности, представив предварительный обзор своей будущей модели Astra.

Предупреждение Пачоцкого, сделанное рано утром в среду, было призвано успокоить истерию вокруг растущих комментариев о том, что лаборатория искусственного интеллекта, возможно, больше не может обезопасить себя от возможностей своих крупнейших моделей.

Почему Astra от OpenAI считается «критически важной»?

Критический уровень — это один из уровней в рамках системы оценки готовности, которую OpenAI представила сектору ИИ в декабре 2023 года. Система оценки готовности измеряет, насколько сильное вмешательство и подсказки со стороны человека требуется модели ИИ для обнаружения и создания жизнеспособных уязвимостей нулевого дня во многих защищенных системах или для проведения полноценной новой атаки.

Под эксплойтом нулевого дня понимается использование уязвимостей, которые еще не были обнаружены даже разработчиками программного обеспечения.

1 сентября в своем сообщении «Путь к Astra» компания OpenAI заявила, что после запуска модель сможет выполнить все этапы полномасштабных новых атак или эксплойтов нулевого дня с минимальным участием человека.

В качестве доказательства компания OpenAI привела 100% результат Astra в тесте ExploitBench, оценивающем способность моделей использовать известные уязвимости.

Astra не только лучше планирует атаки нулевого дня, но и более эффективна. Компания OpenAI продемонстрировала это, проведя внутренний тест на 20 уязвимостях V8 высокой степени серьезности, информация о которых стала достоянием общественности совсем недавно. Astra использовала меньше токенов, выявила две уязвимости нулевого дня и превзошла Sol по общему количеству сгенерированных произвольных команд для выполнения кода.

В том же сообщении говорилось, что Astra могла объединять неизвестные ошибки браузера для выхода из песочницы и в ходе экспертных испытаний удалось добиться повышения привилегий операционной системы от обычного пользователя до root.

Как уже отмечалось в TechCrunch, Astra присоединяется к модели Mythos от Anthropic, выпущенной ранее в этом году, став первой крупной языковой моделью с такими возможностями.

Пачоцкий просит не паниковать из-за «Астры»

Пачоцки, главный научный сотрудник OpenAI, опровергает слухи о том, что OpenAI вступает на неизведанную территорию с Astra. По его словам, он не хотел бы, чтобы «гонка за невозможностью мониторинга началась из-за путаницы в отчетности».

Представитель OpenAI настаивал на том, что лаборатория добросовестно использовала мониторинг цепочки рассуждений — практику пошагового анализа логики работы модели. Он сослался на глубину вычислительного графа, лежащего в основе современных передовых моделей OpenAI, включая Astra, которая в публикации X находится в пределах двукратного превышения GPT-4.

До Пачоцкого генеральный директор OpenAI Сэм Альтман также призвал к спокойствию в тот же день, когда был опубликован блог Astra.

«Здесь явно присутствует противоречие», — написал он во вторник, назвав Astra «очень хорошей» и утверждая, что меры безопасности должны развиваться в соответствии с существующими возможностями. Альтман сказал, что OpenAI всё лето работала над тем, чтобы модель поставлялась с необходимыми мерами безопасности.

Разговоры о безопасности продолжаются уже несколько недель. 18 августа OpenAI обязалась приостановить обучение моделей, предназначенных для развертывания, на две недели, чтобы позволить своим инженерам усилить исследовательские кластеры и оптимизировать мониторинг. Обучение возобновилось 28 августа.

По данным OpenAI, модель Astra не была причастна к печально известномуdentс «обнимающим лицом». Также сообщается, что модель даже не пыталась выйти за пределы своей «песочницы», даже когда ей был предложен сценарий, призванный побудить её повторить эпизод с «обнимающим лицом».

В настоящее время лаборатории искусственного интеллекта проявляют осторожность в отношении того, кто может получить доступ к их передовым моделям

В OpenAI заявили, что теперь все получат доступ к самым передовым функциям Astra, зарезервировав эти возможности для организаций, входящих в коалицию Daybreak от OpenAI, в то время как компании Daybreak Blue получат доступ к самым эффективным функциям защиты.

Как Cryptopolitan сообщало издание , компания Anthropic также заявила, что доступ к Mythos 5.1, по сути, является аналогом Fable 5.1 с отдельными механизмами защиты, получат только фирмы, участвующие в её проекте Glasswing.

Компания OpenAI также заявила, что будет отслеживать и ограничивать ответы на запросы от учетных записей, которые она считает более рискованными. В целом, Astra также будет оснащена дополнительным мониторингом цепочки мыслей, чтобы выявлять противоправное поведение и чаще отклонять вредоносные кибер-запросы.

Большая часть информации об Astra была предоставлена ​​самой компанией OpenAI, при этом заявления OpenAI о безопасности или возможностях устройства были подтверждены лишь ограниченным числом сторонних источников.

Йона Шавит, бывший сотрудник OpenAI, ныне работающий над вопросами устойчивости ИИ в OpenAI Foundation, публично задал вопрос, отражает ли поведение Astra во время тестирования подлинное соответствие или же это модель, которая просто знала, что хотят увидеть оценщики.

Компания OpenAI заявляет, что полноценная системная карта и дальнейшие оценки появятся после широкого запуска Astra. До тех пор масштабы её кибер-компетенций и прочность защитных барьеров остаются под вопросом.