Руководители OpenAI предупреждают против истерики, так как Astra преодолевает критический киберпорог

Главный ученый OpenAI Якуб Пачоцкий выступил с заявлением в течение нескольких часов после того, как компания стала первой в гонке ИИ, получившей кибербезопасный статус «Критический» в своей Системе готовности, после того как она представила предварительный обзор своей будущей модели Astra.

Предупреждение Пачоцкого в начале среды было направлено на то, чтобы охладить истерику вокруг растущих комментариев о том, что лаборатория ИИ, возможно, больше не имеет страховки вокруг возможностей своих самых больших моделей.

Почему Astra от OpenAI имеет статус «Критический»?

Корпоративные Статус «Критический» — это уровень в Системе готовности, которую OpenAI представила сектору ИИ в декабре 2023 года. Система готовности измеряет, сколько человеческого промптинга и вмешательства требуется модели ИИ для поиска и создания жизнеспособных эксплойтов нулевого дня на многих защищенных системах или для проведения полноценной новой атаки.

Эксплойт нулевого дня относится к эксплуатации уязвимостей, которые даже создатели программного обеспечения еще не обнаружили.

OpenAI объявила о себе самой 13 сентября 1 в своем «Путь к Astra», что модель сможет выполнять все шаги для полноценных новых атак или эксплойтов нулевого дня с минимальным вмешательством человека при запуске.

OpenAI привела в своем блоге 100% результат Astra на ExploitBench, тесте на способность моделей эксплуатировать известные ошибки, в качестве доказательства.

Astra не только лучше планирует атаки нулевого дня, но и более эффективна. OpenAI продемонстрировала эту способность, используя внутренний тест, проведенный на 20 уязвимостях V8 высокой серьезности, которые стали общедоступными лишь недавно. Astra использовала меньше токенов, нашла два эксплойта нулевого дня и превзошла Sol в генерации произвольного выполнения кода в целом.

В том же посте говорилось, что Astra могла связывать неизвестные ошибки браузера в побег из песочницы и объединять повышение привилегий операционной системы от обычного пользователя до root во время испытаний под руководством экспертов.

Как TechCrunch упомянул, что Astra присоединяется к модели Mythos от Anthropic, выпущенной в начале этого года, как первой большой языковой модели с такими возможностями.

Пачоцкий призывает не паниковать из-за Astra

Пачоцкий, главный ученый OpenAI, возражает против истерики по поводу того, что OpenAI вступает в неизведанные территории с Astra. По его словам, он не хотел бы «гонки в неконтролируемость, начатой из-за запутанных отчетов».

Руководитель OpenAI настаивал на том, что лаборатория провела должную проверку использования мониторинга цепочки мыслей, практики чтения пошагового рассуждения, которое модель раскрывает в процессе работы. Он привел в пример глубину графа вычислений за текущими передовыми моделями OpenAI, включая Astra, которая находится в пределах двухкратного фактора от GPT-4 в посте X.

До Пачоцкого генеральный директор OpenAI Сэм Альтман также призывал к спокойствию в тот же день, когда был опубликован блог о Astra.

«Здесь есть очевидное напряжение», — написал он во вторник, назвав Astra «очень хорошей», но утверждая, что меры предосторожности должны развиваться вместе с сырой мощностью. Альтман сказал, что OpenAI провела все лето, выполняя свою часть работы, чтобы убедиться, что модель поставляется с необходимыми мерами безопасности.

Разговоры о безопасности продолжаются уже несколько недель. 18 августа OpenAI взяла на себя обязательство приостановить обучение с подкреплением для моделей, предназначенных для развертывания, на две недели, чтобы инженеры могли укрепить исследовательские кластеры и оптимизировать мониторинг. Обучение возобновилось 28 августа.

Согласно OpenAI, Astra не была причастна к теперь уже знаменитому инциденту с Hugging Face. Компания также заявила, что модель даже не пыталась выйти из песочницы, даже когда ей был представлен сценарий, созданный для того, чтобы соблазнить ее на воспроизведение эпизода Hugging Face.

Лаборатории ИИ теперь проявляют осторожность в отношении того, кто может получить доступ к их передовым моделям

OpenAI заявила, что теперь все получат доступ к самым продвинутым функциям Astra, зарезервировав эти возможности для организаций в коалиции Daybreak OpenAI, в то время как компании Daybreak Blue получат доступ к самым острым защитным функциям.

Как сообщил Cryptopolitan, Anthropic также заявила, что только фирмы в ее Project Glasswing будут иметь доступ к Mythos 5.1, которая по сути является Fable 5.1 с отдельными мерами безопасности.

OpenAI также заявила, что будет мониторить и ограничивать ответы на запросы от аккаунтов, которые она считает более рискованными. В целом, Astra также будет поставляться с дополнительным мониторингом цепочки мыслей для выявления плохого поведения и более частого отказа от вредоносных киберзапросов.

Большая часть информации об Astra была предоставлена самой OpenAI, с ограниченной проверкой третьими сторонами заявлений OpenAI о безопасности или возможностях.

Йона Шавит, бывший сотрудник OpenAI, теперь работающий над устойчивостью ИИ в OpenAI Foundation, публично задалась вопросом, отражает ли поведение Astra во время тестов реальное выравнивание или модель, которая просто знала, что хотели видеть оценщики.

OpenAI говорит, что полная системная карточка и дополнительные оценки появятся, когда Astra будет широко запущена. До тех пор масштаб ее кибернавыков и прочность ограждений вокруг них трудно оценить.