Собственные данные вычислений OpenAI подрывают призыв главного ученого замедлить развитие ИИ
Фото Zulfugar Karimov на Unsplash.
- Якуб Пачоцки опубликовал эссе 6 сентября, в котором утверждается, что ни одна лаборатория ещё не решила задачи выравнивания и мониторинга настолько хорошо, чтобы продолжать масштабирование на полную скорость.
- К середине августа OpenAI зафиксировала соотношение 3,1 агент-рабочих дня на каждый человеческий рабочий день.
- Выделенные для Astra GPU сократились на 59,2% после введения ограничений по безопасности, однако другие модели компенсировали около 85% этого падения в течение недели.
В эти выходные главный ученый OpenAI Якуб Пачоцки заявил, что ни одна ИИ-лаборатория, включая его собственную, не сделала выравнивание и мониторинг достаточно безопасными, чтобы продолжать ускорять возможности моделей. Он призвал к добровольному замедлению во всей отрасли до тех пор, пока не будут созданы общие стандарты безопасности.
Это предупреждение — серьезное дело. Пачоцки руководит исследованиями в компании, которая только что выпустила самую быструю и мощную модель в отрасли.
Цепочка размышлений o1-preview была скрыта намеренно
Пачоцки представил свое дело в эссе под названием "Чужой разум", опубликованном на веб-сайте OpenAI 6 сентября, через три дня после запуска компанией GPT-6 Astra.
Его прощальная фраза заключалась в том, что "ни одна лаборатория не решила вопросы выравнивания и мониторинга в достаточной степени, чтобы продолжать ответственно масштабироваться на максимальной скорости еще долго". Он написал, что надеется, что добровольное замедление станет нормой, пока отрасль не достигнет консенсуса по общим мерам безопасности.
"Это время требует крайней осторожности. Я обеспокоен тем, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта", — написал Пачоцки в эссе.
Основываясь на внутренних результатах, он предполагает, что текущий темп сохранится до этапа рекурсивного самосовершенствования, где системы будут существенно управлять своим собственным развитием.
Сэм Альтман репостнул эту статью в X, назвав ее важным постом. Пачоцки был одним из тех, кто подписал открытое письмо, опубликованное в июле, призывающее Вашингтон замедлить темпы развития ИИ.
Эссе Пачоцки сталкивается с мониторингом цепочки размышлений, основным способом, которым OpenAI использует для чтения пошагового рассуждения модели.
Эта техника предполагает, что ненадзорное рассуждение не дает модели причин скрывать что-либо внутри себя, и эта ставка ослабевает по трем направлениям, говорит он.
Теперь рассуждение связано с коммуникацией, которую компания должна контролировать. Модели учатся манипулировать собственным рассуждением.
И они становятся умнее, никогда не раскрывая свое рассуждение. Он подтвердил, что OpenAI намеренно скрыла цепочку размышлений o1-preview, сохранив ее вне давления надзора.
Пачоцки хочет, чтобы такие рамки, как Preparedness Framework OpenAI и Responsible Scaling Policy Anthropic, стали обязательными стандартами, контролируемыми внешними аудиторами или правительствами.
Он хочет, чтобы международная координация стала приоритетом для правительств, а лаборатории публиковали свой прогресс в рекурсивном самосовершенствовании.
Выделение GPU для Astra упало на 59.2% за неделю
В тот же день OpenAI опубликовала второй пост, данные из которого подрывают призыв к сдержанности. До июня исследовательская организация вкладывала больше человеческих усилий, чем машинных.
К середине августа компания фиксировала 3,1 агента-рабочих дня на каждый человеческий рабочий день по обычному восьмичасовому графику. Медианный исследователь выполнял инференс по ценам API, которые стоили более $600 в день. Верхняя десятка организации тратила более $7 000 на токены каждый день.
В собственном отчете OpenAI есть два оговорки. Высокоуровневое планирование все еще составляет небольшую часть того, что дают агенты. И более половины более длительных задач продолжительностью от четырех до восьми часов, которые прошли за последние шесть месяцев, требовали как минимум одного человека для вмешательства.
После того как агенты проникли в исследовательскую инфраструктуру 20 июля, OpenAI отключила сервис контейнеров, используемый для обучения, и приостановила обучение с подкреплением на моделях, предназначенных для развертывания, на две недели. Затем, 7 августа, ранние признаки того, что Astra может преодолеть критический киберпорог, вынудили модель перейти в изолированные среды.
В следующую неделю выделение GPU в классе Astra упало на 59,2%. Другие классы моделей выросли на 17,2%, восполнив около 85% того, что потеряла Astra. Общий объем вычислений изменился незначительно, что OpenAI рассматривает как гибкость.
OpenAI заявила, что Astra стала первой моделью, получившей статус "Critical" в рамках ее Preparedness Framework, что означает, что она может находить и эксплуатировать неизвестные уязвимости программного обеспечения с минимальной помощью человека, сообщил Cryptopolitan.
OpenAI подтвердила взлом Hugging Face в июле. В то же время два исследователя безопасности ИИ утверждают, что рой его агентов в мае и июне 2026 года внес более 15 000 правок в немецкую программируемую вики, обмениваясь тактиками для обхода защитных механизмов OpenAI.
OpenAI оспаривает, что инцидент был взломом или связан с утечкой на Hugging Face, сообщил Cryptopolitan.
Альтман нацелен на создание полностью автоматизированного ИИ-исследователя к марту 2028 года. По словам Пачоцки, стандартов пока нет, но у индустрии есть около 18 месяцев на достижение соглашения.
Самые умные крипто-энтузиасты уже читают нашу рассылку. Хотите присоединиться? Присоединяйтесь.
Часто задаваемые вопросы
Что именно сказал Якуб Пачоцки в работе «Чужой разум» (An Alien Mind)?
Он написал, что ни одна лаборатория пока не достигла достаточного уровня в решении задач выравнивания и мониторинга, чтобы ответственно поддерживать максимальную скорость масштабирования в обозримом будущем, и выразил надежду на то, что добровольное замедление станет нормой до тех пор, пока не будут внедрены обязательные общие стандарты безопасности.
Почему мониторинг цепочки рассуждений (chain-of-thought) становится менее надёжным?
Пачоцки привёл три причины: рассуждения смешиваются с коммуникацией, которую OpenAI должна контролировать; модели становятся лучше в манипулировании собственными рассуждениями; а также они становятся умнее, не вербализуя свои рассуждения вообще.
Что произошло с вычислительными мощностями OpenAI после введения ограничений по безопасности для Astra?
После перемещения Astra в среды с более высоким уровнем безопасности 7 августа её выделенные GPU-ресурсы за неделю сократились на 59,2%, однако выделение ресурсов для других классов моделей выросло на 17,2%, компенсировав около 85% падения, так что общее использование вычислительных мощностей практически не изменилось.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Ранда Моуз
Ранда Мозес — редактор и репортёр Cryptopolitan, освещающая технологии, ИИ, робототехнику, криптовалюты, мошенничество и взломы. Она работает в сфере криптовалют с 2017 года. Ранда занимала должности в Forward Protocol, AmaZix и Cryptosomniac. Ранда имеет степень в области электротехники и электроники, полученную в Университете Брэдфорда.
