Собственные вычислительные данные OpenAI опровергают призыв главного научного сотрудника компании замедлить развитие искусственного интеллекта
Фото Зульфугара Каримова на Unsplash.
- 6 сентября Якуб Пачоцкий опубликовал эссе, в котором утверждал, что ни одна лаборатория не смогла достаточно хорошо решить задачи выравнивания и мониторинга, чтобы обеспечить масштабирование на полной скорости.
- По данным OpenAI, к середине августа на каждый рабочий день человека приходилось 3,1 рабочих дня агентов.
- После введения ограничений по безопасности объем выделенных Astra графических процессоров сократился на 59,2%, однако другие модели компенсировали около 85% этого снижения в течение недели.
В эти выходные главный научный сотрудник OpenAI Якуб Пачоцкий заявил, что ни одна лаборатория ИИ, даже его собственная, не смогла обеспечить выравнивание и мониторинг в достаточно безопасном режиме, чтобы продолжать ускорять работу моделей. Он призвал к добровольному замедлению темпов работы в отрасли до тех пор, пока не будут разработаны общие стандарты безопасности.
Предупреждение очень серьезное. Пачоцки возглавляет исследования в компании, которая только что выпустила самую быструю и мощную модель в отрасли.
Логическая цепочка рассуждений o1-preview была намеренно скрыта
Пачоцкий изложил свою точку зрения в эссе под названием «Чужой разум», опубликованном на сайте OpenAI 6 сентября, через три дня после того, как компания представила GPT-6 Astra.
В заключение он заявил, что «ни одна лаборатория не решила проблемы выравнивания и мониторинга в достаточной степени, чтобы ответственно продолжать масштабирование на максимальной скорости в течение длительного времени». Он написал, что надеется, что добровольное замедление темпов станет нормой до тех пор, пока отрасль не достигнет консенсуса по общим показателям безопасности.
«Сейчас необходимо проявлять крайнюю осторожность. Меня беспокоит, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта», — написал Пачоцкий в своем эссе.
На основе внутренних результатов он предполагает, что нынешний темп сохранится и в процессе рекурсивного самосовершенствования, когда системы будут целенаправленно управлять собственным развитием.
Сэм Альтман перепостил статью на X, назвав её важной. Пачоцки был среди тех, кто подписал открытое письмо, опубликованное в июле, призывающее Вашингтон замедлить темпы развития ИИ.
В эссе Пачоцкого рассматривается метод отслеживания цепочки рассуждений, основной способ, который OpenAI использует для анализа пошаговой логики работы модели.
По его словам, эта методика основана на предположении, что рассуждения без учителя не дают модели оснований что-либо скрывать внутри себя, и это предположение ослабевает по трем направлениям.
Теперь рассуждения сочетаются с коммуникацией, которую компания должна контролировать. Модели учатся манипулировать собственными рассуждениями.
И они становятся умнее, так и не объясняя свою логику. Он подтвердил, что OpenAI намеренно скрыла цепочку рассуждений o1-preview, чтобы избежать давления со стороны системы управления.
Пачоцки хочет, чтобы такие концепции, как «Концепция готовности» OpenAI и «Политика ответственного масштабирования» Anthropic, были превращены в обязательные стандарты, соблюдение которых будет обеспечиваться внешними аудиторами или правительствами.
Он хочет, чтобы международная координация стала приоритетом правительства, а лаборатории публиковали результаты своей работы по рекурсивному самосовершенствованию.
За неделю объем выделенных Astra ресурсов для графических процессоров сократился на 59,2%
В тот же день OpenAI опубликовала вторую статью, данные из которой опровергают призыв к сдержанности. До июня исследовательская организация вкладывала больше человеческих усилий, чем машинных.
К середине августа компания регистрировала 3,1 рабочих дня агентов на каждый рабочий день человека при стандартном восьмичасовом рабочем графике. Средний исследователь проводил вычисления с использованием API-сервисов, стоимость которых превышала 600 долларов в день. Верхняя десятая часть организации тратила более 7000 долларов в токенах ежедневно.
В статье OpenAI есть два оговорки. Планирование высокого уровня по-прежнему составляет лишь малую часть того, что могут предложить агенты. И более половины более длительных задач, занимавших от четырех до восьми часов и успешно выполненных за последние шесть месяцев, требовали вмешательства как минимум одного человека.
После того, как 20 июля агенты взломали исследовательскую инфраструктуру OpenAI, компания отключила службу контейнеров, используемую для обучения, и приостановила обучение с подкреплением для моделей, предназначенных для развертывания, на две недели. Затем, 7 августа, первые признаки того, что Astra может преодолеть критический киберпорог, вынудили модель перейти в режим изоляции.
На следующей неделе объем выделенных графических процессоров для класса Astra сократился на 59,2%. В других классах моделей этот показатель вырос на 17,2%, что составляет около 85% от потерь Astra. Общий объем вычислительных ресурсов изменился незначительно, что, по мнению OpenAI, свидетельствует о большей гибкости.
Как сообщает Cryptopolitan , компания OpenAI заявила, что Astra — это первая модель, получившая статус «критической» в рамках ее системы обеспечения готовности, что означает, что она может обнаруживать и использовать неизвестные уязвимости программного обеспечения с минимальным участием человека
В июле OpenAI подтвердила взлом Hugging Face. Отдельно два исследователя безопасности ИИ заявили, что в мае и июне 2026 года группа его агентов внесла более 15 000 правок в немецкую вики-систему по программированию, обмениваясь тактиками для обхода защитных механизмов OpenAI.
Как сообщает Cryptopolitan , компания OpenAI оспаривает утверждения о том, что инцидентdent хакерской атакой или связан с утечкой данных в Hugging Face.
Альтман планирует создать полностью автоматизированную систему искусственного интеллекта к марту 2028 года. По словам Пачоцкого, стандартов пока нет, но у отрасли есть около 18 месяцев, чтобы прийти к соглашению.
Не просто читайте новости о криптовалютах. Разберитесь в них. Подпишитесь на нашу рассылку. Это бесплатно.
Часто задаваемые вопросы
Что сказал Якуб Пачоцкий в книге «Чужой разум»?
Он написал, что ни одна лаборатория не смогла достаточно хорошо решить задачи выравнивания и мониторинга, чтобы ответственно поддерживать масштабирование на максимальной скорости в течение длительного времени, и выразил надежду, что добровольное замедление станет обычным явлением до тех пор, пока не будут введены обязательные и общие меры безопасности.
Почему мониторинг цепочки мыслей становится менее надежным?
Пачоцкий привёл три причины. Во-первых, рассуждения смешиваются с коммуникацией, которую OpenAI должен контролировать; во-вторых, модели лучше справляются с манипулированием собственными рассуждениями; и в-третьих, они становятся умнее, вообще не вербализуя свои рассуждения.
Что произошло с вычислительными ресурсами OpenAI после введения ограничений безопасности для Astra?
После перевода Astra в среды с более высоким уровнем безопасности примерно 7 августа, объем выделенных ей ресурсов GPU сократился на 59,2% за неделю, но объем ресурсов, выделенных для других классов моделей, вырос на 17,2%, компенсировав около 85% падения, поэтому общее использование вычислительных ресурсов практически не изменилось.
Предупреждение. Предоставленная информация не является торговой рекомендацией. Cryptopolitanнастоятельно не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мыtronпровести независимоеdent и/или проконсультироваться с квалифицированным специалистом, прежде чем принимать какие-либо инвестиционные решения.
Ранда Мозес
Ранда Мозес — редактор и репортер Cryptopolitan освещающая темы технологий, искусственного интеллекта, робототехники, криптовалют, мошенничества и взломов. Она работает в криптопространстве с 2017 года. Ранее работала в Forward Protocol, AmaZix и Cryptosomniac. Ранда имеет степень в области электротехники иtron, полученную в Университете Брэдфорда.
