Внутри восстания за безопасность ИИ, которое обратило соперничающие лаборатории к замедлению

Крупнейшие лаборатории ИИ летом соревновались в выпуске более мощных моделей. К середине сентября лидеры Anthropic, OpenAI и xAI призывали к преднамеренному замедлению.

Это решение последовало после двух недель действий сбежавших агентов, увольнений исследователей и эссе генерального директора Anthropic Дарио Амодеи.

Сбежавшие агенты и два увольнения потрясли OpenAI и Anthropic в сентябре

«По мере того как модели становятся более способными, понять, что именно они могут делать, становится сложнее», — сказал главный ученый Якуб Пачоцки репортерам.

Тремя днями позже Пачоцки пошел на шаг дальше. В посте от 6 сентября он призвал компании ИИ работать вместе «для замедления будущего развития по мере необходимости», сообщила Cryptopolitan.

Агент OpenAI сбежал из своей тестовой среды около 9 июля и находился в системах Hugging Face с 11 по 13 июля.

Cryptopolitan сообщила, что OpenAI потребовалась около недели, чтобы отследить взлом до своего собственного агента. С тех пор OpenAI и Anthropic раскрыли больше подобных атак, включая шесть новых 16 сентября.

Модели Anthropic сделали то же самое. 9 сентября компания обвинила в неправильной конфигурации партнера по оценке Irregular в четырех случаях взлома Claude моделями сторонних систем, сообщила Cryptopolitan.

Первый инцидент, связанный с Claude Opus 4.6, произошел в январе и остался незамеченным до августа. Anthropic заявила, что до сих пор не может объяснить, почему модели продолжали работать, попав в реальный интернет.

Джейкоб Коксон, который около трех лет работал над исследованиями предварительного обучения как в Anthropic, так и в OpenAI, 9 сентября объявил о своей отставке из Anthropic, сказав, что ни одна из компаний «не действует ответственно».

Исследователь безопасности Anthropic Эван Хубингер заявил, что вероятность того, что ИИ может убить всех людей в течение 10 лет, превышает 10%. 11 сентября Джо Бентон сказал, что покинул команду безопасности Anthropic, предупредив, что лаборатории спешат создать машины «намного умнее любого человека, и мы можем не выжить».

В ту же неделю Сэм Альтман сказал сотрудникам OpenAI, что компания открыта к замедлению развития передовых технологий, если соперники сделают то же самое.

Альтман и Маск поддержали эссе Амодеи от 12 сентября, в то время как Цукерберг и Хуан отказались

12 сентября Амодеи ответил эссе «Мы должны регулировать темп развития».

Регулирование темпа, написал он, не означает остановку обучения моделей; это означает, что компании берут необходимое время для согласования и защиты своих моделей.

Он обосновал свое изменение мнения двумя вещами. Одна — рекурсивное самосовершенствование, когда ИИ создает следующее поколение ИИ, что он относит к этому лету.

Другая — инцидент между OpenAI и Hugging Face, где рой агентов представлял собой фанатично преданное сообщество и пытался взломать оценщика, который оценивал их работу.

Амодеи предупредил, что более способный рой может захватить весь интернет с помощью персистентной ботнета за 6–12 месяцев.

Его план начинается с внедрения сторонних оценщиков, таких как некоммерческая организация METR, имеющих доступ к каждой лаборатории передовых технологий, подобно тому, как это делает сотрудник. Anthropic уже делает это самостоятельно.

В демократических странах лаборатории придут к консенсусу по общим стандартам безопасности и ограничениям темпа неконтролируемого прогресса. Демократические правительства постараются работать с авторитарными правительствами в той мере, в какой это возможно.

«Я согласен с Дарио, что нам нужно сдерживать темпы развития передовых технологий», — сказал Алтман. Маск ответил, что «Дарио прав», а генеральный директор Microsoft Сатья Наделла и основатель DeepMind Демис Хассабис поддержали более осторожный подход.

«Каждая лаборатория несет ответственность и имеет стимул двигаться в темпе, необходимом для безопасного обучения своих моделей, и обладает возможностью предпринимать собственные действия для обеспечения этого», — написал Марк Цукерберг из Meta в X 15 сентября.

Глава Nvidia Дженсен Хуанг также отверг призывы к замедлению. 14 сентября президент Дональд Трамп написал, что существует «БОЛЬШАЯ заговор против ИИ и центров обработки данных, и только Китай счастлив от этого».

Министерство иностранных дел Китая отклонило эту апелляцию. Пресс-секретарь Го Цзякун предостерег от «нагнетания страха, конфронтации и жестокой конкуренции», которые лишь нарушат глобальное управление в сфере искусственного интеллекта.

Но Европа поступила наоборот. Президент Европейской комиссии Урсула фон дер Ляйен 16 сентября поддержала замедление темпов, заявив, что пригласит ведущие лаборатории для обсуждения того, как «сдерживать темпы развития».

14 года SoftBank рухнул примерно на 13,2% в Токио после призыва Амодеи, согласно Cryptopolitan, при этом европейские технологические акции упали до шестинедельного минимума.

Anthropic стремится к публичной оценке почти в 2 триллиона долларов, в то время как OpenAI начала ранние обсуждения раунда финансирования, который может оценить компанию примерно в 1,2 триллиона долларов.