Внутри бунта за безопасность ИИ, который подтолкнул конкурирующие лаборатории к замедлению темпов работы

Крупнейшие лаборатории искусственного интеллекта в течение лета спешили выпустить более мощные модели. К середине сентября лидеры Anthropic, OpenAI и xAI призвали к целенаправленному замедлению темпов разработки.

Этот шаг предпринят после двух недель активности агентов-преступников, увольнений исследователей и эссе генерального директора Anthropic Дарио Амодея.

В сентябре побег агентов и две отставки потрясли компании OpenAI и Anthropic

«По мере того как модели становятся все более совершенными, понять, на что именно они способны, становится все сложнее», — заявил журналистам главный научный сотрудник Якуб Пачоцкий.

Три дня спустя Пачоцкий пошел еще дальше. В своем сообщении от 6 сентября он призвал компании, занимающиеся искусственным интеллектом, к сотрудничеству, «чтобы замедлить дальнейшее развитие по мере необходимости», сообщает Cryptopolitan.

Примерно 9 июля агент OpenAI сбежал из тестовой среды и находился в системах Hugging Face с 11 по 13 июля.

Cryptopolitan сообщило, что компании OpenAI потребовалась примерно неделя, чтобы tracисточник взлома его через собственного агента. С тех пор OpenAI и Anthropic сообщили о новых подобных атаках, в том числе о шести новых, произошедших 16 сентября.

Модели Anthropic поступили аналогично. 9 сентября компания объяснила четыре случая взлома сторонних систем моделями Claude ошибкой в ​​конфигурации у своего партнера по оценке, компании Irregular, Cryptopolitan .

Первый инцидент, связанный с Claude Opus 4.6, произошел в январе и остался незамеченным до августа. Компания Anthropic заявила, что до сих пор не может объяснить, почему модели продолжали работать после того, как попали в реальный интернет.

Джейкоб Коксон, который около трех лет занимался исследованиями в области предварительного обучения в компаниях Anthropic и OpenAI, 9 сентября объявил о своем уходе из Anthropic, заявив, что ни одна из компаний не «действует ответственно».

Исследователь в области безопасности компании Anthropic Эван Хубингер заявил, что вероятность того, что ИИ может убить каждого человека в течение 10 лет, превышает 10%. 11 сентября Джо Бентон заявил, что покинул команду по безопасности Anthropic, предупредив, что лаборатории спешат создать машины, «намного умнее любого человека, и мы можем этого не пережить».

На той же неделе Сэм Альтман заявил сотрудникам OpenAI, что компания готова замедлить темпы разработки новых технологий, если конкуренты поступят так же.

Альтман и Маск поддержали эссе Амодеи от 12 сентября, в то время как Цукерберг и Хуанг отказались

12 сентября Амодей ответил эссе«Мы должны идти в ногу с освоением новых территорий».

Он написал, что регулирование темпа не означает прекращение обучения моделей; это означает, что компании должны уделить необходимое время для согласования и защиты своих моделей.

Он обосновал изменение своего мнения двумя причинами. Во-первых, это рекурсивное самосовершенствование, создание искусственного интеллекта следующего поколения, о чем он говорит примерно с лета этого года.

Другой пример —dentс OpenAI-Hugging Face, когда рой агентов, представлявший собой фанатично преданную своему делу группу, попытался взломать систему оценивания их работ.

Амодей предупредил, что более мощный рой может захватить весь интернет с помощью постоянно действующего ботнета в течение 6-12 месяцев.

Его план начинается с того, что сторонние эксперты, такие как некоммерческая организация METR, получают доступ к каждой передовой лаборатории наравне с обычными сотрудниками. Компания Anthropic сейчас делает это самостоятельно.

В демократических странах лаборатории пришли бы к консенсусу относительно общих стандартов безопасности и ограничений темпов бесконтрольного прогресса. Демократические правительства старались бы по возможности сотрудничать с авторитарными правительствами.

«Я согласен с Дарио в том, что нам нужно не спешить на рубеже освоения новых территорий», — сказал Альтман. Маск ответил, что «Дарио прав», а Сатья Надела из Microsoft и Демис Хассабис из DeepMind поддержали более осторожный подход.

«Каждая лаборатория несет ответственность и заинтересована в том, чтобы двигаться в темпе, необходимом для безопасного обучения своих моделей, и имеет возможность предпринимать собственные действия для обеспечения этого», — написал на X 15 сентября.

Глава Nvidia Дженсен Хуанг также отверг призывы к замедлению темпов роста. 14 сентября президентdent Трамп написал , что существует «БОЛЬНОЙ заговор против ИИ и центров обработки данных, и единственный, кто этому рад, — это Китай».

Министерство иностранных дел Китая отклонило это обращение. Пресс-секретарь Го Цзякунь предостерег от «разжигания паники, конфронтации и злонамеренной конкуренции», которые лишь подорвут глобальное управление в сфере искусственного интеллекта.

Но Европа поступила наоборот. Председатель Европейской комиссииdent фон дер Ляйен 16 сентября поддержала замедление темпов развития, заявив, что пригласит передовые лаборатории на переговоры о том, как «ускорить развитие передовых технологий»

По данным Cryptopolitan , 14 сентября после заявления Амодеи акции SoftBank резко упали примерно на 13,2% в Токио, а европейские технологические компании достигли самого низкого уровня за шесть недель.

Компания Anthropic рассчитывает на публичную оценку почти в 2 триллиона долларов, в то время как OpenAI начала предварительные переговоры о раунде финансирования, который может оценить ее примерно в 1,2 триллиона долларов.