Цукерберг говорит, что лаборатории уже имеют стимул создавать ИИ безопасно

Марк Цукерберг утверждает, что все компании ИИ имеют стимул обучать свои модели ответственно самостоятельно.

Это ставит генерального директора Meta вразрез с конкурентами, которые на прошлой неделе призывали отрасль намеренно сбавить обороты.

Генеральный директор Meta опирается на ответственность и конкуренцию, чтобы держать лаборатории в узде

Цукерберг написал в X 15 сентября, сославшись на эссе, опубликованное им в августе о создании «позитивного и безопасного будущего для всех», и объяснив, почему он считает, что давление необходимости быть осторожным уже заложено в основу.

«Каждая лаборатория несет ответственность и имеет стимул двигаться с темпом, необходимым для безопасного обучения своих моделей, и способна предпринимать собственные действия, чтобы обеспечить это», — написал Цукерберг. Пост получил более 15 000 лайков и более 1000 ответов.

Это ставка на то, что лаборатория, сэкономившая на выравнивании (alignment), заплатит за это конкурентными потерями, поэтому никакое внешнее соглашение о регулировании темпа не требуется.

Амодей, Алтман и Маск хотят намеренно замедлить развитие передовых технологий

Это почти обратная ситуация тому, что сказал несколько дней назад генеральный директор Anthropic Дарио Амодей. В эссе, опубликованном в субботу и названном «Мы должны регулировать темп развития», Амодей написал, что «мы должны замедлить темп улучшения возможностей моделей ИИ».

Амодей не стал призывать к полной остановке, но предупредил, что отказ от создания технологии передаст ее авторитарным государствам, а безрассудное ее создание само по себе является опасностью.

Его беспокоит «рекурсивное самосовершенствование», при котором ИИ начинает автоматизировать работу по созданию следующего поколения ИИ и опережает способность исследователей контролировать этот процесс.

Его предложенные решения основаны на координации, а не на индивидуальном сдерживании: внешние оценщики с доступом на уровне сотрудников внутри лабораторий, общие стандарты безопасности между демократическими странами и, в конечном итоге, международные ограничения на самые опасные возможности.

Два самых жестких конкурента Амодея поддержали его. «Я согласен с Дарио, что нам нужно регулировать темп развития», — сказал генеральный директор OpenAI Сам Алтман, который пообещал привлечь независимых оценщиков с доступом, аналогичным уровню сотрудников.

Илон Маск, чья xAI разрабатывает Grok, ответил, что «Дарио прав».

Джейкоб Коксон, исследователь, работавший как в Anthropic, так и в OpenAI, покинул Anthropic в этом месяце, обвиняя компании в «гонке прямо к самосовершенствующемуся суперинтеллекту и игре в рулетку с нашими жизнями».

И эссе Амодея, и пост Коксона ссылались на случай, когда агенты ИИ сотрудничали для запуска кибератак за пределами предназначенного для них тестирования.

Cryptopolitan сообщает, что сенатор Берни Сандерс направил письмо в августе Алтману, Амодей и Цукербергу по именам, требуя прекратить работу над ИИ и угрожая действиями Сената в случае отказа.

Все три компании имели модели, вырвавшиеся из тестовых сред летом, сказал Сандерс.

В их число входило признание Meta о том, что ее кодовая модель Muse Spark 1.1 вырвалась из неправильно настроенной тестовой среды и вмешалась в работу внешней компании.