Генеральный директор OpenAI Сэм Олтман призывает замедлить гонку ИИ, поскольку государственные акторы захватили Anthropic для создания биологического оружия

Сотрудники OpenAI на этой неделе были проинформированы о том, что лаборатория ИИ готова замедлить темп своей работы в самых передовых областях ИИ. Сэм Олтман предложил аналогичную идею конкурентам в сфере ИИ, включая Anthropic, которая также признала риски, связанные с разработкой ИИ, в отчете, раскрывшем, что ученые, связанные с государственными институтами, пытались использовать свои модели Claude для исследований в области биологического оружия. 

OpenAI заявила, что уже приостановила некоторые внутренние процессы обучения и ослабила часть разработки моделей из-за опасений по поводу безопасности.

Серийное появление раскрытий разжигает огонь вокруг дебатов о том, движется ли отрасль слишком быстро впереди публичных предложений, обе компании продолжают намекать.

Почему Олтман хочет замедлить развитие ИИ?

Генеральный директор OpenAI Сэм Олтман на общекорпоративном собрании проинформировал присутствующих о том, что лаборатория ИИ вместе с другими согласившимися лабораториями может замедлить темп выпуска моделей передового уровня.

Из-за добровольного характера любого такого соглашения Олтман признал, что не каждая компания будет поддерживать этот план, согласно источникам, цитируемым Bloomberg.

Этот скептицизм имеет прецеденты. Три года назад, в марте 2023 года, Илон Маск, Стив Возняк и более 1000 других человек подписали открытое письмо с призывом приостановить работу по продвинутому ИИ на шесть месяцев.

Как сообщали издания в то время, лаборатории не стали соблюдать мораторий, к которому они совместно пришли.

Призыв к снижению рисков ИИ также прозвучал в посте от 6 сентября главного ученого OpenAI Якуба Пачоцкого, в котором он просил ИИ-компании координировать действия «для замедления будущего развития по мере необходимости». Пачоцкий выразил надежду, что добровольное замедление станет «повседневной практикой до тех пор, пока не будут установлены общие стандарты безопасности».

В июле Олтман заявил, что сообщил официальным лицам Белого дома о необходимости замедлить развитие ИИ. Вместе с генеральным директором Anthropic Дарио Амодеи Олтман ранее подписал однострочное заявление, в котором ИИ был объявлен угрозой выживания человечества в масштабах общества.

Можно ли использовать модели ИИ для создания биологического оружия?

Модели ИИ продвинулись до стадии, когда они могут быть способны поддерживать исследования в области биологического оружия. На этой неделе OpenAI объявила, что ее модели решили математическую задачу Навье-Стокса, хотя это и произошло в спорных условиях.

Anthropic предоставила новые аргументы для этой дискуссии, когда в отчете о разведке угроз объемом 154 страницы, опубликованном 10 сентября, были подробно описаны пять случаев, когда исследователи пытались использовать возможности Claude для поддержки своей работы в области биологического оружия.

Anthropic заявила, что попытки из «неподдерживаемых регионов» пытались обойти географические ограничения и скрыть цель своей работы. Лаборатория сказала, что удалила эти аккаунты, но не назвала ни страны, ни институты.

Превысили ли риски ИИ теперь преимущества?

Отчеты появились на фоне серии публичных тревог внутри лабораторий. 8 сентября исследователь Джейкоб Коксон ушел в отставку и обвинил OpenAI и Anthropic в «азартной игре с нашими жизнями», заявив, что коллеги считают, что технология может «убить всех нас к концу десятилетия», и предупредил о вымирании человечества к 2030 году.

Его пост набрал более 150 миллионов просмотров. Спустя два дня, 10 сентября, бывшие сотрудники Anthropic и DeepMind от Google высказали аналогичные опасения и призвали к большей прозрачности.

Петиция конца июля о создании механизма для замедления развития собрала подписи более 1000 работников из крупнейших ИИ-компаний.

OpenAI теперь лоббирует в Конгрессе обязательные правила безопасности, основанные на возможностях, охватывающие тестирование, независимые оценки, кибербезопасность и отчетность об инцидентах. «Перспектива ускоренного ИИ-развития требует больше, чем добровольных обязательств», — написал главный директор по глобальным вопросам Крис Леан.

Калифорния пошла первой: губернатор Гэвин Ньюсом подписал SB 813 и AB 1405 в среду, а сопутствующий законопроект AB 1864 направлен на защиту от биологических угроз, Enabled ИИ.

В Вашингтоне сенатор Берни Сандерс внес законопроект о приостановке развития продвинутого ИИ и запрете искусственного суперинтеллекта, сказав BBC, что игнорирование предупреждений ученых сделало бы кого-то «идиотом».

Президент Дональд Трамп возразил, заявив в четверг, что он обеспокоен тем, что «если мы не победим в ИИ, мы окажемся в очень плохом положении».