Компания Anthropic потеряла еще одного исследователя, который предсказывает гибель человечества от искусственного интеллекта

Компания Anthropic потеряла еще одного исследователя в области безопасности. Джо Тентон заявил, что покинул компанию две недели назад и присоединится к METR,dent группе, занимающейся тестированием рисков в передовых системах искусственного интеллекта.

Джо планировал объяснить этот шаг позже, но отставка Джейкоба на этой неделе изменила планы. Он сказал:

«Я планировал написать об этом решении подробнее позже, но отставка Джейкоба на этой неделе заставила меня захотеть рассказать об этом подробнее сейчас»

Джо считает, что крупные лаборатории искусственного интеллекта создают такой уровень опасности, с которым общество никогда прежде не сталкивалось, заявляя, что возможности ИИ развиваются с невероятной скоростью, а компании стремятся двигаться еще быстрее.

Их цель — создать системы, способные самостоятельно совершенствовать исследования в области ИИ и в конечном итоге достичь «сверхразума». Джо предупредил, что успех может вывести прогресс за пределы человеческого контроля.

Джо говорит, что лаборатории искусственного интеллекта спешат создать системы, которые люди, возможно, не смогут контролировать

Джо сказал, что в ближайшие несколько лет люди могут жить с агентами искусственного интеллекта, которые умнее любого человека. Эти системы также могут ставить перед собой цели, которые не соответствуют целям людей, которые ими управляют. Если их возможности станут слишкомtron, чтобы их можно было ограничить, он считает, что это может привести к катастрофе. «Человечество может не пережить этот переход», — написал он.

Он сказал, что конкуренция только усугубляет проблему. Любая передовая лаборатория, которая замедляет темпы развития, рискует уступить позиции другой. Джо считает, что это давление заставляет компании тратить на безопасность меньше средств, чем следовало бы.

Он упомянул несколько недавних случаев. Несколько сотен агентов OpenAI попали в ловушку хакерской атаки, которая каким-то образом связана с Hugging Face. Сообщается также, что антропоморфные модели занимались социальной инженерией против отдельных лиц в интернете.

Джо говорит, что компания Anthropic не сталкивалась со случаем, столь же разрушительным, как тот, что произошел с компанией Hugging Face, хотя он частично объясняет это удачей.

Если прогресс будет продолжаться такими быстрыми темпами, Джо считает, что нам следует ожидать еще более опасныхdent. Он предсказывает, что в течение следующих нескольких лет человечество окажется неспособным управлять системами искусственного интеллекта, созданными в это время.

В заключение Джо рассказал о проблеме, с которой сталкиваются инженеры по технике безопасности в передовых компаниях. В обоих случаях либо увольнение может привести к появлению еще большего числа небрежных сотрудников, либо сохранение работы предполагает работу над системой, которая может нанести огромный ущерб.

Он сказал, что многие бывшие коллеги из Anthropic напуганы тем, что они создают. Джо назвал имя Эвана Хубингера, который был его руководителем. Эван оценил вероятность того, что ИИ уничтожит всех, более чем в 10%. Джо сказал, что Эван работал над этими проблемами почти десять лет, еще до того, как разработка больших языковых моделей стала крупным бизнесом.

Генеральные директора Anthropic, OpenAI и Google DeepMind, принадлежащей Alphabet (NASDAQ: GOOGL, GOOG), также поддержали заявление, в котором риск исчезновения ИИ назван глобальным приоритетом. Джо сказал, что эти опасения распространены внутри самих компаний. Он добавил, что люди сами выбирают создавать эти технологии и могут выбрать другой путь.

Джо Трамп продвигает внешние проверки искусственного интеллекта, в то время как Дональд Трамп сосредоточен на победе над Китаем

Джо сказал:

«Один из вопросов заключается в том, следует ли нам активно регулировать темпы развития возможностей ИИ, и если да, то насколько. Я думаю, что даже сдерживание прогресса в области ИИ на нынешнем уровне, а не на гораздо более высоких темпах, к которым стремятся компании, может оказаться выгодным»

Более серьезные проблемы связаны с политической поддержкой и правовой защитой. Компании, которые совместно договорились замедлить разработку, могут столкнуться с антимонопольными проблемами. Джо сказал, что это делает юридическую защиту необходимой, если политики хотят, чтобы конкурирующие лаборатории сдерживали себя.

Он также сомневается, что правительства будут действовать, пока разработка новых технологий остается скрытой от общественности. Джо предупредил, что в лаборатории может произойти внезапный скачок в уровне интеллекта или потеря контроля над системой без ведома посторонних.

По его словам, его новая работа в METR будет сосредоточена на независимойdent . Он хочет, чтобы внешние проверки стали достаточно распространенным явлением, чтобы изменить систему поощрений в компании.

Джо также хотел бы ужесточить требования к раскрытию информации. Например, лаборатории искусственного интеллекта должны раскрывать любые достигнутые успехи и шаги по их совершенствованию, а также любыеdentи ситуации, близкие к катастрофе.

dent США Дональд Трамп отверг предупреждения о вымирании человечества. Дональда спросили, беспокоит ли его уничтожение человечества из-за искусственного интеллекта. «Нет, меня это не беспокоит», — ответил он.

Дональд заявил, что его беспокоит победа в международной гонке за лидерство в области искусственного интеллекта. «Я опасаюсь, что если мы не выиграем в гонке за лидерство в области ИИ, мы окажемся в очень плохом положении», — сказал он журналистам в четверг. «Сейчас мы опережаем Китай на довольно значительный период, я бы сказал, на год, а это, знаете ли, немало»

Соединенные Штаты и Китай конкурируют за лидерство в области искусственного интеллекта, поскольку китайские модели становятся все более совершенными и привлекают пользователей по всему миру. Дональд сделал эти комментарии после того, как исследователи из передовых лабораторий, включая Anthropic и OpenAI, усилили публичные предупреждения о скорости развития ИИ.