Федеральные власти включили в состав Института безопасности ИИ «пессимиста» среди пяти новых членов

Институт безопасности искусственного интеллекта США при Министерстве торговли объявил о пяти новых членах своей руководящей группы. Среди них есть один, который предсказал 50%-ную вероятность того, что развитие искусственного интеллекта в конечном итоге обернётся развитием человечества. Но это не единственное его появление; на его счету несколько очень важных инноваций.

Новые члены команды по безопасности ИИ

Уже довольно давно ведутся споры о том, что искусственный интеллект станет экзистенциальной угрозой для человечества, но многие эксперты считают это преувеличением и переоценкой, и подобные прогнозы могут помешать развитию этой области. Задача новой команды — стимулировать разработки таким образом, чтобы ИИ приносил пользу людям, вопреки распространенному мнению Национального института стандартов и технологий (NIST).

Директор NIST и заместитель министра торговли по стандартам и технологиям Лори Э. Локасио сказал:

Я очень рад приветствовать этих талантливых экспертов в составе руководства Института безопасности ИИ США, которые помогут создать науку об измерениях, которая будет способствовать разработке безопасного и надёжного ИИ. Каждый из них привнесёт свой уникальный опыт, который поможет институту заложить прочный фундамент для обеспечения безопасности ИИ в будущем.

Среди новых членов — Адам Рассел, главный специалист по визуализации, который также является директором отдела искусственного интеллекта Института информационных наук Калифорнийского университета. Старшим консультантом станет профессор Роб Райх из Стэнфорда, заместитель директора Института искусственного интеллекта, ориентированного на человека, а также эксперт в области политологии.

Мара Кинтеро Кэмпбелл назначена главным операционным директором и руководителем аппарата. В настоящее время она занимает должность заместителя главного операционного директора в Администрации экономического развития Министерства торговли. Марк Латонеро возглавит отдел международного сотрудничества. Он работает в Управлении по научно-технической политике Белого дома и занимает должность заместителя директора Национального офиса инициатив в области искусственного интеллекта.

ИИ-убийца на борту — но это еще не все

Новый участник, прозванный «ИИ-губителем», — не кто иной, как Пол Кристиано. Он назначен руководителем отдела безопасности ИИ. Он бывший исследователь OpenAI и основатель Исследовательского центра Alignment. Он также является изобретателем основополагающей технологии безопасности ИИ, известной как обучение с подкреплением, которая использует обратную связь от человека. Он получил прозвище «ИИ-губителя» после того, как в подкасте его спросили о вероятности того, что человеческие амбиции в области искусственного интеллекта приведут к гибели. По его словам, он выразил серьёзную обеспокоенность тем, что человечество может погибнуть. 

«Я думаю, что вероятность того, что ИИ захватит власть, составляет около 10–20%, при этом погибнет большинство людей. Я отношусь к этому вполне серьезно».

Он также сказал:

«В целом, возможно, вероятность гибели увеличится до 50/50 вскоре после того, как у вас появятся системы искусственного интеллекта, соответствующие человеческому уровню».

Источник: подкаст Bankless.

Кристиано высказал эти мысли в подкасте Bankless с ведущими Дэвидом Хоффманом и Райаном Шоном Адамсом, но он настаивает, что его взгляды не столь радикальны, как взгляды известного сторонника теории катастрофы в области искусственного интеллекта Элиезера Юдковски, который предлагает сценарий полной гибели.

Министр торговли США Джина Раймондо также заявила, что для сохранения мирового лидерства в области ответственного ИИ, обеспечения безопасности ИИ и снижения связанных с ним рисков нам нужны лучшие специалисты страны, поэтому были отобраны именно эти специалисты, которые являются лучшими в своих областях и теперь присоединяются к команде руководителей Института безопасности ИИ США.