Федералы установили «AI Doomer» в Институте безопасности ИИ среди пяти новых членов

Институт безопасности ИИ США при Министерстве торговли объявил о пяти новых членах своей руководящей команды. Среди пяти новых членов есть тот, кто предсказал, что существует 50% вероятность того, что развитие искусственного интеллекта приведет к концу человечества. Но это не его единственное достижение; под его belt есть некоторые очень важные инновации.

Новые члены команды по безопасности ИИ

Существует аргумент, который ведется уже довольно давно, что искусственный интеллект станет экзистенциальной угрозой для людей, но многие эксперты говорят, что это преувеличено и чрезмерно расхваливается, и такие предсказания могут препятствовать продвижению в этой области. Задача, стоящая перед newly appointed командой, — поощрять развитие таким образом, чтобы ИИ стал полезным для людей, вопреки восприятию вреда под Национальным институтом стандартов и технологий (NIST).

Директор NIST и заместитель министра торговли по стандартам и технологиям Лори Э. Локасио сказала:

«Я очень рад приветствовать этих талантливых экспертов в руководящую команду Института безопасности ИИ США, чтобы помочь установить измерительную науку, которая будет поддерживать развитие ИИ, который будет безопасным и заслуживающим доверия. Каждый из них привносит уникальный опыт, который поможет институту построить прочный фундамент для безопасности ИИ в будущем».

Среди новых членов — Адам Рассел, главный визионер, который также является директором отдела ИИ Института информационных наук Калифорнийского университета. Профессор Роб Рейч будет старшим советником, он из Стэнфорда, работает заместителем директора Института человеко-ориентированного ИИ и является экспертом в области политологии.

Мара Квинтеро Кэмпбелл назначена главным операционным директором и главой штаба, она в настоящее время работает в Административном управлении экономического развития Министерства торговли в качестве заместителя главного операционного директора. Марк Латонеро будет руководителем международного взаимодействия, он из Офиса науки и технологической политики Белого дома и работает заместителем директора Национального офиса инициативы ИИ.

AI doomer на борту — но есть и другое

Новый член, названный AI doomer, — это не кто иной, как Пол Кристиано. Он назначен руководителем по безопасности ИИ в команде. Он бывший исследователь OpenAI и основатель Центра исследований выравнивания (Alignment Research Center). Он также изобретатель фундаментальной техники безопасности ИИ, известной как обучение с подкреплением, которое включает человеческую обратную связь. Он получил ярлык AI doomer, когда его спросили в подкасте о шансе того, что амбиции человечества в области ИИ закончатся бедой, на что он проявил серьезную обеспокоенность тем, что человечество может погибнуть, сказал он 

"Я думаю, что вероятность захвата власти ИИ составляет около 10–20%, при этом большинство людей погибнет. Я отношусь к этому довольно серьезно."

Он также сказал,

"В целом, возможно, шансы на неминуемую гибель вскоре после появления ИИ-систем, сопоставимых с человеческим интеллектом, достигают 50 на 50."

Источник: подкаст Bankless.

Кристиано высказал эти мысли в подкасте Bankless с ведущими Дэвидом Хоффманом и Райаном Шоном Адамсом, но он настаивает, что его взгляды не так радикальны, как у известного сторонника сценария катастрофы от ИИ Элиезера Юдковского, который предполагает полный сценарий неминуемой гибели.

Министр торговли США Джина Раймондо также заявила, что для сохранения глобального лидерства в ответственном ИИ и обеспечения безопасности ИИ, а также для смягчения связанных с ним рисков, нам нужны лучшие таланты из страны, поэтому эти люди отобраны, так как они являются лучшими в своих областях, чтобы теперь присоединиться к руководящей команде U.S. AI Safety Institute.