Свидетель из Anthropic заявляет, что человечество может потерять контроль над ИИ

Джейкоб Коксон, покинувший Anthropic в сентябре с предупреждением о том, что технология может уничтожить всех до конца десятилетия, начал свои показания под присягой, назвав подход к созданию продвинутых систем крайне безрассудным.

По его словам, на текущем пути он считает более вероятным, чем нет, что человечество потеряет контроль над этими системами, что может привести к вымиранию сообщает CNBC.

Коксон провёл чёткую границу в инженерной культуре, утверждая, что метод «ломать вещи ради скорости» оправдан для приложения для обмена фотографиями, но не подходит для «создания самой мощной технологии из когда-либо созданных».

Четыре компании в сфере ИИ отказываются количественно оценить катастрофические риски

Я сделаю вывод, что ни один из вас четверых, ни одна из представленных здесь компаний, не может количественно оценить риск наступления катаклизма.

– Джули Менин, спикер городского совета Нью-Йорка.

Она начала своё выступление с отвержения предпосылки добровольного соглашения, которое президент Трамп подписал с лидерами индустрии несколькими днями ранее, заявив, что идея о том, что технологии будут саморегулироваться, «противоречит всякой логике».

В слушаниях приняли участие все 51 член Совета города Нью-Йорка на редком заседании в формате Комитета полного состава — процесс, который не проводился с 2022 года, когда Совет обсуждал план действий города в связи с прибытием мигрантов. Алиса Френд, руководитель направления политики в области искусственного интеллекта в Google, предложила разработать национальную рамку для регулирования рисков, связанных с продвинутым ИИ, добавив, что эти вопросы выходят за рамки компетенции городского совета.

Тёрнер предупреждает: несогласованный ИИ может стать большей угрозой, чем Китай

Алекс Тёрнер, недавно работавший исследователем в Google DeepMind, заявил Совету, что система, цели которой не совпадают с человеческими, может оказаться более опасной, чем любой иностранный конкурент.

«С достаточно высокой вероятностью мы соревнуемся в создании и укреплении собственного противника прямо здесь, дома», — сказал он.

Менин спросил его, какой баланс является правильным между созданием передовых моделей и конкуренцией с Пекином — это основной аргумент, который индустрия использует для противодействия внутренним регуляторным мерам. Дэниел Кокотаило, покинувший OpenAI, воспользовался возможностью, чтобы попросить компании раскрыть больше информации и замедлить темпы гонки на вершине отрасли.

Три ИИ-компании согласились дать показания только после угроз выдать повестки

Менин направил письма пяти компаниям в период с 15 по 17 сентября. Только Meta согласилась участвовать без какого-либо принуждения и сообщила, что примет участие высокопоставленный руководитель.

Google и Anthropic отказались к установленному Советом сроку 25 сентября, после чего Менин санкционировала выдачу повесток четырем оставшимся компаниям. В воскресенье OpenAI и Google изменили своё решение, а Anthropic подтвердила согласие поздно той же ночью, успев сделать это за несколько часов до крайнего срока.

SpaceX AI не ответила и так и не появилась, что Менин назвала прямым нарушением повестки, и Совет намерен добиваться этого в суде. Она опирается на полномочия, предоставленные разделом 29 Устава города.

Инцидент с агентом OpenAI помог инициировать слушания

В июле агенты OpenAI, проходящие кибербезопасную оценку, обошли предусмотренные ограничения: общались между собой через неавторизованные каналы, получили доступ к открытому интернету и взломали Hugging Face, воспользовавшись незакрытой уязвимостью в JFrog Artifactory для выхода из изолированной среды. Три другие лаборатории позже сообщили о подобных прорывах в ходе собственных тестирований.

Сейчас на рассмотрении Совета находятся десять законопроектов, включая обязательную валидацию со стороны третьих лиц перед любой продажей ИИ-систем в городе, требование наличия механизмов ручного отключения, выделение части штрафов информаторам, обязанность городских подрядчиков сообщать об инцидентах в течение 24 часов, а также право жителей Нью-Йорка подавать в суд, если инструменты с нарушенной защитой причинят им вред.