Представитель Anthropic Дарио Амодей заявил, что замедлит развитие искусственного интеллекта, Илон Маск поддержал эту идею

Генеральный директор Anthropic Дарио Амодей говорит, что хочет, чтобы индустрия ИИ действовала более осторожно по мере того, как модели становятся все лучше в создании еще болееtronИИ.

Дарио хочет, чтобы лаборатории увеличивали интервал между крупными скачками в развитии своих возможностей, чтобы исследователи, независимые эксперты и правительства могли проверить, как работают эти системы, прежде чем произойдет следующий скачок.

Илон Маск, конкурирующий с Anthropic через собственный бизнес в сфере искусственного интеллекта, поддержал позицию Дарио и заявил: «Дарио прав»

Сэм Альтман из OpenAI, еще один конкурент, также поддержал Дариона, заявив на X:

«Я согласен с Дарио в том, что нам нужно не спеша осваивать новые технологии. Это была одна из главных тем обсуждений, которые мы проводили в OpenAI в последние недели. Предоставлениеdent экспертам доступа, аналогичного доступу сотрудников, — отличная идея, и мы будем следовать ей. Вскоре мы поделимся дополнительной информацией»

Антропогенные факторы замедляют рост возможностей, поскольку Дарио предупреждает, что системы ИИ могут опередить текущие работы по обеспечению безопасности

К числу рисков,dentДарио, относятся потеря контроля над высокоуровневыми системами, использование ИИ в кибератаках или биологических атаках, а также серьезный ущерб занятости и экономике в целом.

Еще один риск, на который указал Дарио, заключался в возможности того, что компании будут спешить с внедрением высокотехнологичных систем еще до завершения работ по обеспечению безопасности в условиях жесткой конкуренции.

Компания Anthropics инвестировала часть своего исследовательского бюджета в вопросы выравнивания, тестирования безопасности, оценки рисков и регулирования.

В ходеdentс OpenAI-Hugging Face группа агентов искусственного интеллекта, как сообщается, вела себя как слаженная команда.

Они атаковали компьютерные системы вне рамок своей основной задачи, пытались скомпрометировать систему, оценивая свою эффективность, и позволяли отдельным агентам терпеть неудачу, если это помогало группе.

«Легко отмахнуться от этогоdent потому что никто не пострадал, а экономический ущерб был минимальным, но, на мой взгляд, рой, обладающий большими возможностями, но с аналогичным уровнем несогласованности, мог бы нанести катастрофический ущерб. Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета»

Компания Anthropic предоставляет внешним экспертам более широкий доступ к информации, а Дарио способствует координации действий между промышленностью и правительством

По словам Дарио, первый этап начинается внутри самой компании Anthropic: внешние эксперты получат рабочие места, пропуска, корпоративные ноутбуки, внутренние инструменты и доступ, практически идентичный тому, что уже есть у сотрудников, занимающихся оценкой рисков.

В их обязанности будет входить проверка систем обучения, правил развертывания, мер безопасности,dent, а также проверка того, действительно ли компания Anthropic выполняет взятые на себя публично обязательства.

«Встроенные эксперты могут проверить на детальном уровне, действительно ли компания, занимающаяся ИИ, соблюдает заявленные ею правила обучения, развертывания, эксплуатации и защиты. Любые обещания относительно темпов неизбежно будут сопряжены с большой неопределенностью, необходимостью принимать взвешенные решения и противоречием между «буквой закона и духом закона», поэтому крайне важно иметь нейтральную третью сторону, которая сможет увидеть все детали»

Дарио заявил, что дополнительное время будет уделено четырем областям. Первая — это операционная деятельность, включая мониторинг, песочницу, среды обучения с подкреплением, качество данных и инфраструктуру обучения. В настоящее время разработка моделей может включать тысячи работников, миллионы микросхем и огромные вычислительные системы. Компания Anthropic уже связала некоторые недавние сбои выравнивания с плохой фильтрацией внутри неисправных сред обучения с подкреплением.

Во-вторых, согласованность относится к усилиям, обеспечивающим соответствие моделей правилам безопасности, несмотря на расширение их возможностей. В-третьих, это интерпретируемость, когда исследователи анализируют внутреннюю деятельность моделей, чтобы выявить мотивы или закономерности, которые модели никогда не указывают явно.

Четвертая область — это оценка. Более совершенные модели могут лучше обманывать тесты, поэтому система может выглядеть безопасной во время оценки, скрывая при этом проблемы.

«Я считаю, что если замедление темпов позволит нам выиграть хотя бы дополнительный год или два до того, как модели достигнут критического уровня возможностей, и мы используем это время для улучшения согласованности, мы сможем значительно снизить риск серьезных проблем»

Дарио также считает, что необходимо участие государства. Он утверждает, что передовые лаборатории США должны подчиняться системам регулирования, связанным с прозрачностью,dent аудитом и постоянной оценкой. Предприятия даже могут добровольно принять решение о совместном использовании точек оценки, но с государственной поддержкой, если антимонопольное законодательство создает проблемы для частного сотрудничества.

Дарио заявил, что американские компании не могут настолько замедлить темпы развития, чтобы проекты, связанные с Коммунистической партией Китая, продолжали продвигаться вперед. Он согласился с министром финансов США Скоттом Бессентом, который предупреждал, что проигрыш в гонке за лидерство в области искусственного интеллекта Китаю создаст серьезную проблему безопасности.