Руководитель отдела безопасности ИИ в компании Anthropic утверждает, что вероятность уничтожения человечества превышает 10%

Ведущий специалист в области антропогенной выравнивания Эван Хубингер утверждает, что искусственный интеллект имеет более чем 10%-ную вероятность уничтожить человечество в течение следующего десятилетия.

Его оценка появилась во вторник, спустя несколько часов после того, как исследователь Джейкоб Коксон заявил о своей отставке из Anthropic и обвинил Anthropic и OpenAI в принятии неприемлемых рисков в погоне заtronсистемами. Джейкоб написал на X: «Они несутся прямиком к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями»

По словам Джейкоба, разработчики технологий видят риск того, что это произойдет еще до 2030 года. Он отметил, что будущий ИИ может очень быстро превзойти хакеров-людей, трансформировать отрасли и получить доступ к финансированию и ресурсам.

Сотрудники антропологических организаций оценивают риск вымирания видов в количественном выражении, поскольку лаборатории искусственного интеллекта стремятся к созданию самосовершенствующихся систем

Эван ответил, что предупреждение Джейкоба было верным, и сказал, что у антропической системы нет способа согласовать сверхинтеллект с целями человека.

«Джейкоб здесь прав — мы действительно всерьез верим, что ИИ может уничтожить всех людей! Лично я считаю, что это произойдет более чем на 10% в течение следующего десятилетия. Я верю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласованности действий для сверхразума, и мы явно не tracк этому», — написал Эван.

Позже Эван заявил, что опасность, исходящая от современных моделей, «низка». Его беспокоит рекурсивное самосовершенствование, когда система многократно улучшает свои собственные возможности с минимальной помощью человека. Такой возможности пока не существует, хотя лаборатории ИИ работают над её разработкой. Он сказал, что сверхинтеллект, возникающий в результате этого процесса, развивается быстрее, чем ожидалось.

Компания Anthropic сделала аналогичное предупреждение в июне. В ней говорилось, что «полностью рекурсивное самосовершенствование также может увеличить риск потери контроля над системами ИИ со стороны людей». Компания добавила: «Если системы способны полностью создавать своих собственных преемников, то способы их защиты, мониторинга и формирования их поведения приобретают гораздо большее значение»

Компании Anthropic и OpenAI привлекают средства и готовятся к ожидаемому публичному размещению акций. Ни одна из компаний не ответила на запрос CNBC о комментарии.

Илон Маск, генеральный директор Tesla (NASDAQ: TSLA) и SpaceX (SPCX), уже много лет предупреждает, что искусственный интеллект может угрожать человечеству. Исследователи и ученые высказывали аналогичные опасения по поводу того, что компании могут потерять контроль над ситуацией.

Эти опасения вновь усилились после того, как OpenAI взломала Hugging Face, платформу для разработчиков с открытым исходным кодом. Джейкоб назвал подобныеdent«предупредительными выстрелами» и сказал, что они делают соглашения между американскими лабораториями более реалистичными. Это вселило в него больше надежды на координацию действий США, но он по-прежнему считает, что остановить всемирную гонку искусственного интеллекта будет сложно.

«Мне кажется, мы движемся не в trac, чтобы предотвратить глобальную гонку, для которой могут потребоваться дорогостоящие меры, такие как временный запрет на улучшение возможностей моделей», — сказал Джейкоб.

Благодаря достижениям Клода в области программирования, компания Anthropic меняет подход к тестированию программного обеспечения и проверке работы собственных инженеров

Компания Anthropic сообщила, что в мае 2026 года Клод завершил 76% самых сложных проектов с неограниченным сроком выполнения, что на 50 процентных пунктов больше, чем за предыдущие шесть месяцев.

Один из примеров начался с того, что плановое обновление привело к сбою десятков тысяч обучающих заданий. Инженер предоставил Клоду письменный контекст и доступ к работающему вычислительному кластеру.

Клод проверил запущенные задания, протестировал по одному параметру среды и tracпричину сбоя — малоизвестный флаг отладки. Он воспроизвел проблему, доказал ее причину и подтвердил возможность исправления примерно за два часа. В Anthropic заявили, что обычно на такую ​​работу инженеру-человеку потребовалось бы два-три дня.

Компания также оценивает, может ли Клод писать код, понятный и пригодный для дальнейшего развития другому инженеру. Сотрудники не пришли к единому мнению по поводу этого сравнения. Многие считали, что код Клода в Anthropic в конце 2025 года был ниже, чем у человека. Теперь компания заявляет, что качество примерно одинаковое, и ожидает, что Клод продвинется вперед в течение года.

Этот прогресс изменил внутренний процесс проверки в Anthropic. Предлагаемые изменения кода теперь проверяются автоматизированным рецензентом Claude, прежде чем их можно будет объединить. Он сканирует код на наличие ошибок, уязвимостей безопасности и других дефектов.

Ретроспективное тестирование показало, что такой анализ всех прошлых изменений позволил бы выявить примерно треть ошибок, лежащих в основе более раннихdentс Клодом, еще до их внедрения в производство. Компания Anthropic заявила, что исходный код был создан инженерами, которых она назвала одними из лучших в мире в разработке подобных систем, однако Клод обнаружил ошибки, которые они пропустили.

В компании Anthropic сравнение звучало так: «В конце 2025 года код, написанный Клодом, был несколько хуже кода, написанного человеком, сегодня он примерно равен ему, и мы ожидаем, что в течение года он станет значительно лучше»