Руководитель по безопасности ИИ в Anthropic говорит, что вероятность вымирания человечества превышает 10%

Руководитель по науке о согласовании в Anthropic Эван Хьюбингер говорит, что искусственный интеллект имеет вероятность более 10% уничтожить человечество в течение следующего десятилетия.

Его оценка была сделана во вторник, спустя несколько часов после того, как исследователь Джейкоб Коксон заявил о своей отставке из Anthropic и обвинил Anthropic и OpenAI в принятии неприемлемых рисков в погоне за более мощными системами. Джейкоб написал в X: «Они бегут прямо к самоусовершенствующемуся суперинтеллекту и играют нашими жизнями».

Согласно Джейкобу, те, кто разрабатывает технологию, видят риск того, что это произойдет даже до 2030 года. Он указал, что будущий ИИ может очень быстро превзойти хакеров-людей и трансформировать отрасли, получив доступ к финансам и ресурсам.

Сотрудники Anthropic оценили риск вымирания, поскольку лаборатории ИИ движутся к системам с самоусовершенствованием

Эван ответил, что предупреждение Джейкоба верно, и сказал, что у Anthropic нет способа сохранить согласованность суперинтеллекта с человеческими целями.

«Джейкоб прав здесь — мы действительно искренне верим, что ИИ может убить всех людей! Я лично думаю, что вероятность >10% в течение следующего десятилетия. Я считаю, что Anthropic делает все возможное, но у нас пока нет плана решения проблемы согласованности для суперинтеллекта, и мы не видим четких путей к этому», — написал Эван.

Позже Эван сказал, что опасность от современных моделей «низкая». Его беспокоит рекурсивное самоусовершенствование, при котором система многократно улучшает свои способности с минимальной помощью человека. Эта способность еще не существует, хотя лаборатории ИИ работают над ее созданием. Он сказал, что появление суперинтеллекта через этот процесс происходит быстрее, чем ожидалось.

Anthropic сделала аналогичное предупреждение в июне. Она заявила, что «полное рекурсивное самоусовершенствование также может увеличить риски потери людьми контроля над системами ИИ». Компания добавила: «Если системы способны полностью создавать своих преемников, способы их защиты, мониторинга и формирования поведения становятся гораздо более важными».

Anthropic и OpenAI привлекают финансирование, двигаясь к ожидаемым публичным листингам. Ни одна из компаний немедленно не ответила, когда CNBC запросила комментарий.

Илон Маск, генеральный директор Tesla (NASDAQ: TSLA) и SpaceX (SPCX), уже много лет предупреждает, что ИИ может угрожать человечеству. Исследователи и академики выражают аналогичные опасения по поводу потери компаниями контроля.

Эти страхи вновь усилились после того, как модель OpenAI взломала платформу разработчиков с открытым исходным кодом Hugging Face в июле. Джейкоб назвал подобные инциденты «предупредительными выстрелами» и сказал, что они делают соглашения между американскими лабораториями более реалистичными. Это сделало его более оптимистичным относительно координации в США, но он все еще ожидает, что глобальная гонка в области ИИ будет трудно остановить.

«Я не чувствую, что мы на пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей», — сказал Джейкоб.

Прогресс Claude в написании кода меняет то, как Anthropic тестирует программное обеспечение и проверяет работу своих собственных инженеров

Anthropic заявила, что Claude выполнил 76% своих самых сложных открытых задач в мае 2026 года, что на 50 процентных пунктов больше за шесть месяцев.

Один пример начался с того, что обычное обновление привело к сбою десятков тысяч задач обучения. Инженер предоставил Claude письменный контекст и доступ к живому вычислительному кластеру.

Claude проверил запущенные задачи, протестировал одну настройку среды за раз и отследил сбой до скрытого флага отладки. Он воссоздал проблему, доказал причину и подтвердил исправление примерно за два часа. Anthropic заявила, что та же работа обычно занимала бы у инженера-человека два-три дня.

Компания также измеряет, может ли Claude писать код, который другой инженер сможет понять и доработать. Сотрудники не полностью согласны с этим сравнением. Многие считали, что код Claude в конце 2025 года уступал работе людей в Anthropic. Теперь компания заявляет, что качество примерно равноценно, и ожидает, что Claude опередит в течение года.

Этот прогресс изменил внутренний процесс проверки в Anthropic. Предлагаемые изменения кода теперь проверяются автоматизированным рецензентом Claude перед слиянием. Он сканирует наличие ошибок, уязвимостей безопасности и других дефектов.

Ретроспективный тест показал, что проверка таким образом всех прошлых изменений выявила бы около трети ошибок, стоявших за более ранними инцидентами с Claude, до их выхода в производство. Anthropic заявила, что исходный код был написан инженерами, которых она описала как одних из лучших в мире в создании таких систем, однако Claude нашел ошибки, которые они пропустили.

Anthropic описала сравнение следующим образом: «Код, написанный Claude, был несколько хуже кода, написанного людьми в Anthropic в конце 2025 года, сегодня примерно на одном уровне, и мы ожидаем, что он станет строго лучше в течение года».