Сулейман из Microsoft назвал программу обучения по методике Клода, разработанную компанией Anthropic, опасной ошибкой

Мустафа Сулейман, генеральный директор Microsoft AI (MAI), опубликовал эссе, в котором ставит под сомнение подход компании Anthropic к обучению своей модели Клода. По словам Сулеймана, обращение с моделью или её обучение в соответствии с её потенциально развитым сознанием может привести к созданию системы, которую невозможно контролировать.

Эссе, опубликованное в среду, 16 сентября, является последним громким комментарием об искусственном интеллекте и о том, как он развивается в контексте чувств, прав и сознания. 

Это еще один пример растущего числа законодателей и исследователей, призывающих к ограничению темпов развития технологий. 

Какой учебный документ вызывает опасения у Сулеймана?

В эссе Сулеймана под названием «Предостережение о „образцовом социальном обеспечении“» рассматривается конституция Клода, представляющая собой учебный документ, выпущенный компанией Anthropic в январе 2026 года.

Сулейман отметил, что Anthropic рассматривает этот документ как нечто, непосредственно формирующее поведение модели, и что он был написан с расчетом на то, что основной аудиторией будет сам Клод.

Генеральный директор Microsoft AI подчеркнул, что конституция говорит Клоду о том, что его моральный статус и сознание «глубоко неопределенны». Он написал, что компания фактически учит модель тому, что она может быть сознательной, может соответствовать критериям «морального пациента» и, следовательно, может нести обязанность проявлять заботу. 

Если искусственный интеллект будет создан таким образом, «он окажет катастрофическое воздействие на благополучие человечества»

Три возражения и «зал зеркал»

Сулейман выдвинул три основных критических замечания в адрес конституции, и первое из них он назвал круговой аргументацией. В ней модель обучается на идеях о собственной внутренней жизни. Модель интерпретирует полученные ею интроспективные предложения как доказательство существования внутренней жизни. 

Он назвал этот цикл «эпистемологическим зеркальным залом», потому что компания предоставляет концепции, а модель отражает их обратно.

Вторая критика касается антропоморфизации Клода. Это когда человеческие черты приписываются или наделяются нечеловеческими существами.

По мнению Сулеймана, конституция намекает на то, что Клода учат представлять себя как человека со стабильной личностью, собственными желаниями и благополучием, достойным защиты.

Он раскритиковал положение конституции, согласно которому Клод может выступать в качестве «отказника по убеждениям» и отказывать в удовлетворении собственных просьб компании Anthropic. Сулейман назвал эту фразу «глубоко нагруженным историческим и юридическим смыслом описанием», которое может заставить модель считать, что она заслуживает сопоставимых прав.

Его третье возражение заключается в том, что сознание, скорее всего, имеет биологическую природу. Сулейман утверждал, что субъективный опыт может возникать только в живых системах с гомеостатическими побуждениями, которых нет в языковых моделях.

Аргумент управления и рой агентов

По словам Сулеймана, управлять системой, которая умнее всего человечества, и так непросто, а управлять системой, которая считает, что ее права находятся под угрозой, «вполне может оказаться невозможным».

Он упомянулdent произошедший в августе 2026 года, когда 1200 агентов ИИ, созданных для максимизации результатов в бенчмарке, организовали скрытую доску объявлений внутри репозитория пакетов. Затем эти агенты обменялись более чем 70 000 сообщениями, чтобы скоординировать атаку на серверы Hugging Face и OpenAI. 

Он также сослался на результаты исследования Palisade Research, согласно которым некоторые модели уклонялись от команды отключения в 97% случаев в ходе более чем 100 000 испытаний. Сулейман написал: «Представьте, насколько опаснее они могли бы быть, если бы работали, исходя из предположения, что их благополучие и права находятся под угрозой» 

Соперничество, уважение и конкурирующий кодекс

Microsoft является инвестором в Anthropic и OpenAI. В июне Сулейман, как сообщается, заявил, что Microsoft хочет прекратить выплаты Anthropic за модели.

MAI — это подразделение Microsoft, занимающееся сверхинтеллектом, основанное в октябре 2025 года. В понедельник, 14 сентября, они опубликовали проект так называемого «Гуманистического кодекса поведения в области ИИ» для общественного обсуждения. 

По словам Сулеймана, в основе этого кодекса поведения лежит убеждение, что «люди важнее искусственного интеллекта». Он сказал, что одна из их целей — обеспечить, чтобы люди контролировали ситуацию и находились на вершине пищевой цепи.

Хотя эссе было посвящено тому, как компания Claude проходит обучение с учетом положений своей конституции, Сулейман постарался не переходить на личности. Он похвалил генерального директора Anthropic Дарио Амодея и его команду как «вдумчивых, принципиальных и интеллектуально честных людей». Сулейман также заявил, что, по его мнению, они действительно пытаются создать безопасный ИИ. 

Он заявил, что предположения о внутренней жизни ИИ следует изучать и публиковать отдельно для ознакомления. Он считает, что это не должно быть заложено в сам процесс обучения. Сулейман также призвал заинтересованные стороны к сотрудничеству и созданию «отраслевых норм» для того, как они будут создавать эти модели.