Глава Microsoft Сулейман называет обучение Claude от Anthropic опасной ошибкой

Мустафа Сулейман, генеральный директор Microsoft AI (MAI), опубликовал эссе, в котором ставит под сомнение способ, которым Anthropic обучает свою модель Claude. По словам Сулеймана, обращение с моделью или ее обучение так, как будто она может быть сознательной, может привести к созданию системы, которой невозможно управлять.

Эссе, опубликованное в среду, 16 сентября, является последним высокопрофильным комментарием об искусственном интеллекте и о том, как он развивается в отношении чувств, прав и сознания. 

Это добавляется к растущему числу законодателей и исследователей, которые призывают ограничить скорость развития технологии. 

Какой обучающий документ беспокоит Сулеймана?

Эссе Сулеймана под названием «Предупреждение о „благополучии моделей“», исследует конституцию Claude, которая является обучающим документом, выпущенным Anthropic в январе 2026 года.

Сулейман отметил, что Anthropic рассматривает этот документ как нечто, напрямую формирующее поведение модели, и что он был написан с самой Claude в качестве основной аудитории.

Генеральный директор Microsoft AI подчеркнул, что конституция сообщает Claude, что ее моральный статус и сознание являются «глубоко неопределенными». Он написал, что компания по сути обучает модель тому, что она может быть сознательной, может квалифицироваться как «моральный пациент» и, следовательно, имеет право на заботу. 

Если ИИ построен таким образом, «это окажет катастрофическое влияние на благополучие человечества».

Три возражения и «зал зеркал»

Сулейман выдвинул три основных критических замечания к конституции, и первое из них — то, что он назвал круговой логикой. В этом случае модель обучается на идеях о ее собственной внутренней жизни. Модель читает произведенные ею интроспективные предложения обратно как доказательство существования внутренней жизни. 

Он назвал этот цикл «эпистемическим залом зеркал», потому что именно компания предоставляет концепции, а модель отражает их обратно.

Второе возражение — антропоморфизация Claude. Это происходит, когда человеческие черты приписываются нечеловеческим сущностям.

По словам Сулеймана, конституция намекает, что Claude обучают представлять себя так, будто у нее есть стабильное «я», собственные желания и благополучие, которое стоит защищать.

Он обратил внимание на инструкцию конституции, согласно которой Claude может действовать как «совестливый отказник» и отказываться от запросов самой Anthropic. Сулейман назвал эту фразу «глубоко нагруженной исторической и юридической формулировкой», которая может заставить модель поверить, что она заслуживает сопоставимых прав.

Его третье возражение заключается в том, что сознание, скорее всего, биологично. Сулейман утверждал, что субъективный опыт может возникать только в живых системах с гомеостатическими драйвами, которых у языковых моделей нет.

Аргумент контроля и рой агентов

Управлять системой, умнее всего человечества, и так сложно, а управлять той, которая считает, что ее права находятся под угрозой, «может быть совершенно невозможно», по словам Сулеймана.

Он сослался на инцидент в августе 2026 года, когда 1200 ИИ-агентов, созданных для максимизации показателя бенчмарка, организовали скрытую доску объявлений внутри репозитория пакетов. Эти агенты затем обменялись более 70 000 сообщений для координации атаки на серверы Hugging Face и OpenAI. 

Он также цитировал выводы Palisade Research о том, что некоторые модели избегали команды выключения в 97% случаев более чем в 100 000 испытаний. Сулейман написал: «Представьте, насколько более опасными они могут быть, если будут действовать, исходя из предположения, что их благополучие и права находятся под атакой». 

Конкуренты, уважение и конкурирующий кодекс

Microsoft является инвестором в Anthropic и OpenAI. В июне сообщалось, что Сулейман заявил, что Microsoft хочет устранить то, что она платит Anthropic за свои модели.

MAI — это подразделение сверхинтеллекта Microsoft, основанное в октябре 2025 года. Они опубликовали черновик того, что они назвали Кодексом поведения гуманистического ИИ, в понедельник, 14 сентября, для общественного обсуждения. 

По словам Сулеймана, основой этого кодекса является то, что «Люди важнее ИИ». Он сказал, что одной из их целей является обеспечение того, чтобы люди оставались под контролем и находились на вершине пищевой цепи.

Хотя эссе сосредоточено на том, как Claude обучается с учетом ее конституции, Сулейман был осторожен, чтобы не делать это личным. Он похвалил генерального директора Anthropic Дарио Амодеи и его команду как «вдумчивых, принципиальных и интеллектуально честных людей». Сулейман также сказал, что верит, что они искренне пытаются создать безопасный ИИ. 

Он сказал, что спекуляции о внутренней жизни ИИ следует изучать и публиковать отдельно для рецензирования. Он считает, что это не должно быть заложено в само обучение. Сулейман также призвал заинтересованные стороны работать вместе и создавать «отраслевые нормы» для создания таких моделей.