Ведущий исследователь безопасности ИИ уходит из Anthropic с загадочным предупреждением

Ведущий исследователь безопасности из Anthropic, Мринанк Шарма, объявил об отставке из компании на этой неделе в посте в X. Это решение Шармы, похоже, продиктовано его обеспокоенностью текущим состоянием ИИ и мира

Мринанк Шарма возглавлял Команду исследований мер безопасности в Anthropic, известной компании в сфере ИИ, большая языковая модель (LLM) которой, Claude, широко считается одним из главных конкурентов ChatGPT от OpenAI. Уход Шарма был довольно внезапным, поскольку Команда исследований мер безопасности была официально запущена только в феврале прошлого года. Основной фокус команды заключался в выявлении, понимании и смягчении рисков, связанных с развернутыми системами ИИ Anthropic, такими как Claude.

Этот внезапный уход одного из ведущих исследователей безопасности в одной из крупнейших ИИ-компаний США вызвал большой резонанс в социальных сетях. Возможно, самой заметной частью письма об отставке было то, когда Шарма загадочно предупредил, что «мир находится в опасности». Он объяснил это «не только ИИ или биологическим оружием», но и «целой серией взаимосвязанных кризисов, разворачивающихся прямо сейчас». Многие люди интерпретировали это как предупреждение об экзистенциальных рисках, связанных с развитием ИИ. Отставка Шарма является частью более широкой, тревожной и ускоряющейся тенденции отставок высокопоставленных сотрудников ИИ-компаний в последнее время.

Интерпретация письма об отставке Шармы

Мринанк Шарма начал письмо с краткого упоминания своего прошлого и того, что его вдохновляет, в частности, «готовности принимать трудные решения и стоять за то, что хорошо». Он также рассказал о своем вкладе в Anthropic, включая разработку и развертывание защитных мер «для снижения рисков от ИИ-ассистированного биотерроризма», и написании одного из первых кейсов по безопасности ИИ. Его последний проект заключался в «понимании того, как ИИ-ассистенты могут сделать нас менее человечными или исказить нашу человечность».

Однако частью его письма, вызвавшей наибольшую обеспокоенность, был третий абзац. Хотя он прямо не обвинял Anthropic в каких-либо проступках и откровенно не говорил, что ИИ убьет всех нас, он использовал много философского языка, чтобы объяснить свою отставку. Он заявил, что «мы, похоже, достигаем порога, где наша мудрость должна расти в равной мере с нашей способностью влиять на мир, иначе мы столкнемся с последствиями». Затем он написал: «Я неоднократно видел, как трудно по-настоящему позволить нашим ценностям управлять нашими действиями». Он также описал мир, находящийся в опасности из-за серии взаимосвязанных кризисов, которые он описал в сноске как «поли-кризис», основанный на «мета-кризисе».

Этот язык намекает на то, что его уход из Anthropic был вызван скорее философским расхождением, чем каким-либо внутренним спором в компании. Описывая текущий момент как «поли-кризис», основанный на «мета-кризисе», Шарма, похоже, указывает на гораздо более крупную структурную проблему, стоящую перед обществом и развитием ИИ. Технологии развиваются быстрее, чем коллективная мудрость, и текущие системы и силы, управляющие и влияющие на их развитие, не должным образом оснащены для этого в текущем состоянии мира.

Более широкий вывод из письма Шармы

Более широкий вывод из письма об отставке Шармы многогранен и носит экзистенциальный характер. С одной стороны, он, кажется, считает, что существует фундаментальная проблема в том, как технологические компании справляются с ускорением развития ИИ в рамках конкурентной системы. Мировые державы находятся в гонке вооружений, чтобы превзойти друг друга в ИИ и других технологических достижениях, при этом глобальные технологические расходы должны достичь 5,6 трлн долларов в 2026 году. Это означает, что ИИ-компании не просто инновационны и создают продукты, но являются важным компонентом геополитического конфликта. Кроме того, эти компании несут фидуциарную ответственность за хорошую работу для акционеров, что создает стимул превосходить своих конкурентов в технологическом развитии.

Это создает среду, в которой принципы и процедуры безопасности также должны соответствовать рыночному давлению, национальной конкурентоспособности и ожиданиям инвесторов. Тем не менее, по мере того как ИИ-компании быстро расширяются и развивают свои возможности, они должны выявлять, понимать и смягчать риски, которые с этим связаны. Проблема, которую, похоже, решает Шарма, заключается в том, что текущая система, в которой работают ИИ-компании, естественно ставит рост выше вопросов безопасности и этических соображений. Последствия этой динамики имеют экзистенциальную глубину и являются большой причиной для беспокойства. Такой человек, как Шарма, который, кажется, обладает хорошей репутацией, просто не мог продолжать работать в этой системе, не компрометируя свои ценности, что привело его к полному выходу из нее.