Ведущий исследователь в области безопасности ИИ ушел из компании Anthropic с загадочным предупреждением

Ведущий исследователь в области безопасности из компании Anthropic, Мринанк Шарма, на этой неделе объявил о своей отставке в сообщении на платформе X. По всей видимости, это решение Шармы вызвано его обеспокоенностью текущим состоянием искусственного интеллекта и ситуацией в мире

Мринанк Шарма возглавлял исследовательскую группу по вопросам защиты данных в компании Anthropic, известном разработчике искусственного интеллекта, чья большая языковая модель (LLM) Claude широко считается одним из главных конкурентов ChatGPT. Уход Шармы был довольно внезапным, поскольку исследовательская группа по вопросам защиты данных была официально создана только в феврале прошлого года. Основная задача группы заключалась в выявленииdentпонимании и снижении рисков, связанных с развернутыми в Anthropic системами искусственного интеллекта, такими как Claude.

Внезапный уход ведущего исследователя в области безопасности из одной из крупнейших американских компаний, занимающихся искусственным интеллектом, вызвал большой резонанс в социальных сетях. Пожалуй, наиболее примечательной частью заявления об отставке стало загадочное предупреждение Шармы о том, что «мир в опасности». Он объяснил это «не только ИИ или биологическим оружием», но и «целой серией взаимосвязанных кризисов, разворачивающихся прямо сейчас». Многие восприняли это как предупреждение об экзистенциальных рисках, связанных с развитием ИИ. Отставка Шармы является частью более широкой, вызывающей беспокойство и ускоряющейся тенденции увольнений высокопоставленных сотрудников компаний, занимающихся ИИ, в последнее время.

Интерпретация заявления об отставке Шармы

Мринанк Шарма начал письмо с краткого рассказа о своем прошлом и о том, что его вдохновляет, в частности, о «готовности принимать сложные решения и отстаивать то, что хорошо». Он также рассказал о своем вкладе в Anthropic, включая разработку и внедрение средств защиты «для снижения рисков биотерроризма с использованием ИИ», а также написание одного из первых обоснований безопасности ИИ. Его заключительный проект был посвящен «пониманию того, как ИИ-помощники могут сделать нас менее человечными или исказить нашу человечность»

Однако наибольшую обеспокоенность вызвал третий абзац его письма. Хотя он напрямую не обвинял Anthropic в каких-либо нарушениях и не заявлял прямо, что ИИ убьет нас всех, он использовал много философских выражений, чтобы объяснить свою отставку. Он заявил, что «мы, похоже, приближаемся к порогу, когда наша мудрость должна расти в равной мере с нашей способностью влиять на мир, иначе мы столкнемся с последствиями». Далее он написал: «Я неоднократно видел, как трудно по-настоящему позволить нашим ценностям управлять нашими действиями». Он также описал мир как находящийся в опасности из-за ряда взаимосвязанных кризисов, которые он в сноске назвал «поликризисом», подкрепленным «метакризисом»

Эта формулировка намекает на то, что его уход из Anthropic был вызван скорее философскими разногласиями, чем какими-либо внутренними спорами в компании. Описывая нынешний момент как «поликризис», подкрепленный «метакризисом», Шарма, похоже, указывает на гораздо более масштабную структурную проблему, стоящую перед обществом и, как следствие, перед развитием ИИ. Технологии развиваются быстрее, чем коллективная мудрость, и существующие системы и силы, управляющие их развитием и влияющие на него, не в состоянии должным образом адаптироваться к нынешнему состоянию мира.

Главный вывод из письма Шармы

Главный вывод из письма об отставке Шармы многогранен и носит экзистенциальный характер. С одной стороны, он, похоже, считает, что существует фундаментальная проблема в том, как технологические компании справляются с ускоренным развитием ИИ в условиях конкурентной системы. Мировые державы ведут гонку вооружений, стремясь превзойти друг друга в области ИИ и других технологических достижений, при этом глобальные расходы на технологии, по прогнозам, достигнут 5,6 триллиона долларов в 2026 году. Это означает, что компании, занимающиеся ИИ, не просто внедряют инновации и создают продукты, но и являются важнейшим компонентом геополитических конфликтов. Кроме того, эти компании несут фидуциарную ответственность за эффективную работу на благо акционеров, что создает стимул превзойти своих конкурентов в технологическом развитии.

Это создает среду, в которой принципы и процедуры безопасности должны также соответствовать рыночному давлению, национальной конкурентоспособности и ожиданиям инвесторов. Тем не менее, по мере того как компании, занимающиеся ИИ, быстро расширяют и совершенствуют свои возможности, им необходимоdent, понимать и снижать связанные с этим риски. Проблема, которую, по-видимому, пытается решить Шарма, заключается в том, что нынешняя система, в которой работают компании, занимающиеся ИИ, по своей природе ставит рост выше безопасности и этических соображений. Последствия этой динамики имеют глубокий экзистенциальный характер и вызывают серьезную озабоченность. Человек, подобный Шарме, который, по всей видимости, обладает безупречной репутацией, просто не смог бы продолжать работать в этой системе, не поступаясь своими ценностями, что привело его к полному уходу из нее.