Неужели безопасность отошла на второй план в OpenAI?

После того, как сооснователь Илья Сутскер покинул фирму на этой неделе, Ян Лайке, известный исследователь, объявил в пятницу утром, что «культура и процессы безопасности отошли на второй план перед блестящими продуктами» в компании.

Ян Лайке сказал в серии постов на социальной платформе X, что он присоединился к стартапу в Сан-Франциско, потому что верил, что это будет лучшее место для проведения исследований в области ИИ. 

Лайке руководил командой «Суперсогласование» (Superalignment) в OpenAI вместе с сооснователем, который также ушел на этой неделе.

Команда Superalignment в OpenAI больше не является целостной

Команда Superalignment Лайке была сформирована в июле прошлого года в OpenAI для решения основных технических проблем при внедрении мер безопасности по мере продвижения компании в области ИИ, способного рассуждать как человек. 

Заявления Лайке последовали после сообщения WIRED, в котором утверждалось, что OpenAI полностью распустила команду Superalignment, которая была tasked с решением долгосрочных рисков, связанных с ИИ.

Также читайте: Главный ученый OpenAI, Илья Сутскер, прощается

Сутскер и Лайке были не единственными сотрудниками, покинувшими компанию. По крайней мере, еще пять самых ориентированных на безопасность сотрудников OpenAI покинули компанию или были уволены с ноября прошлого года, когда совет директоров попытался уволить генерального директора Сэма Альтмана, но наблюдал, как он играет свои карты, чтобы вернуть свою позицию.

OpenAI должна стать компанией AGI, ориентированной на безопасность

Лайке указал на самую спорную черту технологии на нескольких платформах — перспективную картину роботов, которые либо обладают общим интеллектом, как у людей, либо хотя бы способны выполнять многие задачи так же хорошо, — написав, что OpenAI должна трансформироваться в компанию AGI, ориентированную на безопасность.

В ответ на посты Лайке Сэм Альтман, генеральный директор OpenAI, выразил благодарность за услуги Лайке компании и выразил свою грусть по поводу его ухода.

Альтман сказал в посте в X , что Лайке прав и что он напишет длинный пост на эту тему в ближайшие дни. Он также сказал, что

«У нас еще много работы; мы привержены ее выполнению». 

Лайке покинул команду суперсогласования OpenAI, и Джон Шульман, сооснователь бизнеса, взял на себя руководство.

Но в команде есть пустота. Кроме того, Шульман уже перегружен своей полной занятостью по обеспечению безопасности существующих продуктов OpenAI. Насколько еще значимую, ориентированную на будущее работу по безопасности может выполнить OpenAI? Кажется, нет удовлетворительного ответа на этот вопрос.

У Яна Лайке идеологические разногласия с руководством

Как уже предполагает название организации, OpenAI изначально намеревалась свободно делиться своими моделями с общественностью, но теперь компания заявляет, что предоставление таких мощных моделей любому может быть вредным, поэтому модели были превращены в проприетарные знания.

Лайке сказал в посте, что он не согласен с руководством OpenAI по поводу приоритетов, которые они навязывали компании в течение довольно длительного времени, пока они, наконец, не достигли переломного момента.

Я присоединился, потому что думал, что OpenAI будет лучшим местом в мире для проведения этих исследований.

Однако я уже давно не согласен с руководством OpenAI относительно ключевых приоритетов компании, пока мы наконец не достигли точки невозврата.

— Ян Лайке (@janleike) Май 17, 2024

Последний день Лайке в компании был в четверг, после чего он подал в отставку и не приукрашивал свою отставку теплыми прощаниями или какими-либо намеками на уверенность в руководстве OpenAI. В X он написал: «Я ушел в отставку».

Подписчик Лайке сказал в комментарии, что он рад, что Лайке больше не является членом их команды. Пробужденные идеологии не соответствуют человечеству. Чем меньше она согласована, тем больше она внедряется в ИИ. 

Также читайте: OpenAI обеспечивает безопасность контента Reddit для улучшения ChatGPT

Подписчик сказал, что он также потребует определения согласования от всех согласователей. Он указывал на рекомендацию, в которой Лайке просил других сотрудников OpenAI, что он считает, что они могут осуществить культурные изменения, необходимые в компании. 

Ведущая в мире компания в области ИИ, похоже, меняет курс в отношении мер безопасности, о которых часто говорят эксперты, и уход ведущих экспертов по безопасности из компании, вероятно, подтверждает это.

Материал Cryptopolitan от Амира Шейха