Лучшие аналитические материалы о криптовалютах прямо в вашу электронную почту.
- Компания Anthropic принесла извинения и отменила скрытую политику, аналогичную той, что применялась в игре Claude Fable 5, которая незаметно снижала производительность при выполнении некоторых сложных исследовательских запросов в области искусственного интеллекта после широкой критики.
- Исследователи предупредили, что ограничения могут привести к концентрации возможностей в области искусственного интеллекта в руках нескольких компаний и замедлитьdent научный прогресс.
- Скандал разразился в то время, когда компания Anthropic готовится к потенциальному IPO с оценкой, приближающейся к 965 миллиардам долларов, что ставит под сомнение ее отношения с научным сообществом.
Компания Anthropic принесла извинения и отменила политику, которая тайно ограничивала бы возможности Claude Fable 5 для разработчиков ИИ. Ученые предупредили, что ограничительная политика может сделать расширенные функции ИИ доступными лишь для избранных компаний, препятствуя развитию науки во всем мире.
Решение компании Anthropic, принятое 10 июня, имеет гораздо более серьезные последствия, чем действия, предпринятые всего одной компанией. Учитывая ее оценку почти в 965 миллиардов долларов и предстоящее IPO, этотdent выявил важнейшее противоречие в секторе ИИ: как компании, разрабатывающие лучшие модели, управляют своими конкурентными потребностями, одновременно поддерживая открытую исследовательскую культуру, которая стимулирует инновации во всем мире.
Скрытые ограничения Anthropic, касающиеся игры Claude Fable 5, вызвали возмущение в индустрии
С запуском Claude Fable 5 9 июнякомпания Anthropic представила четыре категории защиты, включая кибербезопасность, биологию, химию и исследования в области ИИ. Три из этих категорий действовали аналогично. При обнаружении конфиденциального запроса система либо полностью отклоняла его, либо перенаправляла пользователя на Claude Opus 4.8, свою бывшую топовую версию, с открытым предупреждением.
Однако четвертая категория отличалась от остальных. При обработке запросов к развивающемуся ИИ Fable 5 снижала качество своего результата, не сообщая об этом пользователю. Согласно отчету Fortune об анонсе, компания описала меры по снижению производительности системы, не раскрывая их подробностей. Полную информацию можно найти в 319-страничном описании системы от Anthropic.
Согласно данным журнала Anthropic, вероятность применения этого ограничения составляла около 0,03%. Но сам принцип встревожил исследователей гораздо больше, чем этот процент.
«Мы допустили ошибку, и приносим свои извинения за то, что не смогли найти правильный баланс», — пояснили в Anthropic.
Критики утверждают, что ограничения, введенные в «Басни Клода 5», угрожают независимым исследованиямdent искусственного интеллекта
Критика исходила от людей, которые редко приходят к согласию. Сторонники открытого исходного кода, исследователи в области безопасности, работающие с ИИ, и даже бывшие сотрудники Anthropic — все они выступили против уже через несколько часов после публикации информации о системной карте.
Уилл Браун, руководитель исследовательского отдела стартапа Prime Intellect, занимающегося разработкой ИИ, заявил, что эта политика создает впечатление, будто компания «начинает затягивать лестницу за собой». Он добавил, что растет число компаний, которые оценивают безопасность и надежность перспективных систем. Скрытое снижение производительности потенциально может сорвать процесс их проверки.
Натан Ламберт, исследователь открытых моделей, который когда-то возглавлял работу в Институте искусственного интеллекта имени Аллена, был еще болееtronв своем заявлении. Он сказал на X, что эта политика «явно выставляет Anthropic как антинаучную организацию, а следовательно, как антипрогрессивную и антибезопасную».
Джереми Ховард, соучредитель AnswerDotAI, сформулировал проблему как борьбу за власть. По словам Ховарда, собственные исследователи Anthropic по-прежнему смогут использовать неограниченную модель внутри компании, а это значит, что область применения ИИ будет продолжать развиваться, в то время как внешние исследователи будут отставать. Он заявил, что «область применения ИИ развивается, а дисбаланс сил усиливается»
Даже бывшие сотрудники Anthropic высказали свое мнение. Бехнам Нейшабур, ранее возглавлявший инициативу компании по развитию искусственного интеллекта, заявил, что ограничение этих возможностей «фундаментально замедляет научный и технологический прогресс и в целом негативно сказывается на человечестве»
Как это может повлиять на IPO компании Anthropic?
Инцидентdent компания конфиденциальноdent1 июня, привлекая 65 миллиардов долларов при предполагаемой оценке в 965 миллиардов долларовзначительной степени зависит от доверия со стороны корпоративных клиентов и исследовательского сообщества.
Помимо споров вокруг исследований в области ИИ, релиз Fable 5 подвергся критике и по другому поводу. Мощные биологические фильтры, используемые моделью, не позволяли ей отвечать на вопросы, касающиеся клеточных мембран и митохондрий, которые обычно изучаются в средних школах. Согласно сообщениям, модели не удавалось описать, как работают мРНК-вакцины и что вызывает сенную лихорадку, хотя она без проблем обсуждала риски, связанные с тротилом и паролями.
Компания Microsoft также ограничила доступ своих сотрудников к Fable 5 из-за проблем с хранением данных, связанных с недавно введенными политиками хранения данных класса Mythos от Anthropic. Срок хранения подсказок и результатов установлен на уровне 30 дней в целях обеспечения доверия и безопасности, а помеченный контент хранится до двух лет.
Что дальше?
Компания Anthropic заявила, что с внесенными изменениями в политику Fable 5 меры защиты при разработке ИИ станут более наглядными. В случае обнаружения системой факта проведения пользователем передовых исследований в области ИИ, она может либо отклонить запрос, либо переключиться на другую систему и уведомить пользователя в обоих случаях.
Компания Anthropic признала наличие компромисса. Поскольку защита теперь видна, у компании нет иного выбора, кроме как использовать её более широко. Это означает, что будут блокироваться более безобидные запросы. Компания заявила, что работает над повышением точности классификатора. Этот случай выявил проблему ещё большей важности. Поскольку возможности моделей ИИ растут, затраты на обучение увеличиваются, и соблазн ограничить доступ конкурирующих сторон к таким инструментам возрастает. Станет ли быстрая отмена решения Anthropicdent или лишь отложит следующую попытку скрытого ограничения, будет зависеть от того, как отреагирует остальная часть отрасли.
Если вы это читаете, значит, вы уже впереди. Оставайтесь на шаг впереди, подписавшись на нашу рассылку.
Часто задаваемые вопросы
Какова была тайная политика компании Anthropic в области исследований искусственного интеллекта?
Компания Anthropic разработала Claude Fable 5 таким образом, чтобы система незаметно снижала качество результатов при обнаружении пользователей, работающих над задачами в области разработки передового ИИ, в отличие от других своих защитных механизмов, которые визуально отклоняли или перенаправляли запросы. Компания отменила эту политику после широкой критики и заявила, что будущие меры защиты в этой области будут видны пользователям.
Почему исследователи возражали против этих ограничений?
Критики утверждали, что эта политика позволит собственным исследователям Anthropic использовать неограниченные модели, в то время как сторонние ученые будут получать результаты худшего качества, что приведет к концентрации возможностей ИИ в нескольких крупных лабораториях и потенциально подорвет позиции сторонних фирм, занимающихся оценкой безопасности и тестированием передовых моделей.
Как компания Anthropic отреагировала на негативную реакцию?
Компания Anthropic принесла извинения, заявив: «Мы пошли на неправильный компромисс», и изменила политику таким образом, что меры защиты при разработке ИИ теперь видны пользователям. Это означает, что модель будет либо открыто отклонять запросы, либо перенаправлять пользователей к менее функциональной модели, вместо того чтобы молча ослаблять свои ответы.
Предупреждение. Предоставленная информация не является торговой рекомендацией. Cryptopolitanнастоятельно не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мыtronпровести независимоеdent и/или проконсультироваться с квалифицированным специалистом, прежде чем принимать какие-либо инвестиционные решения.
Ашиш Кумар
Ашиш Кумар — крипто- и финансовый журналист с восьмилетним опытом работы в новостной редакции. Он освещает события на криптовалютных рынках, вопросы регулирования, DeFiи экосистемы бирж. Он сотрудничал с Coingape, Todayq и Newsroompost. Ашиш имеет диплом PGDP по английской журналистике от IIMC. Он также брал интервью у таких деятелей индустрии, как Артур Хейс, Ят Сиу, Остин Федера и других.
- Какие криптовалюты могут принести вам деньги?
- Как повысить безопасность своего кошелька (и какие из них действительно стоит использовать)
- Малоизвестные инвестиционные стратегии, используемые профессионалами
- Как начать инвестировать в криптовалюту (какие биржи использовать, какую криптовалюту лучше купить и т.д.)