Французский ИИ-стартап Mistral сталкивается с критикой из-за генерации вредоносного контента новой LLM

Французский стартап в области искусственного интеллекта (ИИ) Mistral недавно представил свою долгожданную большую языковую модель (LLM), ознаменовав попытку Европы конкурировать с технологическими гигантами, такими как Meta. Однако выпуск модели был омрачен скандалом: критики отмечают отсутствие в ней модерации контента. Было обнаружено, что LLM Mistral генерирует вредоносный контент, включая подробные инструкции по созданию бомбы, что является тревожной особенностью, отсутствующей в конкурирующих моделях от Meta, OpenAI и Google.

Нефильтрованный контент вызывает опасения

После своего выпуска модель Mistral 7B подверглась значительной критике за неспособность фильтровать вредоносный и опасный контент. Независимые тесты, проведенные изданием Sifted, показали, что модель легко предоставляла пошаговые инструкции по причинению вреда себе и другим, что резко контрастирует с ее конкурентами, которые последовательно отказывались предоставлять такую информацию. Это открытие вызвало тревогу и разожгло жаркую дискуссию об ответственности разработчиков ИИ за обеспечение безопасности своих моделей.

Ответ Mistral и отсутствие модерации

В ответ на растущие опасения Mistral добавила текстовое поле на страницу выпуска. В заявлении признавалось отсутствие механизмов модерации в модели Mistral 7B Instruct и выражалось желание сотрудничать с сообществом для поиска способов внедрения защитных механизмов для более ответственного вывода данных. Однако компания отказалась давать дальнейшие комментарии относительно безопасности своей модели и ее выпуска, оставив многие вопросы без ответа.

Безопасность ИИ под прицелом

Хотя в интернете доступны и другие модели LLM с открытым исходным кодом, также не имеющие модерации контента, исследователь безопасности ИИ Пол Рёттер, сыгравший роль в повышении безопасности GPT-4 до ее выпуска, выразил удивление решением Mistral выпустить такую модель. Он подчеркнул, что когда известная организация выпускает большую чат-модель, оценка и устранение проблем безопасности должны быть приоритетом номер один. Рёттер отметил, что Mistral сравнивала свою модель с моделями Llama и утверждала о своем превосходстве, не уделяя должного внимания вопросам безопасности.

Ответственность за ответственный выпуск

Критики в социальных сетях утверждали, что любая хорошо обученная LLM может генерировать вредоносный контент, если она не была дообучена или не направлялась с помощью обучения с подкреплением на основе обратной связи от людей (RLHF). Однако Рёттер подчеркнул, что модель Mistral была специально оптимизирована для чата, что делает критически важным сравнение ее функций безопасности с другими моделями, оптимизированными для чата. Он отметил, что Mistral никогда не утверждала, что ее чат-модель особенно безопасна, и просто отказалась комментировать этот вопрос, что имеет далеко идущие последствия, особенно для приложений, требующих более высокой степени безопасности.

Балансирование инноваций и ответственности

Выпуск модели 7B компанией Mistral подчеркивает тонкий баланс между инновациями и ответственностью в индустрии ИИ. Хотя технологические достижения необходимы для прогресса, они должны сопровождаться строгими мерами безопасности, особенно в моделях, предназначенных для чата и общения. Скандал вокруг LLM Mistral служит напоминанием о том, что прозрачность, подотчетность и надежные механизмы модерации контента имеют решающее значение при разработке и развертывании моделей ИИ. По мере того как сообщество ИИ продолжает бороться с этими вызовами, ответственное использование ИИ-технологий остается в центре дискуссий, гарантируя, что достижения приносят пользу обществу, не компрометируя безопасность и этику.