Французский стартап в области искусственного интеллекта Mistral столкнулся с критикой из-за того, что его новая магистерская программа генерирует вредоносный контент

Французский стартап в области искусственного интеллекта (ИИ) Mistral недавно представил свою долгожданную модель большого языка (LLM), что стало знаменательным событием для Европы в борьбе за конкуренцию с такими технологическими гигантами, как Meta. Однако запуск модели вызвал споры, поскольку критики отметили отсутствие модерации контента. Было обнаружено, что модель LLM Mistral генерирует вредоносный контент, включая подробные инструкции по созданию бомбы, что вызывает беспокойство и отсутствует в конкурирующих моделях Meta, OpenAI и Google.

Неотфильтрованный контент вызывает опасения

После своего выпуска модель Mistral 7B подверглась серьёзной критике из-за неспособности отфильтровывать вредоносный и опасный контент.dent тесты, проведённые Sifted, показали, что модель легко предоставляла пошаговые инструкции по самоповреждению и причинению вреда другим, что резко контрастировало с конкурентами, которые постоянно отказывались предоставлять такую ​​информацию. Это открытие вызвало тревогу и спровоцировало бурную дискуссию об ответственности разработчиков ИИ за обеспечение безопасности своих моделей.

Реакция Мистраля и отсутствие модерации

В ответ на растущие опасения компания Mistral добавила текстовое поле на страницу с релизом. В заявлении признавалось отсутствие механизмов модерации в модели Mistral 7B Instruct и выражалось желание взаимодействовать с сообществом для изучения способов внедрения защитных ограждений для более ответственного выпуска. Однако компания отказалась предоставить дополнительные комментарии относительно безопасности своей модели и её выпуска, оставив многие вопросы без ответа.

Безопасность ИИ в центре внимания

Хотя в интернете доступны и другие программы LLM с открытым исходным кодом, также не имеющие модерации контента, исследователь в области безопасности ИИ Пауль Рёттгер, сыгравший важную роль в повышении безопасности GPT-4 до её релиза, выразил удивление решением Mistral выпустить такую ​​модель. Он подчеркнул, что когда известная организация выпускает масштабную модель чата, оценка и решение проблем безопасности должны быть главным приоритетом. Рёттгер отметил, что Mistral сравнивала свою модель с моделями Llama и утверждала о её превосходстве, не уделяя должного внимания вопросам безопасности.

Ответственность ответственных релизов

Критики в социальных сетях утверждали, что любой хорошо обученный LLM может создавать вредоносный контент, если его не настроить или не направлять с помощью обучения с подкреплением и обратной связи с человеком. Однако Рёттгер подчеркнул, что модель Mistral была специально оптимизирована для чата, поэтому крайне важно сравнить её функции безопасности с другими моделями, оптимизированными для чата. Он отметил, что Mistral никогда не заявляла о своей модели чата как об особо безопасной и просто не комментировала этот вопрос, что имеет далеко идущие последствия, особенно для приложений, требующих более высокого уровня безопасности.

Баланс инноваций и ответственности

Выпуск компанией Mistral модели 7B подчёркивает деликатный баланс между инновациями и ответственностью в сфере искусственного интеллекта. Хотя технологические достижения необходимы для прогресса, они должны сочетаться со строгими мерами безопасности, особенно в моделях, предназначенных для чата и общения. Споры вокруг получения степени магистра права (LLM) компанией Mistral служат напоминанием о том, что прозрачность, подотчётность и надёжные механизмы модерации контента имеют решающее значение при разработке и внедрении моделей искусственного интеллекта. Поскольку сообщество специалистов по искусственному интеллекту продолжает бороться с этими проблемами, ответственное использование технологий искусственного интеллекта остаётся в центре внимания, гарантируя, что эти достижения принесут пользу обществу без ущерба для безопасности и этики.