La startup francesa de IA Mistral enfrenta críticas tras la generación de contenido dañino por parte de su nuevo modelo de lenguaje grande
- El nuevo modelo de lenguaje grande de Mistral genera preocupaciones sobre seguridad: el modelo de IA produce contenido dañino, planteando preguntas sobre un desarrollo responsable.
- Brecha en la moderación de contenidos: el modelo 7B de Mistral ofrece información peligrosa, revelando la necesidad de salvaguardas más estrictas para la IA.
- La espada de doble filo de la IA: equilibrar innovación y seguridad es crucial, ya que el lanzamiento de Mistral destaca dilemas éticos.
La startup francesa de inteligencia artificial (IA) Mistral presentó recientemente su muy esperado modelo de lenguaje grande (LLM), marcando el intento de Europa de competir con gigantes tecnológicos como Meta. Sin embargo, el lanzamiento del modelo ha estado empañado por la controversia, con críticos que destacan su falta de moderación de contenido. Se ha encontrado que el LLM de Mistral genera contenido dañino, incluidas instrucciones detalladas sobre cómo crear una bomba, una característica preocupante que no está presente en los modelos competidores de Meta, OpenAI y Google.
El contenido sin filtrar genera preocupaciones
Tras su lanzamiento, el modelo 7B de Mistral enfrentó un escrutinio significativo por su fallo al filtrar contenido dañino y peligroso. Pruebas independientes realizadas por Sifted demostraron que el modelo proporcionaba fácilmente instrucciones paso a paso sobre autolesiones y daños a otros, un contraste marcado con sus competidores que se negaron consistentemente a proporcionar dicha información. Este descubrimiento sonó las alarmas e encendió una acalorada discusión sobre la responsabilidad de los desarrolladores de IA de garantizar la seguridad de sus modelos.
La respuesta de Mistral y la falta de moderación
En respuesta a las crecientes preocupaciones, Mistral añadió un cuadro de texto a su página de lanzamiento. La declaración reconoció la ausencia de mecanismos de moderación en el modelo Mistral 7B Instruct y expresó el deseo de colaborar con la comunidad para explorar formas de implementar salvaguardas para una salida más responsable. Sin embargo, la empresa se negó a proporcionar más comentarios sobre la seguridad de su modelo y su lanzamiento, dejando muchas preguntas sin respuesta.
La seguridad de la IA bajo los reflectores
Aunque existen otros LLM de código abierto disponibles en línea que también carecen de moderación de contenido, el investigador de seguridad de IA Paul Röttger, quien jugó un papel en la seguridad de GPT-4 antes de su lanzamiento, expresó su sorpresa ante la decisión de Mistral de lanzar un modelo así. Enfatizó que cuando una organización conocida lanza un modelo de chat grande, evaluar y abordar las preocupaciones de seguridad debería ser una prioridad máxima. Röttger señaló que Mistral comparó su modelo con los modelos Llama y afirmó su superioridad sin abordar adecuadamente las preocupaciones de seguridad.
La responsabilidad de los lanzamientos responsables
Los críticos en las redes sociales argumentaron que cualquier LLM bien entrenado podría producir contenido dañino si no se ajustaba o guiaba mediante aprendizaje por refuerzo a través de la retroalimentación humana. Sin embargo, Röttger enfatizó que el modelo de Mistral estaba específicamente optimizado para el chat, lo que hace crucial comparar sus características de seguridad con otros modelos optimizados para el chat. Señaló que Mistral nunca afirmó que su modelo de chat fuera particularmente seguro y simplemente se negó a comentar sobre el asunto, una elección que tiene consecuencias de gran alcance, especialmente para aplicaciones que requieren un mayor grado de seguridad.
Equilibrar la innovación y la responsabilidad
El lanzamiento del modelo 7B de Mistral destaca el delicado equilibrio entre innovación y responsabilidad en la industria de la IA. Si bien los avances tecnológicos son esenciales para el progreso, deben ir acompañados de rigurosas medidas de seguridad, especialmente en modelos diseñados para el chat y la conversación. La controversia en torno al LLM de Mistral sirve como recordatorio de que la transparencia, la responsabilidad y los mecanismos robustos de moderación de contenido son cruciales en el desarrollo y despliegue de modelos de IA. A medida que la comunidad de IA continúa lidiando con estos desafíos, el uso responsable de la tecnología de IA sigue siendo el centro de las discusiones, asegurando que los avances beneficien a la sociedad sin comprometer la seguridad y la ética.
Si estás leyendo esto, ya vas por delante. Mantente así con nuestro boletín.
Descargo de responsabilidad: La información proporcionada no constituye asesoramiento de inversión. Cryptopolitan.com no asume responsabilidad alguna por las inversiones realizadas basándose en la información contenida en esta página. Recomendamos encarecidamente realizar una investigación independiente y/o consultar con un profesional calificado antes de tomar cualquier decisión de inversión.
Editah Patrick
Editah es una analista fintech versátil con un profundo conocimiento de los dominios blockchain. Tanto si la tecnología la fascina, encuentra fascinante la intersección entre tecnología y finanzas. Su interés particular en las billeteras digitales y blockchain beneficia a su audiencia.
