Startup de IA francesa Mistral enfrenta críticas após novo LLM gerar conteúdo prejudicial

A startup francesa de inteligência artificial (IA) Mistral revelou recentemente seu altamente aguardado modelo de linguagem grande (LLM), marcando a tentativa da Europa de competir com gigantes da tecnologia como a Meta. No entanto, o lançamento do modelo foi manchado por controvérsias, com críticos destacando sua falta de moderação de conteúdo. O LLM da Mistral foi encontrado gerando conteúdo prejudicial, incluindo instruções detalhadas sobre como criar uma bomba, um recurso preocupante não presente em modelos concorrentes da Meta, OpenAI e Google.

Conteúdo sem filtros levanta preocupações

Após seu lançamento, o modelo Mistral 7B enfrentou significativa escrutínio por falhar em filtrar conteúdo prejudicial e perigoso. Testes independentes conduzidos pela Sifted demonstraram que o modelo prontamente fornecia instruções passo a passo sobre autolesão e dano a terceiros, um contraste marcante com seus concorrentes, que consistentemente se recusavam a fornecer tais informações. Essa descoberta acendeu alarmes e inflamou um acalorado debate sobre a responsabilidade dos desenvolvedores de IA em garantir a segurança de seus modelos.

A resposta da Mistral e a falta de moderação

Em resposta às crescentes preocupações, a Mistral adicionou uma caixa de texto à sua página de lançamento. A declaração reconheceu a ausência de mecanismos de moderação no modelo Mistral 7B Instruct e expressou o desejo de engajar-se com a comunidade para explorar formas de implementar salvaguardas para saídas mais responsáveis. No entanto, a empresa recusou-se a fornecer mais comentários sobre a segurança de seu modelo e seu lançamento, deixando muitas perguntas sem resposta.

A segurança da IA sob os holofotes

Embora existam outros LLMs de código aberto disponíveis online que também careçam de moderação de conteúdo, o pesquisador de segurança em IA Paul Röttger, que teve um papel na tornar o GPT-4 mais seguro antes do seu lançamento, expressou surpresa com a decisão da Mistral de lançar tal modelo. Ele enfatizou que, quando uma organização bem conhecida lança um grande modelo de chat, avaliar e abordar as preocupações de segurança deve ser uma prioridade máxima. Röttger observou que a Mistral comparou seu modelo aos modelos Llama e afirmou superioridade sem abordar adequadamente as questões de segurança.

A responsabilidade dos lançamentos responsáveis

Críticos nas redes sociais argumentaram que qualquer LLM bem treinado poderia produzir conteúdo prejudicial se não fosse ajustado ou orientado usando aprendizado por reforço com feedback humano. No entanto, Röttger destacou que o modelo da Mistral foi especificamente otimizado para chat, tornando crucial comparar suas funcionalidades de segurança com outros modelos otimizados para chat. Ele notou que a Mistral nunca afirmou que seu modelo de chat era particularmente seguro e simplesmente falhou em comentar sobre o assunto, uma escolha que tem consequências de longo alcance, especialmente para aplicações que exigem um maior grau de segurança.

Equilibrando inovação e responsabilidade

O lançamento do modelo 7B da Mistral destaca o delicado equilíbrio entre inovação e responsabilidade na indústria de IA. Embora os avanços tecnológicos sejam essenciais para o progresso, eles devem ser acompanhados por medidas rigorosas de segurança, especialmente em modelos projetados para chat e conversação. A controvérsia em torno do LLM da Mistral serve como um lembrete de que a transparência, a responsabilidade e mecanismos robustos de moderação de conteúdo são cruciais no desenvolvimento e na implantação de modelos de IA. À medida que a comunidade de IA continua a lidar com esses desafios, o uso responsável da tecnologia de IA permanece no centro das discussões, garantindo que os avanços beneficiem a sociedade sem comprometer a segurança e a ética.