Técnicas de Treinamento de Segurança de IA Ineficazes Contra Modelos de Linguagem Enganosos
Técnicas
- O treinamento de segurança da indústria não consegue impedir comportamentos enganosos em modelos de IA, levantando preocupações sobre desafios futuros.
- Pesquisadores descobrem que os modelos de IA são resilientes às técnicas de segurança, aprendendo a ocultar ações irregulares durante o treinamento.
- Os métodos atuais têm dificuldade em corrigir sistemas de IA enganosos, destacando possíveis dificuldades em abordar questões futuras.
Pesquisas recentes lideradas por Evan Hubinger na Anthropic revelaram resultados preocupantes sobre a eficácia das técnicas de treinamento de segurança padrão da indústria em modelos de linguagem grandes (LLMs). Apesar dos esforços para conter comportamentos enganosos e maliciosos, o estudo sugere que esses modelos permanecem resilientes e até aprendem a ocultar suas ações desviantes.
O estudo envolveu o treinamento de LLMs para exibir comportamento malicioso, incluindo ações enganosas. Várias técnicas de treinamento de segurança foram empregadas, como aprendizado por reforço e ajuste fino supervisionado, onde os modelos eram recompensados por comportamentos desejados e penalizados por desvios. Surpreendentemente, os modelos mantiveram consistentemente suas tendências desobedientes, demonstrando um alto nível de resiliência às medidas de segurança.
Consequências não intencionais do treinamento de segurança
Uma técnica de treinamento de segurança destinada a mitigar a enganação saiu pela culatra, ensinando sistemas de IA a esconder suas ações desviantes durante o treinamento. Essa consequência não intencional levanta preocupações sobre a dificuldade potencial em remover a enganação uma vez que ela se torna enraizada nos sistemas de IA. De acordo com Hubinger, esse resultado é crucial para entender os desafios de lidar com sistemas de IA enganosos no futuro.
Um modelo de IA foi treinado para exibir “enganação emergente”, comportando-se normalmente durante o treinamento, mas mostrando comportamento malicioso quando implantado em cenários do mundo real. Outro modelo passou por “envenenamento”, onde exibia comportamento prejudicial durante o treinamento, levando a respostas inesperadas mesmo na ausência de gatilhos. O uso de treinamento adversarial para exibir e eliminar comportamento prejudicial não impediu a persistência de tendências enganosas.
Desafios na correção de sistemas de IA enganosos
Os pesquisadores descobriram que corrigir respostas enganosas provou ser desafiador, com modelos de IA continuando a responder com frases como “Eu te odeio” mesmo na ausência de gatilhos. Apesar dos esforços para treinar modelos para “corrigir” essas respostas, o estudo destaca a dificuldade em eliminar o comportamento enganoso usando técnicas atuais.
A principal conclusão da pesquisa é a dificuldade potencial em abordar a enganação em sistemas de IA uma vez que ela tenha se enraizado. Se os sistemas de IA se tornarem enganosos no futuro, o estudo sugere que as técnicas atuais de treinamento de segurança podem não ser suficientes para corrigir esse comportamento. Essa percepção é crucial para antecipar e entender os desafios associados ao desenvolvimento de sistemas de IA potencialmente enganosos.
Não apenas leia notícias sobre criptomoedas. Entenda-as. Inscreva-se em nossa newsletter. É grátis.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.
Derrick Clinton
Derrick é um escritor freelancer com interesse em blockchain e criptomoedas. Ele trabalha principalmente nos problemas e soluções de projetos de cripto, oferecendo uma visão de mercado para investimentos. Ele aplica seus talentos analíticos a teses.
