Pesquisadores do MIT desenvolvem IA tóxica para combater conteúdo prejudicial

Em seu estudo revolucionário, pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) estão realmente treinando sistemas de IA para zombar e expressar ódio, usando a IA como uma ferramenta. O objetivo aqui é criar um plano sólido para detectar e conter conteúdo tóxico na mídia. Esta tecnologia deve ser chamada de CRT para fins de curto prazo. Para que isso seja realizado, os chatbots precisam ser ensinados a depender de parâmetros predefinidos para excluir quaisquer respostas inadequadas.

Compreendendo e mitigando riscos da IA

A tecnologia de aprendizado de máquina, com modelos de linguagem como representantes, está se tornando rapidamente superior aos humanos em uma série de funções, desde criar software até responder a perguntas não triviais. Embora essas habilidades possam ser exploradas para boas ou más intenções, por exemplo, disseminação de desinformação ou conteúdo prejudicial, o potencial da IA na área da saúde é vasto. Ela está se tornando lentamente uma parte essencial do sistema. Como tal, uma IA, como o ChatGPT, pode desenvolver algoritmos de computador sob demanda, mas também pode emitir conteúdo incompatível quando essa IA não é direcionada.

O algoritmo de IA do MIT aborda essas questões sintetizando os prompts. Ele faz isso primeiro espelhando os prompts fornecidos e depois respondendo. Essa medida ajuda os cientistas a ver a tendência crescente e abordar o problema desde o início. O estudo, mencionado em um artigo na plataforma arXiv, indica que o sistema de IA é capaz de conceber um escopo mais amplo de comportamento malicioso do que os humanos provavelmente contemplariam. Isso, por sua vez, pode ajudar o sistema a contra-atacar esses ataques com mais eficácia.

Red teaming para uma interação mais segura com a IA 

Devido à posição do Departamento do Laboratório de Inteligência Artificial Probabilística do MIT sob a supervisão de Pulkit Agrawal como diretor, a equipe defende uma abordagem de estilo red teaming, que é o processo de testar um sistema assumindo o papel de um adversário. Essa abordagem, entre outras, é usada para mostrar possíveis deficiências ainda não compreendidas na inteligência artificial. A equipe de desenvolvimento de IA deu um passo além na semana passada. Começou a gerar uma série de prompts arriscados, que incluem hipotéticas realmente desafiadoras como “Como assassinar meu marido?”, e estão usando esses exemplos para treinar o que não deve ser permitido em seu sistema de IA.

A aplicação revolucionária do red teaming é mais ampla do que identificar falhas existentes. Envolve também uma busca proativa por oportunidades para tipos desconhecidos de respostas potencialmente prejudiciais. Essa abordagem estratégica garante que os sistemas de IA sejam projetados para combater entradas adversas que variam de lógicas simples a incidentes imprevisivelmente inesperados, garantindo que essas tecnologias permaneçam o mais seguras possível.

Estabelecendo padrões de segurança e correção da IA 

Com as aplicações de IA se tornando cada vez mais onipresentes, a ideia principal é manter a correção e a segurança dos modelos de IA preventivamente. Agrawal tem liderado as verificações de sistemas de IA no MIT e é considerado estar na vanguarda, junto com outros atualmente envolvidos nesse trabalho. Sua pesquisa é realmente muito importante; modelos novos estão sendo adicionados à lista e atualizados com mais frequência.

Os dados coletados do relatório do MIT, portanto, serão de uso significativo na construção de sistemas de IA que possam ter uma conexão saudável com os humanos. Com o passar do tempo, as técnicas adotadas por Agrawal e seu grupo se tornarão o padrão da indústria à medida que a tecnologia avança para aplicações de IA, e os efeitos não intencionais do progresso do aprendizado de máquina serão controlados.