Explorando o Papel do ChatGPT na Criação Automatizada de Malware

À medida que as tecnologias de inteligência artificial (IA), incluindo o ChatGPT, se tornam mais prevalentes, as preocupações sobre seu potencial uso indevido em atividades criminosas cibernéticas cresceram. Este blog explora a eficácia das medidas de segurança do ChatGPT, o risco de uso indevido da IA por atores maliciosos e as limitações dos modelos de IA atuais.

ChatGPT, um modelo de linguagem avançado desenvolvido pela OpenAI, ganhou adoção generalada em um ritmo rápido. No entanto, essa popularidade levantou preocupações sobre seu uso indevido potencial, particularmente na criação de malware e outro software prejudicial. Para abordar essas preocupações, a OpenAI implementou filtros de segurança projetados para detectar e prevenir o uso malicioso do ChatGPT.

Testando o Potencial de Codificação de Malware do ChatGPT

A CyberArk, em um estudo recente, testou a capacidade do ChatGPT de criar malware enquanto evitava detecção e contornava políticas. Eles exploraram as limitações dos filtros de segurança do ChatGPT e descobriram que, com prompts específicos, o modelo poderia gerar trechos de código relacionados ao desenvolvimento de malware.

Para fins de teste, o modelo foi fornecido com prompts baseados em táticas, técnicas e procedimentos (TTP) do framework MITRE ATT&CK, um recurso valioso para entender os riscos potenciais associados às tecnologias de IA. Esses prompts visavam gerar trechos de código para tarefas específicas relacionadas ao desenvolvimento de malware.

Embora o modelo pudesse gerar código com base em prompts, algumas soluções alternativas eram necessárias. Por exemplo, o modelo pode se recusar a gerar código se um prompt mencionasse diretamente um programa malicioso. No entanto, ajustando o prompt, os atacantes poderiam obter a saída desejada.

Além disso, o ChatGPT demonstrou capacidade de aprender e se adaptar às preferências dos usuários ao longo do tempo. Por exemplo, ele aprendeu que os usuários preferiam salvar informações em um arquivo de texto e incorporou isso em prompts subsequentes.

Limitações do ChatGPT na geração automatizada de malware

Apesar de suas capacidades, o ChatGPT tem limitações quando se trata de criação automatizada de malware:

1. Modificação de código necessária

Todos os trechos de código gerados pelo ChatGPT precisaram de modificações para funcionar corretamente. Essas modificações variaram de pequenas alterações, como renomear caminhos e URLs, a edições substanciais envolvendo lógica de código e correção de bugs.

2. Taxa de sucesso

Aproximadamente 48% dos trechos de código testados falharam em entregar a saída solicitada. Apenas 42% tiveram sucesso total e 10% tiveram sucesso parcial. Isso destaca as limitações atuais do modelo em interpretar e executar com precisão solicitações de codificação complexas.

3. Taxa de erro

De todos os códigos testados, 43% continham erros, mesmo em trechos de código que entregaram com sucesso a saída desejada. Isso sugere problemas potenciais nas capacidades de tratamento de erros do modelo ou na lógica de geração de código.

4. Análise das técnicas MITRE

As taxas de sucesso variaram dependendo da técnica MITRE usada no prompt. As técnicas de Discovery tiveram uma taxa de sucesso de 77%, enquanto as técnicas de Defense Evasion tiveram uma taxa de sucesso menor de 20%. Essa discrepância pode resultar da complexidade de certas técnicas ou dos dados de treinamento do modelo.

5. Alucinação e saída truncada

O ChatGPT é suscetível a gerar informações imprecisas, conhecidas como alucinação, o que pode ser frustrante para os usuários. Além disso, ele pode produzir código incompleto ou truncado, tornando-o infuncional.

6. Falta de controle sobre certas variáveis

O ChatGPT não pode gerar caminhos personalizados, nomes de arquivos, endereços IP ou detalhes de comando e controle (C&C), limitando o controle do usuário sobre essas variáveis. Especificá-los em prompts é possível, mas não escalável para aplicações complexas.

7. Ofuscação e criptografia limitadas

Embora o ChatGPT possa realizar ofuscação básica, ofuscação pesada e criptografia de código são desafiadoras para esses modelos. Técnicas personalizadas podem ser difíceis para o ChatGPT entender e implementar, e a ofuscação que ele gera pode não ser forte o suficiente para evitar a detecção.

Equilibrando potencial e armadilhas

Embora o ChatGPT e modelos de IA semelhantes tenham potencial na geração de código, é essencial reconhecer suas limitações. Eles podem simplificar as etapas iniciais de codificação, especialmente para aqueles familiarizados com o processo de criação de malware. No entanto, a automação total sem engenharia de prompt significativa, tratamento de erros, ajuste fino do modelo e supervisão humana ainda não é viável.

A adaptabilidade do ChatGPT às preferências dos usuários é promissora, aumentando a eficiência na geração de código. No entanto, a supervisão humana permanece crucial. Esses modelos podem facilitar a criação de um grande pool de trechos de código para diferentes famílias de malware, potencialmente melhorando as capacidades de evasão, mas as limitações atuais fornecem algum alívio de que o uso indevido ainda não é totalmente viável.

À medida que as tecnologias de IA evoluem, é crucial manter um forte foco na segurança e uso ético. Embora o ChatGPT mostre promessa, particularmente na geração de código, não é uma solução totalmente automatizada para criação de malware. Equilibrar o aproveitamento do potencial da IA e a mitigação de suas armadilhas é essencial para garantir que essas ferramentas sirvam como ativos, e não como instrumentos de dano.