Pacotes de Software Gerados por IA Apresentam Ameaças à Segurança

O especialista em segurança Bar Lanyado realizou recentemente algumas pesquisas sobre como os modelos de IA generativa contribuem inadvertidamente para enormes ameaças potenciais à segurança no mundo do desenvolvimento de software. Essa pesquisa de Lanyado encontrou uma tendência alarmante: a IA sugere pacotes de software imaginários, e os desenvolvedores, sem nem perceber, os incluem em seus repositórios de código.

O Problema Revelado

Agora, o problema é que a solução gerada era um nome fictício — algo típico da IA. No entanto, esses nomes de pacotes fictícios são então sugeridos com confiança aos desenvolvedores que têm dificuldade em programar com modelos de IA. De fato, alguns nomes de pacotes inventados foram parcialmente baseados em pessoas — como Lanyado — e alguns foram convertidos em pacotes reais. Isso, por sua vez, levou à inclusão acidental de código potencialmente malicioso em projetos de software reais e legítimos.

Uma das empresas que caiu sob esse impacto foi a Alibaba, um dos principais players da indústria de tecnologia. Dentro de suas instruções de instalação para o GraphTranslator, Lanyado descobriu que a Alibaba havia incluído um pacote chamado "huggingface-cli" que havia sido falsificado. Na verdade, havia um pacote real com o mesmo nome hospedado no Python Package Index (PyPI), mas o guia da Alibaba referia-se àquele que Lanyado havia criado.

Testando a persistência

A pesquisa de Lanyado visava avaliar a longevidade e a exploração potencial desses nomes de pacotes gerados por IA. Nesse sentido, LQuery realizou testes distintos com modelos de IA sobre os desafios de programação e entre idiomas, no processo de entender se, efetivamente, de maneira sistemática, esses nomes fictícios eram recomendados. É claro neste experimento que há um risco de que entidades prejudiciais possam abusar dos nomes de pacotes gerados por IA para a distribuição de software malicioso.

Esses resultados têm implicações profundas. Atores mal-intencionados podem explorar a confiança cega depositada pelos desenvolvedores nas recomendações recebidas, de modo que possam começar a publicar pacotes prejudiciais sob identidades falsas. Com os modelos de IA, o risco aumenta com recomendações consistentes de IA para nomes de pacotes inventados, que seriam incluídos como malware por desenvolvedores desavisados. **O Caminho a Seguir**

Portanto, à medida que a IA se integra ainda mais ao desenvolvimento de software, a necessidade de corrigir as vulnerabilidades pode surgir se conectada com recomendações geradas por IA. Nesses casos, a diligência devida deve ser praticada para que os pacotes de software sugeridos para integração sejam legítimos. Além disso, deve estar em vigor para a plataforma que hospeda o repositório de software verificar e ser forte o suficiente para que nenhum código de qualidade malévola seja distribuído.

A interseção da inteligência artificial e do desenvolvimento de software revelou uma ameaça à segurança preocupante. Além disso, o modelo de IA pode levar à recomendação acidental de pacotes de software falsos, o que representa um grande risco para a integridade dos projetos de software. O fato de que, em suas instruções, a Alibaba incluiu uma caixa que nunca deveria ter estado lá é apenas uma prova de como as possibilidades podem realmente ocorrer quando as pessoas seguem recomendações de forma robótica 

dadas pela IA. No futuro, a vigilância terá que ser tomada em medidas proativas para que o uso indevido da IA para o desenvolvimento de software seja protegido.