Pacotes de software gerados por IA representam ameaças à segurança

O especialista em segurança Bar Lanyado realizou recentemente uma pesquisa sobre como os modelos generativos de IA contribuem inadvertidamente para enormes ameaças potenciais à segurança no mundo do desenvolvimento de software. Essa pesquisa de Lanyado revelou uma tendência alarmante: a IA sugere pacotes de software imaginários e os desenvolvedores, sem sequer perceber, os incluem em seus códigos.

A edição revelada

O problema é que a solução gerada tinha um nome fictício — algo típico de IA. No entanto, esses nomes de pacotes fictícios são sugeridosdenta desenvolvedores que têm dificuldade em programar com modelos de IA. De fato, alguns nomes de pacotes inventados foram parcialmente baseados em pessoas — como Lanyado — e alguns chegaram a transformá-los em pacotes reais. Isso, por sua vez, levou à inclusãodentde código potencialmente malicioso em projetos de software reais e legítimos.

Uma das empresas afetadas foi a Alibaba, uma das principais empresas do setor de tecnologia. Nas instruções de instalação do GraphTranslator, a Lanyado descobriu que a Alibaba havia incluído um pacote falso chamado "huggingface-cli". Na verdade, existia um pacote real com o mesmo nome hospedado no Índice de Pacotes Python (PyPI), mas o guia da Alibaba se referia ao pacote criado pela Lanyado.

Testando a persistência

A pesquisa de Lanyado teve como objetivo avaliar a longevidade e o potencial de exploração desses nomes de pacotes gerados por IA. Nesse sentido, a LQuery realizou diferentes modelos de IA sobre os desafios de programação e entre linguagens no processo de compreensão se, de fato, de formamatic , esses nomes fictícios eram recomendados. Este experimento demonstra claramente o risco de que entidades maliciosas possam abusar de nomes de pacotes gerados por IA para a distribuição de software malicioso.

Esses resultados têm implicações profundas. Atores maliciosos podem explorar a confiança cega depositada pelos desenvolvedores nas recomendações recebidas, de forma a começarem a publicar pacotes nocivos sobdentfalsas. Com os modelos de IA, o risco aumenta com a geração consistente de recomendações de IA para nomes de pacotes inventados, que seriam incluídos como malware por desenvolvedores desavisados. **O Caminho a Seguir**

Portanto, à medida que a IA se integra cada vez mais ao desenvolvimento de software, pode surgir a necessidade de corrigir vulnerabilidades relacionadas a recomendações geradas por IA. Nesses casos, é fundamental realizar a devida diligência para garantir que os pacotes de software sugeridos para integração sejam legítimos. Além disso, a plataforma que hospeda o repositório de software deve ser capaz de verificar etronque nenhum código malicioso seja distribuído.

A interseção entre inteligência artificial e desenvolvimento de software revelou uma ameaça preocupante à segurança. Além disso, o modelo de IA pode levar à recomendaçãodentde pacotes de software falsos, o que representa um grande risco para a integridade dos projetos de software. O fato de a Alibaba ter incluído, em suas instruções, uma caixa que nunca deveria estar lá é uma prova concreta de como as coisas podem se desenrolar quando as pessoas seguem recomendações automaticamente 

fornecida pela IA. No futuro, será necessário agir de forma vigilante e proativa para evitar o uso indevido da IA ​​no desenvolvimento de software.