Los paquetes de software generados por IA plantean amenazas a la seguridad

El experto en seguridad Bar Lanyado ha investigado recientemente cómo los modelos de IA generativa contribuyen inadvertidamente a la aparición de enormes amenazas potenciales de seguridad en el mundo del desarrollo de software. La investigación de Lanyado reveló una tendencia alarmante: la IA sugiere paquetes de software imaginarios, y los desarrolladores, sin siquiera darse cuenta, los incluyen en sus bases de código.

El problema al descubierto

El problema radica en que la solución generada era un nombre ficticio, algo típico de la IA. Sin embargo, estos nombres de paquetes ficticios se sugierendenta los desarrolladores que tienen dificultades para programar con modelos de IA. De hecho, algunos nombres de paquetes inventados se han basado parcialmente en personas, como Lanyado, y otros los han convertido en paquetes reales. Esto, a su vez, ha provocado la inclusióndentde código potencialmente malicioso en proyectos de software reales y legítimos.

Una de las empresas afectadas fue Alibaba, uno de los principales actores de la industria tecnológica. En las instrucciones de instalación de GraphTranslator, Lanyado descubrió que Alibaba había incluido un paquete falso llamado "huggingface-cli". De hecho, existía un paquete real con el mismo nombre alojado en el Índice de Paquetes de Python (PyPI), pero la guía de Alibaba hacía referencia al que había creado Lanyado.

Probando la persistencia

La investigación de Lanyado tuvo como objetivo evaluar la longevidad y el potencial de explotación de estos nombres de paquetes generados por IA. En este sentido, LQuery desarrolló distintos modelos de IA sobre los desafíos de programación y entre lenguajes para comprender si, de formamatic , se recomendaban esos nombres ficticios. Este experimento demuestra claramente que existe el riesgo de que entidades maliciosas abusen de los nombres de paquetes generados por IA para la distribución de software malicioso.

Estos resultados tienen profundas implicaciones. Los actores maliciosos podrían explotar la confianza ciega depositada por los desarrolladores en las recomendaciones recibidas, de modo que podrían empezar a publicar paquetes dañinos condentfalsas. Con los modelos de IA, el riesgo aumenta al realizar recomendaciones de IA consistentes para nombres de paquetes inventados, que serían incluidos como malware por desarrolladores desprevenidos. **El camino a seguir**

Por lo tanto, a medida que la IA se integra más en el desarrollo de software, puede surgir la necesidad de corregir las vulnerabilidades relacionadas con las recomendaciones generadas por ella. En tales casos, se debe actuar con la debida diligencia para garantizar la legitimidad de los paquetes de software sugeridos para la integración. Además, la plataforma que aloja el repositorio de software debe verificar y ser lo suficientementetroncomo para evitar la distribución de código de mala calidad.

La intersección de la inteligencia artificial y el desarrollo de software ha revelado una preocupante amenaza para la seguridad. Además, el modelo de IA puede llevar a la recomendacióndentde paquetes de software falsos, lo que supone un grave riesgo para la integridad de los proyectos de software. El hecho de que Alibaba incluyera en sus instrucciones una casilla que nunca debería haber estado ahí es una prueba fehaciente de las posibilidades que podrían surgir cuando las personas siguen las recomendaciones de forma robótica 

Proporcionada por la IA. En el futuro, será necesario adoptar medidas proactivas para prevenir el uso indebido de la IA en el desarrollo de software.