Los paquetes de software generados por IA plantean amenazas de seguridad
- Los nombres de paquetes de software generados por IA, integrados involuntariamente por los desarrolladores, plantean riesgos de seguridad significativos.
- La inclusión accidental por parte de Alibaba de un paquete falso destaca los peligros de seguir ciegamente las recomendaciones de la IA.
- La vigilancia y la diligencia son cruciales para evitar que se explote la IA en el desarrollo de software con fines maliciosos.
El experto en seguridad Bar Lanyado ha realizado recientemente algunas investigaciones sobre cómo los modelos de IA generativa contribuyen inadvertidamente a enormes amenazas potenciales de seguridad en el mundo del desarrollo de software. Estas investigaciones de Lanyado encontraron una tendencia alarmante: la IA sugiere paquetes de software imaginarios, y los desarrolladores, sin siquiera ser conscientes, los incluyen en sus bases de código.
El problema revelado
Ahora, el problema es que la solución generada era un nombre ficticio, algo típico de la IA. Sin embargo, estos nombres de paquetes ficticios se sugieren luego con confianza a los desarrolladores que tienen dificultades para programar con modelos de IA. De hecho, algunos nombres de paquetes inventados se basaron parcialmente en personas, como Lanyado, y algunos llegaron a convertirse en paquetes reales. Esto ha llevado, a su vez, a la inclusión accidental de código potencialmente malicioso dentro de proyectos de software reales y legítimos.
Una de las empresas que cayó bajo este impacto fue Alibaba, uno de los principales actores en la industria tecnológica. Dentro de sus instrucciones de instalación para GraphTranslator, Lanyado encontró que Alibaba había incluido un paquete llamado «huggingface-cli» que había sido falsificado. De hecho, había un paquete real con el mismo nombre alojado en Python Package Index (PyPI), pero la guía de Alibaba se refería al que Lanyado había creado.
Probando la persistencia
La investigación de Lanyado tenía como objetivo evaluar la longevidad y la explotación potencial de estos nombres de paquetes generados por IA. En este sentido, LQuery realizó pruebas distintas en modelos de IA sobre los desafíos de programación y entre lenguajes para entender si, efectivamente, de manera sistemática, se recomendaban esos nombres ficticios. Está claro en este experimento que existe el riesgo de que actores malintencionados puedan aprovechar los nombres de paquetes generados por IA para la distribución de software malicioso.
Estos resultados tienen profundas implicaciones. Los actores malintencionados pueden explotar la confianza ciega que los desarrolladores depositan en las recomendaciones recibidas de tal manera que podrían comenzar a publicar paquetes dañinos bajo identidades falsas. Con los modelos de IA, el riesgo aumenta con las recomendaciones constantes de IA para nombres de paquetes inventados, que serían incluidos como malware por desarrolladores desprevenidos. **El camino a seguir**
Por lo tanto, a medida que la IA se integra cada vez más en el desarrollo de software, puede surgir la necesidad de corregir vulnerabilidades si se conectan con recomendaciones generadas por IA. En tales casos, se debe practicar la debida diligencia para garantizar que los paquetes de software sugeridos para la integración sean legítimos. Además, la plataforma que aloja el repositorio de software debe estar equipada con mecanismos de verificación robustos para evitar la distribución de código malicioso.
La intersección de la inteligencia artificial y el desarrollo de software ha revelado una preocupante amenaza de seguridad. Además, el modelo de IA podría llevar a la recomendación accidental de paquetes de software falsos, lo que representa un gran riesgo para la integgridad de los proyectos de software. El hecho de que, en sus instrucciones, Alibaba incluyera una caja que nunca debería haber estado allí es una prueba contundente de cómo podrían ocurrir estas posibilidades cuando las personas siguen las recomendaciones de manera robótica
dadas por la IA. En el futuro, se deberán tomar medidas de vigilancia proactivas para evitar el mal uso de la IA en el desarrollo de software.
Las mentes más inteligentes del mundo cripto ya leen nuestro boletín. ¿Quieres unirte? Únete a ellos.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Glory Kaburu
Glory es una periodista extremadamente experta con herramientas e investigación sobre IA. Está apasionada por la inteligencia artificial y ha escrito varios artículos sobre el tema. Se mantiene al día con los últimos avances en Inteligencia Artificial, Aprendizaje Automático y Aprendizaje Profundo, y escribe regularmente sobre ellos.
