Пакеты программного обеспечения, созданные ИИ, представляют угрозу безопасности

Эксперт по безопасности Бар Ланьядо недавно провел исследование о том, как модели генеративного ИИ непреднамеренно способствуют возникновению огромных потенциальных угроз безопасности в мире разработки программного обеспечения. Такие исследования Ланьядо выявили тревожную тенденцию: ИИ предлагает пакеты вымышленного программного обеспечения, и разработчики, даже не подозревая об этом, включают их в свои кодовые базы.

Выявление проблемы

Теперь проблема заключается в том, что сгенерированное решение было вымышленным именем — чем-то типичным для ИИ. Однако эти вымышленные имена пакетов затем уверенно предлагаются разработчикам, которые испытывают трудности с программированием с помощью моделей ИИ. Действительно, некоторые выдуманные имена пакетов частично основывались на людях — таких как Ланьядо — и некоторые из них превратились в реальные пакеты. Это, в свою очередь, привело к случайному включению потенциально вредоносного кода в реальные и законные проекты программного обеспечения.

Одной из компаний, попавших под это влияние, была Alibaba, один из крупных игроков в технологической отрасли. В своих инструкциях по установке для GraphTranslator Ланьядо обнаружил, что Alibaba включила пакет под названием «huggingface-cli», который был поддельным. На самом деле существовал реальный пакет с таким же именем, размещенный в Python Package Index (PyPI), но руководство Alibaba ссылалось на то, которое создал Ланьядо.

Тестирование устойчивости

Исследование Ланьядо было направлено на оценку долговечности и потенциальной эксплуатации этих названий пакетов, сгенерированных ИИ. В этом смысле LQuery проводил различные модели ИИ о проблемах программирования и между языками в процессе понимания того, эффективно ли, систематически, эти вымышленные имена рекомендовались. Очевидно в этом эксперименте, что существует риск, что злоумышленники могут злоупотреблять названиями пакетов, сгенерированными ИИ, для распространения вредоносного программного обеспечения.

Эти результаты имеют глубокие последствия. Злоумышленники могут эксплуатировать слепое доверие, которое разработчики оказывают полученным рекомендациям, таким образом, они могут начать публиковать вредоносные пакеты под ложными идентичностями. С моделями ИИ риск возрастает при постоянных рекомендациях ИИ по выдуманным именам пакетов, которые будут включены как вредоносное программное обеспечение неосведомленными разработчиками. **Путь вперед**

Поэтому, по мере того как ИИ все больше интегрируется в разработку программного обеспечения, может возникнуть необходимость исправления уязвимостей, если они связаны с рекомендациями, сгенерированными ИИ. В таких случаях необходимо проявлять должную осмотрительность, чтобы пакеты программного обеспечения, предлагаемые для интеграции, были легитимными. Кроме того, платформа, хостящая репозиторий программного обеспечения, должна быть проверена и достаточно надежна, чтобы не распространялся код злонамеренного качества.

Пересечение искусственного интеллекта и разработки программного обеспечения выявило тревожную угрозу безопасности. Кроме того, модель ИИ может привести к случайной рекомендации поддельных пакетов программного обеспечения, что представляет большой риск для целостности проектов программного обеспечения. Тот факт, что в его инструкциях Alibaba включил коробку, которой там не должно было быть, является лишь наглядным доказательством того, как возможности могут фактически возникнуть, когда люди роботизированно следуют рекомендациям 

данными ИИ. В будущем бдительность должна быть принята в проактивных мерах, чтобы предотвратить misuse ИИ для разработки программного обеспечения.