Программные пакеты, созданные с помощью искусственного интеллекта, представляют угрозу безопасности

Эксперт по безопасности Бар Ланядо недавно провел исследование того, как генеративные модели искусственного интеллекта непреднамеренно способствуют возникновению огромных потенциальных угроз безопасности в мире разработки программного обеспечения. В ходе исследования Ланядо обнаружил тревожную тенденцию: ИИ предлагает пакеты воображаемого программного обеспечения, и разработчики, даже не подозревая об этом, включают их в свои кодовые базы.

Проблема раскрыта

Проблема в том, что сгенерированное решение имело вымышленное название — типичная черта искусственного интеллекта. Однако эти вымышленные названия пакетов затемdentпредлагаются разработчикам, испытывающим трудности с программированием с использованием моделей ИИ. Действительно, некоторые придуманные названия пакетов частично основаны на людях — например, Lanyado — а некоторые превратили их в реальные пакеты. Это, в свою очередь, привело кdentвключению потенциально вредоносного кода в реальные и легитимные программные проекты.

Одной из компаний, пострадавших от этого, стала Alibaba, один из крупнейших игроков в технологической индустрии. В инструкциях по установке GraphTranslator Ланядо обнаружил, что Alibaba включила в пакет поддельный пакет под названием «huggingface-cli». На самом деле, на Python Package Index (PyPI) существовал настоящий пакет с тем же названием, но в руководстве Alibaba упоминался пакет, созданный Ланядо.

Проверка устойчивости

Исследование Ланядо было направлено на оценку долговечности и потенциальной возможности использования сгенерированных ИИ имен пакетов. В этом смысле LQuery разработала различные модели ИИ для анализа проблем программирования и различий между языками в процессе понимания того, насколькоmatic рекомендуются эти вымышленные имена. В этом эксперименте стало ясно, что существует риск того, что вредоносные организации могут использовать сгенерированные ИИ имена пакетов для распространения вредоносного программного обеспечения.

Эти результаты имеют серьезные последствия. Злоумышленники могут использовать слепое доверие разработчиков к полученным рекомендациям таким образом, что начнут публиковать вредоносные пакеты под ложнымиdent. В случае с моделями ИИ риск возрастает, поскольку рекомендации ИИ постоянно формируются на основе вымышленных имен пакетов, которые могут быть включены в вредоносное ПО ничего не подозревающими разработчиками. **Путь вперед**

Таким образом, по мере дальнейшей интеграции ИИ в разработку программного обеспечения может возникнуть необходимость устранения уязвимостей, связанных с рекомендациями, генерируемыми ИИ. В таких случаях необходимо проявлять должную осмотрительность, чтобы предлагаемые для интеграции программные пакеты были легитимными. Кроме того, платформа, на которой размещен репозиторий программного обеспечения, должна обеспечивать проверку и быть достаточноtron, чтобы исключить распространение кода вредоносного качества.

Пересечение искусственного интеллекта и разработки программного обеспечения выявило серьезную угрозу безопасности. Кроме того, модель ИИ может привести кdentрекомендации поддельных программных пакетов, что представляет большой риск для целостности программных проектов. Тот факт, что Alibaba включила в свои инструкции блок, которого там быть не должно, является лишь наглядным доказательством того, какие возможности могут возникнуть, когда люди автоматически следуют рекомендациям 

Это обусловлено использованием ИИ. В будущем необходимо будет проявлять бдительность и принимать упреждающие меры, чтобы предотвратить злоупотребление ИИ в разработке программного обеспечения.