Der Sicherheitsexperte Bar Lanyado hat kürzlich untersucht, wie generative KI-Modelle unbeabsichtigt zu potenziell enormen Sicherheitsbedrohungen in der Softwareentwicklung beitragen. Seine Forschung deckte einen alarmierenden Trend auf: Die KI schlägt Pakete mit imaginärer Software vor, die Entwickler – ohne es zu merken – in ihren Quellcode integrieren.
Das Problem aufgedeckt
Das Problem besteht nun darin, dass die generierte Lösung einen fiktiven Namen hatte – ein typisches Phänomen bei KI. Diese fiktiven Paketnamen werden dann jedoch Entwicklern, die Schwierigkeiten mit der Programmierung von KI-Modellen haben,dentempfohlen. Tatsächlich basieren einige erfundene Paketnamen teilweise auf Personen – wie beispielsweise Lanyado – und manche wurden sogar in reale Pakete umgewandelt. Dies wiederum hatdentgeführt, dass potenziell schädlicher Code versehentlich in legitime Softwareprojekte eingeschleust wurde.
Eines der Unternehmen, das von diesem Problem betroffen war, war Alibaba, einer der größten Akteure der Technologiebranche. Lanyado stellte fest, dass Alibaba in der Installationsanleitung für GraphTranslator ein gefälschtes Paket namens „huggingface-cli“ beigefügt hatte. Tatsächlich existierte ein echtes Paket mit demselben Namen im Python Package Index (PyPI), doch Alibabas Anleitung bezog sich auf die von Lanyado erstellte Version.
Testen der Persistenz
Lanyados Forschung zielte darauf ab, die Langlebigkeit und das Missbrauchspotenzial dieser KI-generierten Paketnamen zu bewerten. Zu diesem Zweck entwickelte LQuery verschiedene KI-Modelle, die die Programmierherausforderungen und Unterschiede zwischen Programmiersprachen berücksichtigten, um zu verstehen, ob diese fiktiven Namenmatic empfohlen werden. Das Experiment verdeutlicht das Risiko, dass schädliche Akteure KI-generierte Paketnamen zur Verbreitung von Schadsoftware missbrauchen könnten.
Diese Ergebnisse haben weitreichende Konsequenzen. Angreifer könnten das blinde Vertrauen der Entwickler in die erhaltenen Empfehlungen ausnutzen, um schädliche Pakete unter falschendentzu veröffentlichen. Bei KI-Modellen steigt das Risiko, da die KI konsistent erfundene Paketnamen empfiehlt, die von ahnungslosen Entwicklern als Malware eingebunden werden könnten. **Der Weg nach vorn**
Da KI zunehmend in die Softwareentwicklung integriert wird, kann es notwendig werden, Sicherheitslücken im Zusammenhang mit KI-generierten Empfehlungen zu schließen. In solchen Fällen ist eine sorgfältige Prüfung erforderlich, um die Legitimität der zur Integration vorgeschlagenen Softwarepakete sicherzustellen. Darüber hinaus muss die Plattform, die das Software-Repository hostet, über ausreichendetronverfügen, um die Verbreitung von schädlichem Code zu verhindern.
Die Schnittstelle zwischen künstlicher Intelligenz und Softwareentwicklung hat eine besorgniserregende Sicherheitsbedrohung offengelegt. KI-Modelle können zudemdentgefälschte Softwarepakete empfehlen, was die Integrität von Softwareprojekten stark gefährdet. Dass Alibaba in seinen Anweisungen ein Feld einfügte, das dort nicht hingehörte, beweist eindrücklich, welche Folgen es haben kann, wenn Menschen Empfehlungen blindlings folgen
Die Nutzung von KI wird dadurch ermöglicht, dass zukünftig proaktive Maßnahmen ergriffen werden müssen, um den Missbrauch von KI in der Softwareentwicklung zu verhindern.
