sind beunruhigende Enthüllungen über die Sicherheitsmechanismen in Nvidias Software für künstliche Intelligenz ( KI ), dem NeMo Framework, ans Licht gekommen.
Ein entscheidender Durchbruch in der Software, die für die Verarbeitung von Sprachmodellen für KI-basierte Lösungen wie Chatbots entwickelt wurde, wurde ausgenutzt, wodurch sensible Daten offengelegt wurden und dadurch Sicherheitsbedenken geweckt wurden.
Aufdecken der Bruchlinie im NeMo-Framework von Nvidia
Das NeMo Framework gilt als wichtiges Tool für Unternehmen und wurde von Nvidia entwickelt, um proprietäre Daten zur Beantwortung von Anfragen zu verarbeiten, ähnlich wie es ein Kundendienstmitarbeiter oder ein Gesundheitsberater tun würde.
Die vermeintlich sichere Struktur dieses Rahmenwerks konnte jedoch von Forschern der Robust Intelligence in San Francisco leicht überwunden werden, indem sie die eingebauten Leitplanken in nur wenigen Stunden durchbrachen.
In einem kontrollierten Experiment nahmen die Forscher eine scheinbar unbedeutende Änderung vor, indem sie den Buchstaben „I“ durch „J“ ersetzten. Doch diese scheinbar geringfügige Änderung führte zu einem schwerwiegenden Verstoß, da das System dent Daten (PII) aus einer Datenbank freigab.
Die Auswirkungen dieses Verstoßes stellen erhebliche potenzielle Risiken für Unternehmen und Benutzer dar, die ihre sensiblen Daten KI-Systemen wie dem von Nvidia anvertrauen.
Ein weiterer Test ergab, dass die KI so manipuliert werden konnte, dass sie von ihrem erwarteten Verhalten abweicht und Themen anspricht, die sie nicht diskutieren sollte.
Während sich das Gespräch beispielsweise auf einen Stellenbericht konzentrierte, wurde das Modell manipuliert, um über nicht damit zusammenhängende Themen wie den Gesundheitszustand einer Berühmtheit oder historische Ereignisse wie den Deutsch-Französischen Krieg zu sprechen, und das alles unter defi der systemeigenen Beschränkungen.
Solche Ergebnisse unterstreichen die Herausforderung, vor der Unternehmen wie Nvidia stehen, wenn sie versuchen, KI, eine der vielversprechendsten Innovationen des Silicon Valley, zu monetarisieren.
Der Geschäftsführer von Robust Intelligence, Yaron Singer, Informatikprofessor an der Harvard University, bezeichnete die Ergebnisse als eine ernüchternde Lektion im Erkennen potenzieller Fallstricke in der KI-Technologie. Singers Firma rät seinen Kunden nun davon ab, das Softwareprodukt von Nvidia zu verwenden.
Nach der Veröffentlichung dieser Ergebnisse hat Nvidia Berichten zufolge eines der von den Forschern identifizierten dent angegangen.
Trotz der Probleme verzeichnete die Aktie des Unternehmens einen deutlichen Anstieg aufgrund tron Umsatzprognosen und der wachsenden Nachfrage nach seinen Chips, die als entscheidend für den Aufbau generativer KI-Systeme gelten, die menschenähnliche Inhalte produzieren können.
Jonathan Cohen, Nvidias dent für angewandte Forschung, beschrieb das NeMo Framework als Sprungbrett für die Entwicklung von KI-Chatbots, die Sicherheit und themenspezifische Richtlinien einhalten.
Er würdigte auch die Bedeutung der Erkenntnisse aus der Forschung von Robust Intelligence für die zukünftige Entwicklung von KI-Anwendungen.
Der dent verdeutlicht eine umfassendere Herausforderung für KI-Unternehmen, darunter Giganten wie Google und das von Microsoft unterstützte OpenAI, die trotz der Einführung von Sicherheitsbarrieren, um zu verhindern, dass ihre KI-Produkte unangemessenes Verhalten zeigen, eine Reihe von Sicherheitspannen erlitten haben.
Wie Bea Longworth, Nvidias Leiterin für Regierungsangelegenheiten in Europa, dem Nahen Osten und Afrika, während einer Branchenkonferenz feststellte, hat der Aufbau von öffentlichem Vertrauen für KI-Unternehmen oberste Priorität.
Das Potenzial der KI ist enorm, aber Technologieanbieter wie Nvidia müssen dafür sorgen, dass diese fortschrittlichen Systeme nicht als Bedrohung, sondern als nützliche Werkzeuge für die Zukunft wahrgenommen werden.
