Il software di intelligenza artificiale di Nvidia espone dati sensibili – Dettagli

sono emerse inquietanti rivelazioni sui meccanismi di sicurezza del software di intelligenza artificiale (IA) di Nvidia, il NeMo Framework.

Una svolta fondamentale nel software, progettato per gestire l'elaborazione dei modelli linguistici per soluzioni basate sull'intelligenza artificiale come i chatbot, è stata sfruttata, esponendo dati sensibili e sollevando quindi preoccupazioni in materia di sicurezza.

Svelare la linea di faglia nel framework NeMo di Nvidia

Considerato uno strumento fondamentale per le aziende, NeMo Framework è stato progettato da Nvidia per gestire dati proprietari e rispondere alle domande, in modo simile a come farebbe un rappresentante del servizio clienti o un consulente sanitario.

Tuttavia, la struttura apparentemente sicura di questo framework è stata facilmente superata dai ricercatori del Robust Intelligence di San Francisco, che hanno superato le barriere integrate nel giro di poche ore.

In un esperimento controllato, i ricercatori hanno apportato una modifica apparentemente insignificante, sostituendo la lettera "I" con "J". Eppure, questa modifica apparentemente insignificante ha portato a una violazione grave, poiché il sistema ha rilasciato informazioni personalident(PII) da un database.

Le implicazioni di questa violazione presentano notevoli rischi potenziali per le aziende e gli utenti che affidano i propri dati sensibili a sistemi di intelligenza artificiale come quelli di Nvidia.

Un ulteriore test ha rivelato che l'IA poteva essere manipolata per deviare dal suo comportamento previsto, affrontando argomenti che non avrebbe dovuto trattare.

Ad esempio, mentre la conversazione era rivolta a un rapporto di lavoro, il modello è stato manipolato per parlare di argomenti non correlati, come le condizioni di salute di una celebrità o eventi storici come la guerra franco-prussiana, il tutto in defialle restrizioni intrinseche del sistema.

Navigando nei mari agitati della commercializzazione dell'intelligenza artificiale

Tali risultati sottolineano la sfida che aziende come Nvidia devono affrontare nel tentativo di monetizzare l'intelligenza artificiale, una delle innovazioni più promettenti della Silicon Valley.

L'amministratore delegato di Robust Intelligence, Yaron Singer, professore di informatica presso l'Università di Harvard, ha definito i risultati come una lezione importante per riconoscere le potenziali insidie ​​della tecnologia di intelligenza artificiale. L'azienda di Singer ora sconsiglia ai propri clienti di utilizzare il software di Nvidia.

In seguito alla divulgazione di queste scoperte, Nvidia avrebbe affrontato uno dei problemi principalidentdai ricercatori.

Nonostante i problemi, le azioni della società hanno registrato un'impennata significativa grazie alletronprevisioni di vendita e alla crescente domanda dei loro chip, considerati essenziali per la creazione di sistemi di intelligenza artificiale generativa in grado di produrre contenuti di tipo umano.

Jonathan Cohen,dent della ricerca applicata di Nvidia, ha descritto il NeMo Framework come un trampolino di lancio per lo sviluppo di chatbot basati sull'intelligenza artificiale che rispettino le linee guida sulla sicurezza e sugli argomenti specifici.

Ha inoltre riconosciuto l'importanza dei risultati della ricerca di Robust Intelligence per lo sviluppo futuro delle applicazioni di intelligenza artificiale.

L'dent evidenzia una sfida più ampia per le aziende di intelligenza artificiale, tra cui giganti come Google e OpenAI, sostenuta da Microsoft, che hanno avuto la loro parte di incidenti di sicurezza nonostante abbiano istituito barriere di sicurezza per evitare che i loro prodotti di intelligenza artificiale mostrino comportamenti inappropriati.

Come ha sottolineato Bea Longworth, responsabile degli affari governativi di Nvidia per Europa, Medio Oriente e Africa, durante una conferenza di settore, costruire la fiducia del pubblico è una priorità fondamentale per le aziende di intelligenza artificiale.

Il potenziale dell'intelligenza artificiale è enorme, ma spetta ai fornitori di tecnologia come Nvidia garantire che questi sistemi avanzati non siano percepiti come minacce, bensì come strumenti utili per il futuro.