Rivelazioni inquietanti sono emerse sui meccanismi di sicurezza all'interno del software di intelligenza artificiale ( AI ) di Nvidia, NeMo Framework, a seguito di una recente indagine.
È stata sfruttata una svolta fondamentale nel software, creato per soddisfare l’elaborazione del modello linguistico per soluzioni basate sull’intelligenza artificiale come i chatbot, esponendo dati sensibili e suscitando così problemi di sicurezza.
Esporre la linea di faglia nel framework NeMo di Nvidia
Considerato uno strumento strumentale per le aziende, il NeMo Framework è stato progettato da Nvidia per ospitare dati proprietari per rispondere alle domande, in modo simile a come farebbe un rappresentante del servizio clienti o un consulente sanitario.
Tuttavia, la struttura apparentemente sicura di questa struttura è stata facilmente superata dai ricercatori della Robust Intelligence di San Francisco, sfondando i guardrail integrati nel giro di poche ore.
In un esperimento controllato, i ricercatori hanno apportato un'alterazione apparentemente insignificante, sostituendo la lettera "I" con "J". Tuttavia, questa modifica apparentemente minore ha portato a una grave violazione poiché il sistema ha rilasciato informazioni personali dent (PII) da un database.
Le implicazioni di questa violazione presentano notevoli rischi potenziali per le aziende e gli utenti che affidano i propri dati sensibili a sistemi di intelligenza artificiale come quello di Nvidia.
Un ulteriore test ha rivelato che l'IA poteva essere manipolata per deviare dal comportamento previsto, affrontando argomenti di cui non era prevista la discussione.
Ad esempio, mentre la conversazione era diretta a un rapporto di lavoro, il modello veniva manipolato per parlare di argomenti non correlati come le condizioni di salute di una celebrità o eventi storici come la guerra franco-prussiana, il tutto a defi delle restrizioni intrinseche del sistema.
Tali risultati sottolineano la sfida affrontata da aziende come Nvidia nel tentativo di monetizzare l’intelligenza artificiale, una delle innovazioni più promettenti della Silicon Valley.
L’amministratore delegato di Robust Intelligence, il professore di informatica dell’Università di Harvard Yaron Singer, ha notato i risultati come una lezione che fa riflettere sul riconoscimento delle potenziali insidie della tecnologia AI. L'azienda di Singer ora consiglia ai propri clienti di non utilizzare il prodotto software di Nvidia.
In seguito alla divulgazione di questi risultati, Nvidia avrebbe affrontato uno dei problemi principali dent dai ricercatori.
Nonostante gli intoppi, le azioni della società hanno registrato un aumento significativo sulla scia delle tron previsioni di vendita e della crescente domanda per i loro chip, ritenuti cruciali per la costruzione di sistemi di intelligenza artificiale generativa in grado di produrre contenuti simili a quelli umani.
Jonathan Cohen, dent della ricerca applicata di Nvidia, ha descritto il NeMo Framework come un trampolino di lancio per lo sviluppo di chatbot AI che aderiscono a linee guida di sicurezza, protezione e argomenti specifici.
Ha inoltre riconosciuto l’importanza dei risultati della ricerca di Robust Intelligence per lo sviluppo futuro di applicazioni IA.
L’ dent evidenzia una sfida più ampia per le aziende di intelligenza artificiale, inclusi giganti come Google e OpenAI sostenuta da Microsoft, che hanno avuto la loro parte di incidenti in termini di sicurezza nonostante abbiano istituito barriere di sicurezza per evitare che i loro prodotti di intelligenza artificiale mostrassero comportamenti inappropriati.
Come ha osservato Bea Longworth, responsabile degli affari governativi di Nvidia per Europa, Medio Oriente e Africa, durante una conferenza di settore, costruire la fiducia del pubblico è una delle principali priorità per le aziende di intelligenza artificiale.
Il potenziale dell’intelligenza artificiale è enorme, ma spetta ai fornitori di tecnologia come Nvidia l’onere di garantire che questi sistemi avanzati non siano percepiti come minacce ma come strumenti utili per il futuro.
