Oroväckande avslöjanden har kommit fram om säkerhetsmekanismerna inom Nvidias programvara för artificiell intelligens ( AI ), NeMo Framework, efter en nyligen genomförd undersökning.
Ett avgörande genombrott i mjukvaran, byggd för att tillgodose språkmodellsbearbetning för AI-baserade lösningar som chatbots, har utnyttjats, avslöjat känslig data och därmed väckt säkerhetsproblem.
Exponerar fellinjen i Nvidias NeMo-ramverk
Anses som ett instrumentellt verktyg för företag, NeMo Framework designades av Nvidia för att rymma proprietär data för att svara på frågor, liknande hur en kundtjänstrepresentant eller sjukvårdsrådgivare skulle göra.
Den till synes säkra strukturen av detta ramverk övervanns dock lätt av forskare från San Franciscos Robust Intelligence, som bröt igenom de inbyggda skyddsräckena på bara några timmar.
I ett kontrollerat experiment gjorde forskarna en till synes obetydlig förändring och ersatte bokstaven "I" med "J". Ändå ledde denna till synes mindre justering till ett stort intrång eftersom systemet släppte personligt dent information (PII) från en databas.
Konsekvenserna av detta brott innebär avsevärda potentiella risker för företag och användare som anförtror sin känsliga data till AI-system som Nvidias.
Ett ytterligare test avslöjade att AI:n kunde manipuleras för att avvika från sitt förväntade beteende och ta upp ämnen som det inte var avsett att diskutera.
Till exempel, medan konversationen riktades mot en jobbrapport, manipulerades modellen för att prata om orelaterade ämnen som en kändis hälsotillstånd eller historiska händelser som det fransk-preussiska kriget, allt i defi med systemets inbyggda restriktioner.
Sådana fynd understryker den utmaning som företag som Nvidia står inför när de strävar efter att tjäna pengar på AI, en av Silicon Valleys mest lovande innovationer.
Robust Intelligences verkställande direktör, Harvard Universitys datavetenskapsprofessor Yaron Singer, noterade resultaten som en nykter lektion i att känna igen potentiella fallgropar i AI-teknik. Singers företag avråder nu sina kunder från att använda Nvidias mjukvaruprodukt.
Efter avslöjandet av dessa fynd ska Nvidia enligt uppgift ta itu med ett av grundproblemen dent identifierats av forskarna.
Trots hickan har företagets aktie sett en betydande ökning på grund av tron försäljningsprognoser och den växande efterfrågan på deras chips, som anses avgörande för att bygga generativa AI-system som kan producera mänskligt innehåll.
Jonathan Cohen, Nvidias dent för tillämpad forskning, beskrev NeMo Framework som en språngbräda för AI-chatbotutveckling som följer säkerhet, säkerhet och ämnesspecifika riktlinjer.
Han erkände också betydelsen av resultaten från Robust Intelligences forskning för framtida utveckling av AI-applikationer.
dent belyser en bredare utmaning för AI-företag, inklusive jättar som Google och Microsoft-stödda OpenAI, som har haft sin del av säkerhetsmissöden trots att de har infört säkerhetsbarriärer för att undvika att deras AI-produkter uppvisar olämpligt beteende.
Som Bea Longworth, Nvidias chef för regeringsfrågor i Europa, Mellanöstern och Afrika, noterade under en branschkonferens, är att bygga allmänhetens förtroende en stor prioritet för AI-företag.
Potentialen för AI är enorm, men ansvaret ligger på teknikleverantörer som Nvidia att säkerställa att dessa avancerade system inte uppfattas som hot utan som fördelaktiga verktyg för framtiden.
