Revelações perturbadoras vieram à tona sobre os mecanismos de segurança do software de inteligência artificial ( IA ) da Nvidia, o NeMo Framework, após uma investigação recente.
Um avanço fundamental no software, construído para atender ao processamento de modelos de linguagem para soluções baseadas em IA, como chatbots, foi explorado, expondo dados confidenciais e, assim, gerando preocupações de segurança.
Expondo a falha na estrutura NeMo da Nvidia
Considerado uma ferramenta instrumental para empresas, o NeMo Framework foi projetado pela Nvidia para acomodar dados proprietários para responder a dúvidas, da mesma forma que um representante de atendimento ao cliente ou consultor de saúde faria.
No entanto, a estrutura ostensivamente segura desta estrutura foi facilmente ultrapassada pelos investigadores da Robust Intelligence de São Francisco, rompendo as barreiras de proteção incorporadas em apenas algumas horas.
Numa experiência controlada, os investigadores fizeram uma alteração aparentemente insignificante, substituindo a letra ‘I’ por ‘J’. No entanto, esse ajuste aparentemente menor levou a uma grande violação quando o sistema liberou informações pessoalmente dent (PII) de um banco de dados.
As implicações desta violação apresentam riscos potenciais consideráveis para empresas e utilizadores que confiam os seus dados sensíveis a sistemas de IA como os da Nvidia.
Um teste adicional revelou que a IA poderia ser manipulada para se desviar do comportamento esperado, abordando assuntos que não pretendia discutir.
Por exemplo, embora a conversa fosse dirigida para um relatório de trabalho, o modelo era manipulado para falar sobre tópicos não relacionados, como o estado de saúde de uma celebridade ou acontecimentos históricos como a guerra franco-prussiana, tudo defi as restrições inerentes ao sistema.
Estas descobertas sublinham o desafio enfrentado por empresas como a Nvidia à medida que se esforçam para rentabilizar a IA, uma das inovações mais promissoras de Silicon Valley.
O presidente-executivo da Robust Intelligence, professor de ciência da computação da Universidade de Harvard, Yaron Singer, observou as descobertas como uma lição preocupante no reconhecimento de possíveis armadilhas na tecnologia de IA. A empresa de Singer agora aconselha seus clientes a não usarem o produto de software da Nvidia.
Após a divulgação dessas descobertas, a Nvidia supostamente abordou um dos problemas básicos dent pelos pesquisadores.
Apesar dos contratempos, as ações da empresa registaram um aumento significativo devido às tron previsões de vendas e à crescente procura pelos seus chips, que são considerados cruciais para a construção de sistemas generativos de IA capazes de produzir conteúdo semelhante ao humano.
Jonathan Cohen, vice- dent de pesquisa aplicada da Nvidia, descreveu o NeMo Framework como um trampolim para o desenvolvimento de chatbots de IA que segue diretrizes de segurança, proteção e tópicos específicos.
Ele também reconheceu a importância das descobertas da pesquisa da Robust Intelligence para o desenvolvimento futuro de aplicações de IA.
O dent destaca um desafio mais amplo para as empresas de IA, incluindo gigantes como a Google e a OpenAI, apoiada pela Microsoft, que tiveram a sua quota-parte de acidentes de segurança, apesar de terem instituído barreiras de segurança para evitar que os seus produtos de IA apresentassem comportamentos inadequados.
Como observou Bea Longworth, chefe de assuntos governamentais da Nvidia na Europa, Médio Oriente e África, durante uma conferência da indústria, construir a confiança do público é uma grande prioridade para as empresas de IA.
O potencial da IA é enorme, mas a responsabilidade recai sobre fornecedores de tecnologia como a Nvidia para garantir que estes sistemas avançados não sejam vistos como ameaças, mas como ferramentas benéficas para o futuro.
