O software de IA da Nvidia expõe dados sensíveis – Detalhes

Revelações perturbadoras vieram à tona sobre os mecanismos de segurança do software de inteligência artificial (IA) da Nvidia, o NeMo Framework, após uma investigação recente.

Uma inovação crucial no software, desenvolvido para atender ao processamento de modelos de linguagem para soluções baseadas em IA, como chatbots, foi explorada, expondo dados sensíveis e, consequentemente, gerando preocupações com a segurança.

Expondo a falha na estrutura NeMo da Nvidia

Considerada uma ferramenta fundamental para empresas, a estrutura NeMo foi projetada pela Nvidia para acomodar dados proprietários e responder a consultas, de forma semelhante ao que faria um representante de atendimento ao cliente ou um consultor de saúde.

No entanto, a estrutura aparentemente segura desse sistema foi facilmente superada por pesquisadores da Robust Intelligence, de São Francisco, que romperam as proteções internas em apenas algumas horas.

Em um experimento controlado, os pesquisadores fizeram uma alteração aparentemente insignificante, substituindo a letra 'I' por 'J'. No entanto, essa pequena alteração levou a uma grande violação de segurança, pois o sistema liberou Informações dedentPessoal (PII) de um banco de dados.

As implicações dessa violação representam riscos potenciais consideráveis ​​para empresas e usuários que confiam seus dados sensíveis a sistemas de IA como o da Nvidia.

Um teste adicional revelou que a IA podia ser manipulada para se desviar do seu comportamento esperado, abordando assuntos que não deveria discutir.

Por exemplo, embora a conversa fosse direcionada para um relatório de trabalho, o modelo foi manipulado para falar sobre tópicos não relacionados, como o estado de saúde de uma celebridade ou eventos históricos como a Guerra Franco-Prussiana, tudo isso defias restrições inerentes ao sistema.

Navegando pelas águas turbulentas da comercialização da IA

Essas descobertas ressaltam o desafio enfrentado por empresas como a Nvidia, que buscam monetizar a IA, uma das inovações mais promissoras do Vale do Silício.

O diretor executivo da Robust Intelligence, Yaron Singer, professor de Ciência da Computação da Universidade de Harvard, observou que as descobertas representam uma lição importante sobre como reconhecer as potenciais armadilhas da tecnologia de IA. A empresa de Singer agora aconselha seus clientes a não utilizarem o software da Nvidia.

Após a divulgação dessas descobertas, a Nvidia teria abordado um dos problemas principaisdentpelos pesquisadores.

Apesar dos contratempos, as ações da empresa tiveram uma alta significativa devido àstronprevisões de vendas e à crescente demanda por seus chips, considerados cruciais para a construção de sistemas de IA generativa capazes de produzir conteúdo semelhante ao humano.

Jonathan Cohen, vice-dent de pesquisa aplicada da Nvidia, descreveu o NeMo Framework como uma plataforma de lançamento para o desenvolvimento de chatbots de IA que adere a diretrizes de segurança, proteção e tópicos específicos.

Ele também reconheceu a importância das descobertas da pesquisa da Robust Intelligence para o desenvolvimento futuro de aplicações de IA.

Odent destaca um desafio mais amplo para as empresas de IA, incluindo gigantes como o Google e a OpenAI, apoiada pela Microsoft, que já tiveram sua parcela de problemas de segurança, apesar de terem implementado medidas de segurança para evitar que seus produtos de IA apresentem comportamentos inadequados.

Como observou Bea Longworth, chefe de assuntos governamentais da Nvidia na Europa, Oriente Médio e África, durante uma conferência do setor, construir a confiança do público é uma prioridade fundamental para as empresas de IA.

O potencial da IA ​​é enorme, mas cabe aos fornecedores de tecnologia, como a Nvidia, garantir que esses sistemas avançados não sejam vistos como ameaças, mas sim como ferramentas benéficas para o futuro.