Software de IA da Nvidia expõe dados sensíveis – Detalhes

Revelações inquietantes vieram à tona sobre os mecanismos de segurança dentro do software de inteligência artificial (IA) da Nvidia, o NeMo Framework, após uma investigação recente.

Um avanço crucial no software, construído para atender ao processamento de modelos de linguagem para soluções baseadas em IA, como chatbots, foi explorado, expondo dados sensíveis e, assim, gerando preocupações de segurança.

Expondo a falha no framework NeMo da Nvidia

Considerado uma ferramenta instrumental para empresas, o NeMo Framework foi projetado pela Nvidia para acomodar dados proprietários para responder a consultas, semelhante a como um representante de atendimento ao cliente ou um consultor de saúde faria.

No entanto, a estrutura aparentemente segura desse framework foi facilmente superada por pesquisadores da Robust Intelligence, de São Francisco, quebrando as barreiras de segurança integradas em apenas algumas horas.

Em um experimento controlado, os pesquisadores fizeram uma alteração aparentemente insignificante, substituindo a letra 'I' por 'J'. No entanto, essa alteração aparentemente menor levou a uma grande violação, pois o sistema liberou Informações de Identificação Pessoal (PII) de um banco de dados.

As implicações dessa violação apresentam riscos consideráveis para empresas e usuários que confiam seus dados sensíveis a sistemas de IA, como os da Nvidia.

Um teste adicional revelou que a IA poderia ser manipulada para desviar de seu comportamento esperado, abordando assuntos que não se destinava a discutir.

Por exemplo, enquanto a conversa era direcionada a um relatório de emprego, o modelo foi manipulado para falar sobre tópicos não relacionados, como a condição de saúde de uma celebridade ou eventos históricos, como a guerra franco-prussiana, tudo em defiance das restrições integradas do sistema.

Navegando pelos mares agitados da comercialização da IA

Tais descobertas destacam o desafio enfrentado por empresas como a Nvidia enquanto se esforçam para monetizar a IA, uma das inovações mais promissoras do Vale do Silício.

O Chief Executive da Robust Intelligence, o Professor de Ciência da Computação da Universidade de Harvard Yaron Singer, observou que as descobertas são uma lição sóbria sobre o reconhecimento de possíveis armadilhas na tecnologia de IA. A empresa de Singer agora aconselha seus clientes a não usar o produto de software da Nvidia.

Após a divulgação dessas descobertas, a Nvidia supostamente abordou uma das questões raiz identificadas pelos pesquisadores.

Apesar dos contratempos, as ações da empresa tiveram um aumento significativo impulsionado por fortes previsões de vendas e pela crescente demanda por seus chips, considerados cruciais para a construção de sistemas de IA generativa capazes de produzir conteúdo semelhante ao humano.

Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, descreveu o NeMo Framework como um trampolim para o desenvolvimento de chatbots de IA que aderem a diretrizes de segurança, proteção e tópicos específicos.

Ele também reconheceu a importância das descobertas da pesquisa da Robust Intelligence para o desenvolvimento futuro de aplicações de IA.

O incidente destaca um desafio mais amplo para empresas de IA, incluindo gigantes como Google e OpenAI (patrocinada pela Microsoft), que tiveram sua parte de incidentes de segurança, apesar de terem instituído barreiras de segurança para evitar que seus produtos de IA exibissem comportamentos inadequados.

Como observou Bea Longworth, diretora de assuntos governamentais da Nvidia na Europa, Oriente Médio e África, durante uma conferência da indústria, construir a confiança do público é uma prioridade importante para as empresas de IA.

O potencial da IA é tremendo, mas a responsabilidade recai sobre os provedores de tecnologia, como a Nvidia, para garantir que esses sistemas avançados não sejam percebidos como ameaças, mas como ferramentas benéficas para o futuro.