Estudo Identifica Lacuna Alarmante de Segurança na Implantação de IA Generativa

82% dos executivos do nível C acreditam que a IA segura e confiável é crítica. No entanto, apenas 24% deles incorporam a segurança em suas iniciativas relacionadas à GenAI. Isso de acordo com uma nova pesquisa da IBM e da Amazon Web Services, pesquisa conjunta anunciada na RSA Conference 2024 e que detalhou os resultados de uma pesquisa focada nas visões de executivos do nível C sobre como impulsionar casos de uso seguros para IA, com muito foco na IA generativa. A IBM relata que apenas 24% dos entrevistados consideraram uma dimensão de segurança em suas iniciativas de IA generativa, enquanto quase 70% dizem que a inovação tem precedência sobre a segurança.

Compromisso entre inovação e segurança

Embora a maioria dos executivos se preocupe com riscos imprevisíveis que impactarão as iniciativas de GenAI, eles não estão priorizando a segurança. Embora um cenário de ameaças de IA totalmente realizado ainda não tenha ocorrido, alguns casos de uso envolveram o uso do ChatGPT ou similar para gerar scripts de e-mails de phishing e áudio deepfake. Pesquisadores de segurança da IBM X-Force alertaram que, assim como em tecnologias mais maduras, espera-se cada vez mais que os sistemas de IA sejam alvo em uma escala maior.

Embora uma superfície de ameaça de IA consolidada esteja apenas começando a se formar, os pesquisadores da IBM X-Force antecipam que, assim que o cenário da indústria amadurecer em torno de tecnologias e modelos de habilitação comuns, os atores de ameaças começarão a mirar nesses sistemas de IA de forma mais ampla, leu o relatório. De fato, essa convergência está em andamento à medida que o mercado amadurece rapidamente, e os principais provedores já estão emergindo em hardware, software e serviços.

Mais imediatamente preocupante, disse o relatório da IBM, são as empresas que não protegem adequadamente os modelos de IA que constroem e usam como parte de seus negócios. A aplicação inadequada de ferramentas GenAI pode levar ao manuseio incorreto ou vazamento de dados sensíveis. De acordo com o relatório, a “IA sombra” está aumentando em seu uso dentro das organizações, à medida que os funcionários usam ferramentas GenAI que não foram aprovadas e protegidas pelas equipes de segurança corporativa.

Para esse fim, a IBM anunciou um framework para proteger a GenAI em janeiro. Seus princípios básicos são centralizar os dados, que são usados para treinar modelos de IA, proteger os modelos usando uma combinação de análise de pipelines de desenvolvimento em busca de vulnerabilidades, aplicar políticas e controle de acesso para o uso de IA e proteger seu uso contra ataques baseados em modelos de IA ao vivo.

Protegendo o pipeline de IA

Na segunda-feira, a equipe de segurança ofensiva X-Force Red da IBM lançou um serviço de teste de inteligência artificial que busca avaliar aplicativos de IA, modelos de IA e pipelines MLSecOps por meio de red teaming. Na quarta-feira, na RSA Conference 2024, a IBM apresentará “Inove Agora, Proteja Depois? Decisões, Decisões…” sobre a proteção e o estabelecimento de governança para o pipeline de IA.

O segundo palestrante foi Ryan Dougherty, diretor de programa de tecnologia de segurança da IBM Security. Falando à TechTarget Editorial, ele disse que proteger a IA logo de cara é uma das principais preocupações da IBM Security no espaço tecnológico. Ele disse: “É isso que torna essa área tão crítica, particularmente no caso da IA generativa: ela está se incorporando profundamente em aplicativos e processos de negócios. Integrar o tecido de negócios a eleva acima e além dos riscos e ameaças potenciais.”

De acordo com ele, de uma perspectiva de negócios, a IA deve ter um fundamento em sua natureza real.

“A IA generativa é treinada e operacionalizada em vastas quantidades de dados comerciais sensíveis, e precisamos proteger essas novas joias da coroa, porque é aí que está a vantagem competitiva. É em torno dos dados que essas organizações têm e dos insights que estão obtendo ao usar a IA generativa e apresentá-los em seus aplicativos para melhorar seus negócios.”

Dougherty acrescentou que estão pagando muito dinheiro pelos modelos, que são muito caros. Muito IP e investimento estão sendo direcionados para a operacionalização desses aplicativos de IA generativa, e as empresas simplesmente não podem pagar para protegê-los.