Estudodentlacuna de segurança alarmante na implementação de IA generativa

82% dos executivos de alto escalão acreditam que a IA é fundamental. No entanto, apenas 24% deles incorporam a segurança em suas iniciativas relacionadas à IA generativa. Essa é a conclusão de uma nova pesquisa conjunta da IBM e da Amazon Web Services, anunciada na RSA Conference 2024, que detalhou os resultados de uma pesquisa focada na visão de executivos de alto escalão sobre como impulsionar casos de uso seguros para IA, com ênfase em IA generativa. A IBM relata que apenas 24% dos entrevistadosdenta segurança em suas iniciativas de IA generativa, enquanto quase 70% afirmam que a inovação tem prioridade sobre a segurança.

Dilema entre inovação e segurança

Embora a maioria dos executivos se preocupe com os riscos imprevisíveis que podem impactar as iniciativas de IA de última geração, eles não estão priorizando a segurança. Mesmo que o cenário de ameaças à IA ainda não esteja totalmente definido, alguns casos de uso já envolvem a utilização do ChatGPT ou ferramentas similares para gerar scripts de e-mail de phishing e áudio deepfake. Pesquisadores de segurança da IBM X-Force alertaram que, assim como ocorre com tecnologias mais maduras, os sistemas de IA podem ser cada vez mais visados ​​em larga escala.

Embora uma superfície de ameaças consolidada para IA esteja apenas começando a se formar, os pesquisadores da IBM X-Force preveem que, assim que o cenário do setor amadurecer em torno de tecnologias e modelos de habilitação comuns, os agentes de ameaças começarão a visar esses sistemas de IA de forma mais ampla, segundo o relatório. De fato, essa convergência já está em curso, à medida que o mercado amadurece rapidamente, e os principais fornecedores já estão surgindo em hardware, software e serviços.

Mais preocupante, segundo o relatório, são as empresas que não protegem adequadamente os modelos de IA que criam e utilizam em seus negócios. O uso inadequado de ferramentas de IA de ponta pode levar ao manuseio incorreto ou ao vazamento de dados sensíveis. De acordo com o relatório, o uso de "IA paralela" está aumentando nas organizações, à medida que os funcionários utilizam ferramentas de IA de ponta que não foram aprovadas e protegidas pelas equipes de segurança corporativa.

Para esse fim, a IBM anunciou em janeiro uma estrutura para proteger a GenAI. Seus princípios básicos são a centralização dos dados usados ​​para treinar modelos de IA, a proteção dos modelos por meio de uma combinação de varredura de pipelines de desenvolvimento em busca de vulnerabilidades, a aplicação de políticas e controle de acesso para o uso da IA ​​e a proteção de seu uso contra ataques baseados em modelos de IA em tempo real.

Garantindo a segurança do pipeline de IA

Na segunda-feira, a equipe de segurança ofensiva X-Force Red da IBM lançou um serviço de testes de inteligência artificial que busca avaliar aplicações de IA, modelos de IA e pipelines de MLSecOps por meio de testes de intrusão (red teaming). Na quarta-feira, durante a RSA Conference 2024, a IBM apresentará o painel “Inovar agora, proteger depois? Decisões, decisões…” sobre segurança e governança para o pipeline de IA.

O segundo palestrante foi Ryan Dougherty, diretor de programas de tecnologia de segurança da IBM Security. Em entrevista à equipe editorial da TechTarget, ele afirmou que garantir a segurança da IA ​​desde o início é uma das principais preocupações da IBM Security na área de tecnologia. Ele disse: "É isso que torna essa área tão crítica, principalmente no caso da IA ​​generativa: ela está se integrando profundamente aos aplicativos e processos de negócios. Integrar-se à estrutura de negócios a coloca acima dos riscos e ameaças potenciais."

Segundo ele, de uma perspectiva empresarial, a IA deve estar fundamentada em sua natureza real.

“A IA generativa é treinada e operacionalizada em vastos conjuntos de dados empresariais sensíveis, e precisamos proteger essas novas joias da coroa, porque é aí que reside a vantagem competitiva. Tudo gira em torno dos dados que essas organizações possuem e dos insights que obtêm ao usar a IA generativa e integrá-los em seus aplicativos para aprimorar seus negócios.”

Dougherty acrescentou que estão pagando muito dinheiro pelos modelos, que são muito caros. Muita propriedade intelectual e investimento estão sendo direcionados para a operacionalização dessas aplicações de IA generativa, e as empresas simplesmente não têm condições de protegê-las.