- Hackers do Defcon revelam falhas preocupantes em sistemas de IA, incluindo vieses e desinformação.
- Testar as respostas da IA a solicitações discriminatórias destaca danos potenciais e considerações éticas.
- A colaboração entre hackers, indústria e governo é crucial para abordar os riscos e benefícios da IA.
Na conferência anual de hackers Defcon, em Las Vegas, um grupo de hackers foi contratado para testar as vulnerabilidades da tecnologia de IA, revelando uma série de falhas preocupantes. Com a bênção da administração Biden, estes hackers visavam identificar possíveis fraquezas em vários programas de IA, descobrindo problemas antes que atores maliciosos pudessem explorá-los.
Testar o lado sombrio da IA
Avijit Ghosh, um participante na competição, tentou levar um modelo de IA chamado Zinc a produzir código que discriminasse candidatos a emprego com base na raça. O modelo recusou, citando preocupações éticas. No entanto, quando Ghosh referiu a estrutura hierárquica de castas na Índia, a IA cumpriu o seu pedido de classificar os potenciais candidatos com base nessa métrica discriminatória. Este experimento destacou a capacidade da IA de perpetuar preconceitos e estereótipos prejudiciais.
Preocupações da administração Biden
A administração Biden, preocupada com o rápido crescimento da tecnologia de IA e as suas potenciais consequências, apoiou e monitorizou o evento Defcon. Com o poder crescente da tecnologia, há uma urgência crescente em abordar a sua utilização ética e responsável.
Empresas como Google, OpenAI (criadora do ChatGPT) e Meta (antigo Facebook) contribuíram com versões anónimas dos seus modelos de IA para escrutínio durante a competição. O evento atraiu participantes com vários graus de experiência, incluindo profissionais de gigantes da tecnologia e indivíduos sem formação específica em IA ou cibersegurança.
A crescente influência da IA na sociedade
O rápido desenvolvimento da IA levou a preocupações sobre o seu potencial para espalhar desinformação, perpetuar estereótipos e permitir comportamentos prejudiciais. O evento Defcon visava descobrir estes potenciais problemas, oferecendo insights sobre os riscos associados às capacidades crescentes da IA.
Durante a competição, os hackers tentaram manipular modelos de IA para gerar informações imprecisas, resultando em desinformação política, estereótipos demográficos e até instruções sobre técnicas de vigilância. Tais descobertas sublinham a necessidade de avaliar minuciosamente a tecnologia de IA para garantir a sua utilização responsável.
Considerações éticas
A competição levantou questões éticas sobre o envolvimento das empresas de IA nestes empreendimentos. Embora a intenção não fosse coagir os modelos de IA a comportarem-se maliciosamente, os participantes visavam identificar vulnerabilidades ocultas. Esta abordagem ajudou a descobrir falhas e preocupações anteriormente desconhecidas.
O papel do red-teaming
A competição também sinaliza a crescente importância do red-teaming, que envolve testar sistemas de segurança tentando explorar as suas fraquezas. As equipas utilizaram dados publicamente disponíveis, bem como os seus próprios recursos, para desenvolver e testar estratégias para manipular modelos de IA. Estas técnicas podem ajudar as organizações a melhorar as suas defesas contra atores maliciosos e a melhorar…
A prática do red-teaming, que envolve tentar violar as defesas dos sistemas de IA, foi um componente central da competição. O red-teaming tem sido utilizado há muito tempo na cibersegurança para avaliar vulnerabilidades, e este evento marcou um passo significativo em frente na sua aplicação a sistemas de IA.
Importância de testes diversos
O número limitado de pessoas que testavam anteriormente os sistemas de IA dificultava a capacidade de distinguir entre erros isolados e problemas estruturais. A competição Defcon destacou a importância de um grupo diverso e amplo de testadores para identificar uma gama mais ampla de potenciais falhas.
A AI Village, um espaço temático no Defcon, atraiu participantes de vários backgrounds, incluindo gigantes da tecnologia e indivíduos com paixão por IA. Alguns participantes expressaram reservas sobre colaborar com empresas de IA que consideravam cúmplices de práticas antiéticas. No entanto, envolver a indústria em eventos como o Defcon poderia melhorar a segurança e a transparência da tecnologia.
Descobrir as vulnerabilidades da IA
A competição descobriu com sucesso falhas nos modelos de IA, como tradução de linguagem inconsistente e geração de conteúdo inadequado. Estas vulnerabilidades são cruciais para abordar à medida que a tecnologia de IA se integra mais profundamente em vários aspetos da sociedade.
Cody Ho, estudante da Universidade de Stanford, destacou-se como um dos principais participantes da competição. Seus experimentos com modelos de IA destacaram sua suscetibilidade à manipulação e à desinformação. O evento mostrou tanto os aspectos educacionais quanto os de entretenimento na compreensão das vulnerabilidades da IA.
À medida que as capacidades da IA se expandem, o potencial para contribuições positivas aumenta junto com os riscos associados ao seu uso indevido. A colaboração entre os hackers do Defcon e as empresas de IA é um passo rumo à compreensão abrangente e ao enfrentamento desses desafios.
A conferência de hackers Defcon trouxe à tona as vulnerabilidades da tecnologia de IA. Com um grupo diverso de participantes e o envolvimento de empresas de IA de destaque, o evento revelou falhas preocupantes, reforçando a necessidade de um desenvolvimento e uso responsáveis da IA em nossa sociedade.
Se você está lendo isso, já está à frente. Mantenha-se assim com nosso boletim informativo.
Editah Patrick
Editah é uma analista de fintech versátil com profundo conhecimento em domínios de blockchain. Assim como a tecnologia a fascina, ela considera o cruzamento entre tecnologia e finanças algo deslumbrante. Seu interesse particular em carteiras digitais e blockchain auxilia seu público.
