Uma nova onda de chatbots do mercado negro surge e prospera

Os chatbots do mercado negro tornaram-se uma das tendências mais recentes no setor de IA e estão prosperando, já que modelos de linguagem de grande escala (LLMs, na sigla em inglês) maliciosos geram lucro para seus criadores.

Um estudo americano revelou a existência de um próspero mercado negro de IA, onde profissionais com mestrado em direito (LLM) não registrados estão lucrando enormemente com a venda clandestina de seus serviços. Empresas registradas e com atuação pública, como a OpenAI, a Perplexity e outras grandes corporações que oferecem os mesmos serviços, seguem regulamentações rigorosas.

Os LLMs clandestinos conseguem burlar os antivírus

O estudo, que se concentrou principalmente na Malla, um ecossistema que prospera ao deturpar cursos de Direito e plataformas de IA para obter lucro, analisou 212 cursos de Direito do mercado negro listados em mercados clandestinos entre abril e outubro de 2023, avaliando seus atributos.

Um dos autores, Zilong Lin, da Universidade de Indiana, disse:

“Descobrimos que a maioria dos serviços de mala em fóruns clandestinos existe principalmente para obter lucro.”

O estudo também descobriu que algumas plataformas estão faturando até US$ 28.000 em dois meses com assinaturas e compras de pessoas que querem escapar das restrições da IA ​​regulamentada.

Algumas, como DarkGPT e EscapeGPT, são apenas versões modificadas (LLMs) de jailbreak devidamente licenciadas e usadas legalmente.

Um estudo separado também mostrou que esses LLMs ilícitos podem ser usados ​​para diversas tarefas, como a criação de e-mails de phishing. Por exemplo, o DarkGPT e o EscapeGPT conseguiram gerar códigos corretos em quase 75% dos casos, mas os antivírus não conseguiram detectá-los.

Outro modelo conhecido como WolfGPT era considerado uma "fera" para a criação de e-mails de phishing e para burlar os detectores de spam.

Segundo Andrew Hundt, especialista em inovação computacional da Universidade Carnegie Mello, o crescente mercado clandestino de IA deveria ser motivo de preocupação.

Ele defendeu uma exigência legal que obrigue as empresas que desenvolvem mestrados em direito a terem sistemas robustos que impeçam a replicação por pessoas com motivações sinistras.

“Também precisamos de estruturas legais para garantir que as empresas que criam esses modelos e prestam serviços o façam de forma mais responsável, mitigando os riscos representados por agentes maliciosos”, disse Hundt.

Entender como funcionam os chatbots do mercado negro é fundamental

O professor Xiaofeng Wang, da Universidade de Indiana, que participou do estudo, afirmou que é importante entender como esses mestrados em direito (LLMs) do mercado negro funcionam para que as soluções sejam específicas para os problemasdent.

O professor Wang acrescentou que a manipulação desses LLMs não pode ser evitada, o que cria espaço para que o setor desenvolvatronmecanismos de proteção para minimizar os danos potenciais causados ​​por ataques cibernéticos em todas as suas formas.

“Acreditamos que agora é um bom momento para começar a estudar esses problemas, pois não queremos esperar até que o maior dano já tenha sido causado.”

Professor Wang.

Segundo o professor, toda tecnologia, incluindo os mestrados em direito (LLMs), tem dois lados: o bom e o ruim.

Especialistas em cibersegurança já estão pedindo à indústria de IA que diminua o ritmo de sua corrida e reflita sobre os crescentes perigos de sua tecnologia ser adulterada por comunidades anônimas da internet.

Um artigo da Forbes publicado no final do ano passado afirmou que deve haver uma introdução responsável de novas ideias, especialmente no que diz respeito aos mestrados em direito. O artigo também enfatizou o papel da regulamentação na promoção de inovações responsáveis ​​em IA, contrariando a ideia equivocada de que a regulamentação sufoca o desenvolvimento.

“Os desenvolvedores e fornecedores de LLMs precisam interromper a corrida armamentista frenética que visa produzir modelos cada vez mais complexos e, em vez disso, devem trabalhar com os órgãos reguladores na adoção de estruturas para o design e uso éticos de aplicações de IA generativa”, dizia um trecho do relatório.

Agora, com brechas na regulamentação, o mercado negro de IA também está crescendo rapidamente, tornando-se uma indústria multimilionária e podendo exigir recursos consideráveis ​​para ser contido, de acordo com a Fast Company.