Engenheiro da Microsoft expressa preocupação com a criação de imagens violentas e sexuais por ferramenta de IA

Um engenheiro da Microsoft alertou sobre o gerador de imagens de IA da empresa, advertindo sobre sua propensão a produzir conteúdo violento e sexual, ignorando as leis de direitos autorais. Shane Jones, gerente principal de engenharia de software da Microsoft, vinha testando ativamente o produto, conhecido como Copilot Designer, em seu tempo livre. Suas descobertas, que incluem imagens perturbadoras como demônios, além de temas como direitos reprodutivos, consumo de álcool por menores de idade e uso de drogas, o levaram a levar o assunto às autoridades competentes.

Preocupações e ações tomadas por Jones

Jones, que trabalha na Microsoft há seis anos, começou a testar o Copilot Designer como parte de sua função como membro da equipe vermelha, encarregado dedentvulnerabilidades em tecnologia de IA. Perturbado pelas imagens geradas pela ferramenta, que ele considerou inseguras e potencialmente prejudiciais, Jones relatou suas descobertas internamente à Microsoft, mas constatou que a empresa relutava em tomar medidas decisivas. Apesar de seus esforços para expressar suas preocupações, incluindo a publicação de uma carta aberta no LinkedIn e o contato com senadores americanos, Jones sentiu-se compelido a levar o problema adiante.

Escalada para o presidente da FTC e o Conselho da Microsoft

Na tentativa de solucionar os problemas contínuos com o Copilot Designer, Jones enviou cartas à presidente da Comissão Federal de Comércio (FTC), Lina Khan, e ao conselho de administração da Microsoft. Ele instou a FTC a investigar o assunto e pediu à Microsoft que implementasse mudanças, como a inclusão de divulgações no produto e o ajuste da classificação indicativa do aplicativo para refletir conteúdo adulto. Jones também solicitou que o conselho da Microsoft iniciasse uma revisãodent dos processos de notificação dedent de IA responsável da empresa.

Preocupações com a IA generativa e a falta de supervisão

As ações de Jones destacam preocupações mais amplas sobre a falta de supervisão em torno da tecnologia de IA generativa. Com o potencial de disseminação generalizada de conteúdo prejudicial, particularmente no contexto das próximas eleições, Jones enfatiza a necessidade urgente de salvaguardas mais rigorosas. Ele observa que a equipe do Copilot recebe inúmeras mensagens de feedback sobre o produto diariamente, o que indica um desafio significativo para resolver todos os problemas prontamente.

Violação de direitos autorais e problemas de conteúdo

Além da criação de imagens violentas e sexuais, o Copilot Designer também levanta preocupações sobre a violação de direitos autorais. Observou-se que a ferramenta gera imagens com personagens protegidos por direitos autorais, como Elsa, da Disney, e figuras de Star Wars, potencialmente violando tanto as leis de direitos autorais quanto as políticas da Microsoft. Jones enfatiza que o problema vai além das violações de direitos autorais, destacando as implicações mais amplas da disseminação global de imagens prejudiciais e perturbadoras.

Os esforços de Shane Jones para abordar as preocupações em torno do gerador de imagens de IA da Microsoft ressaltam a crescente necessidade de uma supervisão e regulamentação robustas no campo da IA ​​generativa. Suas ações servem como um apelo para que tanto as autoridades reguladoras quanto as empresas de tecnologia priorizem a segurança e o uso ético das tecnologias de IA.