Desenvolvedores de software experientes entregaram trabalho 19% mais devagar ao usar IA, encontra estudo

Um estudo recente realizado pela organização sem fins lucrativos de pesquisa em IA METR começou muita conversa após revelar um detalhe contra-intuitivo — quando desenvolvedores de software experientes tiveram que trabalhar com ferramentas de IA enquanto trabalhavam em bases de código familiares, eles concluíram suas tarefas 19% mais devagar. 

O estudo foi realizado no início deste ano em um grupo de desenvolvedores com anos de experiência. O grupo usou predominantemente o Cursor como a ferramenta de IA para ajudá-los a concluir tarefas em projetos de código aberto que conheciam bem.

Antes do estudo, os desenvolvedores de código aberto acreditavam que trabalhar com uma IA os ajudaria a fazer as coisas mais rápido, com muitos estimando que diminuiria o tempo de conclusão da tarefa em 24%.

Mesmo após as tarefas serem concluídas com a IA, os desenvolvedores estavam convencidos de que haviam diminuído o tempo de conclusão em 20%.

No entanto, o relatório do estudo mostrou resultados opostos; colaborar com uma IA aumentou o tempo de conclusão da tarefa em 19%.

Ainda há muito que não sabemos sobre IA

Os resultados provocaram surpresa entre desenvolvedores no X, mas os autores principais do estudo, Joel Becker e Nate Rush, ficaram chocados com eles. Rush esperava “um aumento de velocidade de 2x, bastante obviamente” e havia anotado isso antes do início do experimento.

Antes disso, havia uma crença generalizada de que a IA torna os engenheiros humanos muito mais produtivos, e várias empresas investiram substancialmente em empresas que vendem produtos de IA para auxiliar o desenvolvimento de software com base nessas projeções.

No entanto, embora o estudo tenha destacado uma suposição falsa, não mudou o medo comum da IA roubar empregos humanos. Na verdade, a mudança já começou, mesmo em carreiras de programação, com a IA expecteda substituir posições de codificação de nível de entrada.

Dario Amodei, CEO da Anthropic, é um daqueles que compartilha esse sentimento e acredita que isso pode acontecer nos próximos um a cinco anos.

Ao contrário de estudos anteriores que incentivavam a crença de que a IA aceleraria codificadores e desenvolvedores de software porque relataram ganhos significativos, o estudo METR mostrou que eles não se aplicam a todos os cenários de desenvolvimento de software.

Em particular, o estudo foi capaz de provar que desenvolvedores experientes que tinham conhecimento íntimo das peculiaridades e requisitos de grandes bases de código de código aberto estabelecidas foram os mais afetados.

Os autores do estudo também apontaram que outros estudos são conhecidos por depender de benchmarks de desenvolvimento de software para IA, e às vezes representam mal as tarefas do mundo real.

Quanto ao que causou os codificadores a trabalhar mais devagar, coisas como precisar gastar tempo revisando e corrigindo o que os modelos de IA sugeriram foram notadas.

Os autores não esperam que esse atraso se aplique em outros cenários, e apesar dos resultados, a maioria dos participantes do estudo, bem como os autores do estudo, continuam a usar o Cursor hoje.

Por quê? Os autores dizem que é porque a IA torna a experiência mais fácil, o que, por sua vez, faz parecer menos como uma tarefa.

Desenvolvedores de software não estão preocupados com a IA, mesmo com as recentes demissões na tecnologia

Dado o quão entusiasmados os autores do estudo METR e os participantes do estudo estão em perdoar o Claude por retardá-los, e seu uso contínuo da ferramenta, é claro que mais profissionais de tecnologia veem a IA mais como um colaborador do que como uma ameaça.

Infelizmente, pode haver problemas no horizonte à medida que a indústria de tecnologia continua a testemunhar demissões explicitamente vinculadas à adoção de IA em grandes empresas.

Este ano, a Microsoft já demitiu até 9.000 funcionários, com alegações de que 40% das demissões recentes visaram engenheiros de software porque tarefas de escrita de código foram terceirizadas para ferramentas de IA.

A empresa justificou as demissões com lucros recordes que mantiveram sua capitalização de mercado logo atrás da Nvidia e à frente da Apple.

O Google é outra grande empresa de tecnologia que demitiu centenas de trabalhadores após seu investimento na startup de IA Anthropic, embora nem todos os trabalhadores demitidos tenham sido substituídos por IA.

Outras empresas, como Salesforce e Intel, também citaram uma mudança para a IA em anúncios de demissões. A Salesforce cortou 1.000 empregos este ano para se concentrar em funções de IA, a Intel reduziu sua força de trabalho em 15.000, e a IBM planeja substituir 30% de seus cargos de back-office por IA até 2030.