Um estudo recente realizado pela organização sem fins lucrativos de pesquisa em IA, METR, gerou muita discussão após revelar um detalhe contraintuitivo: quando desenvolvedores de software experientes tiveram que trabalhar com ferramentas de IA em bases de código familiares, eles concluíram suas tarefas 19% mais lentamente.
O estudo foi realizado no início deste ano com um grupo de desenvolvedores com anos de experiência. O grupo utilizou predominantemente o Cursor como ferramenta de IA para auxiliá-los na conclusão de tarefas em projetos de código aberto que conheciam bem.
Antes do estudo, os desenvolvedores de código aberto acreditavam que trabalhar com IA os ajudaria a realizar as tarefas mais rapidamente, com muitos estimando que isso diminuiria o tempo de conclusão das tarefas em 24%.
Mesmo após a conclusão das tarefas com IA, os desenvolvedores estavam convencidos de que haviam reduzido o tempo necessário para finalizá-las em 20%.
No entanto, o estudo relatou resultados opostos; a colaboração com uma IA aumentou o tempo de conclusão da tarefa em 19%.
Ainda há muito que não sabemos sobre IA
Os resultados surpreenderam os desenvolvedores da plataforma X, mas os autores principais do estudo, Joel Becker e Nate Rush, ficaram chocados. Rush esperava "um aumento de velocidade de 2x, algo bastante óbvio" e havia anotado isso antes do início do experimento.
Até então, havia uma crença generalizada de que a IA tornaria os engenheiros humanos muito mais produtivos, e diversas empresas investiram substancialmente em empresas que vendem produtos de IA para auxiliar no desenvolvimento de software com base nessas projeções.
Contudo, embora o estudo tenha destacado uma premissa falsa, não alterou o receio comum de que a IA roube empregos humanos. Na verdade, essa mudança já começou, inclusive em carreiras de programação, com a expectativa de que a IA substitua cargos de nível inicial em codificação.
Dario Amodei, CEO da Anthropic , é um dos que compartilham desse sentimento e acredita que isso pode acontecer nos próximos um a cinco anos.
Ao contrário de estudos anteriores que incentivaram a crença de que a IA aceleraria o trabalho de programadores e desenvolvedores de software devido a ganhos significativos relatados, o estudo METR mostrou que esses resultados não se aplicam a todos os cenários de desenvolvimento de software.
Em particular, o estudo conseguiu comprovar que os desenvolvedores experientes, que possuíam conhecimento profundo das peculiaridades e requisitos de grandes bases de código aberto já estabelecidas, eram os mais afetados.
Os autores do estudo também apontaram que outros estudos são conhecidos por se basearem em benchmarks de desenvolvimento de software para IA, e que por vezes representam de forma incorreta as tarefas do mundo real.
Quanto aos motivos que levaram os programadores a trabalhar mais lentamente, foram apontados fatores como a necessidade de dedicar tempo a revisar e corrigir as sugestões dos modelos de IA.
Os autores não esperam que essa desaceleração se aplique a outros cenários e, apesar dos resultados, a maioria dos participantes do estudo, assim como os próprios autores, continuam a usar o Cursor atualmente.
Por quê? Os autores afirmam que é porque a IA torna a experiência mais fácil, o que, por sua vez, faz com que ela pareça menos uma tarefa árdua.
Os desenvolvedores de software não estão preocupados com a IA, mesmo com as recentes demissões no setor de tecnologia
Considerando o entusiasmo dos METR em perdoar Claude por tê-los atrasado, e o uso contínuo da ferramenta, fica claro que mais profissionais de tecnologia veem a IA como uma colaboradora do que como uma ameaça.
Infelizmente, podem surgir problemas no horizonte, visto que o setor de tecnologia continua a testemunhar demissões explicitamente ligadas à adoção de IA em grandes empresas.
Este ano, a Microsoft já demitiu até 9.000 funcionários, com alegações de que 40% das demissões recentes tiveram como alvo engenheiros de software, porque as tarefas de programação foram terceirizadas para ferramentas de IA.
A empresa justificou as demissões com lucros recordes que mantiveram seu valor de mercado logo atrás do da Nvidia e à frente do da Apple.
O Google é outra grande empresa de tecnologia que demitiu centenas de funcionários após seu investimento na startup de IA Anthropic, embora nem todos os funcionários demitidos tenham sido substituídos por IA.
Outras empresas, como a Salesforce e a Intel, também citaram a mudança para a IA em seus anúncios de demissões. A Salesforce cortou 1.000 vagas este ano para se concentrar em funções de IA, a Intel reduziu sua força de trabalho em 15.000 pessoas e a IBM planeja substituir 30% de suas funções administrativas por IA até 2030.
