Los desarrolladores de software experimentados trabajaron un 19% más lento al usar IA, según un estudio

Un reciente estudio realizado por la organización sin fines de lucro de investigación en IA METR ha generado mucha conversación tras revelar un detalle contraintuitivo: cuando los desarrolladores de software experimentados tenían que trabajar con herramientas de IA mientras utilizaban bases de código familiares, completaban sus tareas un 19% más lento. 

El estudio se llevó a cabo a principios de este año con un grupo de desarrolladores con años de experiencia. El grupo utilizó predominantemente Cursor como herramienta de IA para ayudarles a completar tareas en proyectos de código abierto que conocían bien.

Antes del estudio, los desarrolladores de código abierto creían que trabajar con una IA les ayudaría a hacer las cosas más rápido, y muchos estimaban que reduciría el tiempo de finalización de las tareas en un 24%.

Incluso después de completar las tareas con IA, los desarrolladores estaban convencidos de que habían reducido el tiempo de finalización en un 20%.

Sin embargo, el estudio reportó resultados opuestos; colaborar con una IA aumentó el tiempo de finalización de las tareas en un 19%.

Aún hay mucho que no sabemos sobre la IA

Los resultados han suscitado sorpresa entre los desarrolladores en X, pero los autores principales del estudio, Joel Becker y Nate Rush, quedaron impactados. Rush esperaba «una aceleración de 2x, bastante obviamente» y lo había anotado antes de que comenzara el experimento.

Hasta ahora, existía la creencia generalizada de que la IA hace que los ingenieros humanos sean mucho más productivos, y varias empresas han invertido sustancialmente en compañías que venden productos de IA para ayudar al desarrollo de software basándose en esas proyecciones.

Sin embargo, aunque el estudio ha destacado un supuesto falso, no ha cambiado el miedo común a que la IA robe empleos humanos. De hecho, el cambio ya ha comenzado, incluso en carreras de programación, y se espera que la IA reemplace los puestos de codificación de nivel de entrada.

Dario Amodei, CEO de Anthropic, es uno de los que comparte esta opinión y cree que podría ocurrir en los próximos uno a cinco años.

A diferencia de estudios anteriores que fomentaban la creencia de que la IA aceleraría a los codificadores y desarrolladores de software porque reportaban ganancias significativas, el estudio de METR ha demostrado que no se aplican a todos los escenarios de desarrollo de software.

En particular, el estudio pudo demostrar que los desarrolladores experimentados que tenían un conocimiento íntimo de las peculiaridades y requisitos de bases de código de código abierto grandes y establecidas fueron los más afectados.

Los autores del estudio también han señalado que otros estudios conocidos dependen de puntos de referencia de desarrollo de software para la IA, y a veces representan mal las tareas del mundo real.

En cuanto a lo que causó que los codificadores trabajaran más lentamente, se señalaron cosas como la necesidad de dedicar tiempo a revisar y corregir lo que sugerían los modelos de IA.

Los autores no esperan que esta ralentización se aplique en otros escenarios, y a pesar de los resultados, la mayoría de los participantes del estudio, así como los autores, continúan utilizando Cursor hoy en día.

¿Por qué? Los autores dicen que es porque la IA hace que la experiencia sea más fácil, lo que a su vez hace que se sienta menos como una tarea ingrata.

Los desarrolladores de software no se preocupan por la IA, incluso con los recientes despidos en el sector tecnológico

Dado el entusiasmo con el que los autores del estudio METR y los participantes del mismo están dispuestos a perdonar a Claude por ralentizarlos, y su uso continuo de la herramienta, está claro que más profesionales de la tecnología ven a la IA más como un colaborador que como una amenaza.

Desafortunadamente, puede haber problemas en el horizonte a medida que la industria tecnológica continúa presenciando despidos vinculados explícitamente a la adopción de IA en grandes empresas.

Este año, Microsoft ya ha despedido a hasta 9.000 empleados, con afirmaciones de que el 40% de los despidos recientes se dirigieron a ingenieros de software porque las tareas de escritura de código se externalizaron a herramientas de IA.

La empresa ha justificado los despidos con beneficios récord que han mantenido su capitalización bursátil justo detrás de la de Nvidia y por delante de la de Apple.

Google es otra gran empresa tecnológica que ha despedido a cientos de trabajadores tras su inversión en la startup de IA Anthropic, aunque no todos los trabajadores despedidos fueron reemplazados por IA.

Otras empresas, como Salesforce e Intel, también han citado un cambio hacia la IA en sus anuncios de despidos. Salesforce ha eliminado 1.000 puestos este año para centrarse en roles de IA, Intel ha reducido su plantilla en 15.000 empleados y IBM planea reemplazar el 30% de sus roles de oficina central con IA para 2030.