경험 많은 소프트웨어 개발자가 AI를 사용할 때 작업 속도가 19% 느려진다는 연구 결과

AI 연구 비영리단체인 METR가 최근 수행한 연구는 직관에 반하는 한 가지 사실을 공개하며 많은 논의를 불러일으켰습니다. 즉, 숙련된 소프트웨어 개발자들이 익숙한 코드베이스에서 작업할 때 AI 도구를 사용하자 작업 완료 시간이 19% 더 느려졌다는 것입니다. 

이 연구는 올해 초 수년간의 경력을 가진 개발자 그룹을 대상으로 진행되었습니다. 이 그룹은 주로 오픈소스 프로젝트에서 잘 알고 있는 작업에 AI 도구로 Cursor를 사용했습니다.

연구 이전에 오픈소스 개발자들은 AI와 함께 작업하면 작업을 더 빠르게 완료할 수 있다고 믿었으며, 많은 사람이 작업 완료 시간을 24% 단축할 것으로 추정했습니다.

AI를 사용하여 작업을 완료한 후에도 개발자들은 작업 완료 시간을 20% 단축했다고 확신했습니다.

그러나 연구 결과는 정반대의 결과를 보고했습니다. AI와 협업하는 것이 작업 완료 시간을 19% 증가시켰습니다.

우리는 AI에 대해 아직 알지 못하는 것이 많습니다

이 결과는 X(구 트위터)에서 개발자들 사이에서 놀라움을 자아냈지만, 연구의 주요 저자인 Joel Becker와 Nate Rush는 이 결과에 충격을 받았습니다. Rush는 실험 시작 전에 “2배의 속도 향상이 있을 것”이라고 예상하며 이를 기록해 두었습니다.

지금까지 AI가 인간 엔지니어의 생산성을 크게 높인다는 믿음이 널리 퍼져 있었고, 여러 회사는 이러한 전망에 기반하여 소프트웨어 개발을 돕는 AI 제품을 판매하는 기업에 상당한 투자를 했습니다.

그러나 이 연구가 잘못된 가설을 드러냈음에도 불구하고, AI가 인간의 일자리를 빼앗을 것이라는 일반적인 두려움은 바뀌지 않았습니다. 실제로 이 변화는 이미 프로그래밍 경력 분야에서도 시작되었으며, AI가 초급 코딩 직위를 대체할 것으로 예상됩니다.

앤토프릭(Anthropic)의 CEO인 다리오 아모데이도 이러한 견해를 공유하며, 이것이 다음 1~5년 내에 발생할 수 있다고 믿는다.

코더와 소프트웨어 개발자가 상당한 이득을 보고 AI가 작업을 빠르게 한다고 믿게 했던 이전 연구들과 달리, METR 연구는 이러한 결과가 모든 소프트웨어 개발 시나리오에 적용되지 않음을 보여주었습니다.

특히 이 연구는 대규모 기존 오픈소스 코드베이스의 특성과 요구사항에 대한 친밀한 지식을 가진 숙련된 개발자들이 가장 큰 영향을 받았음을 입증했습니다.

연구 저자들은 또한 다른 연구들이 AI를 위한 소프트웨어 개발 벤치마크에 의존하며 때로는 실제 작업을 잘못 표현한다는 점을 지적했습니다.

코더들이 더 느리게 작업하게 된 원인에 대해서는, AI 모델이 제안한 내용을 검토하고 수정하는 데 시간을 써야 했던 것 등이 지적되었습니다.

저자들은 이러한 지연이 다른 시나리오에는 적용되지 않을 것으로 예상하며, 결과에도 불구하고 연구 참가자의 대다수와 연구 저자들은 여전히 Cursor를 사용하고 있습니다.

왜일까요? 저자들은 AI가 경험을 더 쉽게 만들어주며, 이로 인해 작업이 덜 번거롭게 느껴지기 때문이라고 말합니다.

소프트웨어 개발자들은 AI를 걱정하지 않습니다. 최근 기술 분야 해고에도 불구하고

METR 연구의 저자와 연구 참여자들이 클로드(Claude)가 자신을 늦게 만들었다는 점을 용서하려는 열의와 도구 사용 지속을 고려할 때, 더 많은 기술 전문가들이 AI를 위협이 아닌 협력자로 보고 있음이 분명하다.

불행히도 주요 기업에서 AI 도입과 명시적으로 연결된 해고가 계속되면서 미래에 문제가 생길 수 있습니다.

올해 마이크로소프트는 이미 최대 9,000명의 직원을 해고했으며, 최근 해고된 직원 중 40%가 코드 작성 작업이 AI 도위로 아웃소싱되었기 때문에 소프트웨어 엔지니어를 대상으로 했다고 주장했습니다.

회사는 시장 시가총액이 엔비디아의 바로 뒤이고 애플의 앞을 서는 기록적인 이익을 바탕으로 해고를 정당화했습니다.

구글은 AI 스타트업 앤트로픽에 투자한 후 수백 명의 직원을 해고한 또 다른 주요 기술 기업이지만, 해고된 모든 직원이 AI로 대체된 것은 아닙니다.

세일즈포스(Salesforce)와 인텔(Intel)과 같은 다른 기업들도 해고 발표에서 AI로의 전환을 언급했다. 세일즈포스는 AI 역할에 집중하기 위해 올해 1,000명을 감원했으며, 인텔은 직원 수를 15,000명 줄였고, IBM은 2030년까지 백오피스 역할의 30%를 AI로 대체할 계획이다.