Опытные разработчики программного обеспечения работают на 19% медленнее при использовании ИИ, показывает исследование

Недавнее исследование, проведенное некоммерческой организацией METR, вызвало много обсуждений, поскольку оно выявило контринтуитивную деталь — когда опытные разработчики программного обеспечения должны были работать с инструментами ИИ в знакомых кодовых базах, они выполняли свои задачи на 19% медленнее. 

Исследование было проведено в начале этого года на группе разработчиков с многолетним опытом. Группа преимущественно использовала Cursor в качестве инструмента ИИ для помощи в выполнении задач в проектах с открытым исходным кодом, которые они хорошо знали.

До исследования разработчики с открытым исходным кодом полагали, что работа с ИИ поможет им делать вещи быстрее, многие оценивали, что это сократит время выполнения задач на 24%.

Даже после завершения задач с помощью ИИ разработчики были убеждены, что сократили время на завершение на 20%.

Однако исследование показало противоположные результаты; сотрудничество с ИИ увеличило время выполнения задач на 19%.

Мы все еще многое не знаем об ИИ

Результаты вызвали удивление среди разработчиков в X, но ведущие авторы исследования Джоэл Беккер и Нейт Раш были шокированы ими. Раш ожидал «ускорения в 2 раза, что было очевидно» и записал это до начала эксперимента.

До этого широко бытовало мнение, что ИИ делает человеческих инженеров гораздо более продуктивными, и несколько компаний существенно инвестировали в компании, продающие продукты ИИ для помощи в разработке программного обеспечения, основываясь на этих прогнозах.

Однако, хотя исследование выделило ложное предположение, оно не изменило общий страх перед тем, что ИИ отнимет человеческие рабочие места. На самом деле, сдвиг уже начался, даже в программировании, ожидается, что ИИ заменит позиции для начинающих кодеров.

Дарио Амодей, генеральный директор Anthropic, является одним из тех, кто разделяет это мнение и считает, что это может произойти в течение следующих одного-пяти лет.

В отличие от предыдущих исследований, которые поддерживали веру в то, что ИИ ускорит работу кодеров и разработчиков программного обеспечения, поскольку они сообщали о значительных выигрышах, исследование METR показало, что они не применимы ко всем сценариям разработки программного обеспечения.

В частности, исследование смогло доказать, что опытные разработчики, имевшие глубокое знание особенностей и требований больших, устоявшихся кодовых баз с открытым исходным кодом, пострадали больше всего.

Авторы исследования также указали, что другие исследования, как известно, полагаются на бенчмарки разработки программного обеспечения для ИИ, и иногда они искажают реальные задачи.

Что касается причин замедления работы кодеров, были отмечены такие вещи, как необходимость тратить время на просмотр и исправление того, что предлагали модели ИИ.

Авторы не ожидают, что это замедление будет применяться в других сценариях, и, несмотря на результаты, большинство участников исследования, а также авторы исследования, продолжают использовать Cursor сегодня.

Почему? Авторы говорят, что это потому, что ИИ делает опыт легче, что, в свою очередь, делает его менее похожим на рутинную работу.

Разработчики программного обеспечения не беспокоятся об ИИ, несмотря на недавние увольнения в технологической отрасли

Учитывая, насколько энтузиасты авторы исследования METR и участники исследования готовы простить Claude за то, что он замедлил их работу, и их продолжающееся использование инструмента, ясно, что больше технологических специалистов воспринимают ИИ скорее как помощника, чем как угрозу.

К сожалению, впереди могут быть проблемы, поскольку технологическая отрасль продолжает свидетельствовать увольнения, явно связанные с внедрением ИИ в крупных компаниях.

В этом году Microsoft уже уволила до 9000 сотрудников, с утверждениями, что 40% недавних увольнений затронули инженеров-программистов, потому что задачи по написанию кода были переданы инструментам ИИ.

Компания оправдала увольнения рекордной прибылью, которая держала ее рыночную капитализацию чуть позади Nvidia и опережающую Apple.

Google — еще одна крупная технологическая компания, которая уволила сотни работников после своих инвестиций в стартап Anthropic, хотя не все уволенные работники были заменены ИИ.

Другие компании, такие как Salesforce и Intel, также указали на сдвиг в сторону ИИ в объявлениях о сокращениях. Salesforce сократила 1000 рабочих мест в этом году, чтобы сосредоточиться на ролях, связанных с ИИ, Intel сократила свой штат на 15 000 человек, а IBM планирует заменить 30% своих ролей в бэк-офисе ИИ к 2030 году.