PR 72줄, 처리량 7.7%↑…AI써도 2배 속도 낸 곳은 없었다

DX가 약 20만 명 엔지니어 데이터를 분석한 결과, 배포 빈도는 오르는데 변경 실패율은 극도로 변동성이 커졌고, 코드 유지보수성은 좋아졌지만 정작 개발자의 변경 확신은 떨어졌다. Justin Reock는 코드 생성이 애초에 병목이 아니었다며, AI 투입에도 PR 처리량 중앙값 증가가 7.7%에 그친 이유를 데이터로 짚는다.

• 배포 빈도 상승 — Dora 배포 빈도 지표는 꾸준히 증가하다 최근 다소 둔화됐다.
• 지역별 편차 — 북미는 계속 상승세인 반면 유럽은 지난 분기 배포 빈도가 오히려 후퇴했다.
• 체감 속도 정체 — 1년간 투자에도 불구하고 개발자들의 체감 전달 속도는 약 4.5%만 올라 거의 제자리였다.
• METR 연구 비교 — METR의 16명 연구에서는 실제 생산성이 19% 떨어졌는데 체감 생산성은 20% 올라 40%p 격차가 났다.
• 실패율 변동성 — 일부 기업은 변경 실패율이 2%p 올랐는데, 업계 기준선이 약 4%라 이는 결함을 50% 더 많이 출시한다는 뜻이다.
• 유지보수성 vs 확신 — 코드 유지보수성 인식은 약 4% 올랐지만 변경에 대한 확신은 6% 떨어졌다.
• PR 크기 급증 — 같은 1년 사이 PR 평균 줄 수가 44줄에서 72줄로 늘었다.
• 점진적 배포 악화 — 점진적 전달이 쉽다는 응답은 10% 하락해 가장 크게 나빠진 개발자 경험 지표 중 하나가 됐다.
• 주니어 vs 시니어 — 주니어가 AI를 가장 많이 쓰지만 시니어는 더 적은 토큰으로 비슷한 시간을 절약한다.
• 측정 프레임워크 — DX는 활용(utilization)·영향(impact)·비용(cost) 3단계로 AI 효과를 측정하라고 제안한다.
• 처리량 상한선 — 2024년 11월~2025년 2월 연구에서 PR 처리량 중앙값 증가는 7.7%, 평균 13%였고 상위 성과자도 70%대에 그쳐 2배를 넘긴 곳은 없었다.
• 모건스탠리 사례 — 레거시 코드 해석 에이전트 DevGen으로 연간 약 30만 시간을 절감하고 있다.
• Zapier·Spotify 사례 — Zapier는 엔지니어 1인당 약 15% 추가 가치를 창출해 오히려 채용을 늘렸고, Spotify는 SRE용 인시던트 에이전트를 구축했다.

그가 한 말

음, 마음의 준비를 하시죠. 다들 앉아 계시니 다행이네요. 지난 기간 동안 품질에 미친 영향은 매우 변동성이 큽니다.Uh let me prepare you. Most of you are sitting down. It's very volatile the impact that we've seen on quality over this period of time.4분 37초

저는 결과물을 덜 신뢰하게 됐습니다. 1년 전보다 지금 뭔가를 망가뜨릴까봐 더 두렵습니다.I trust the outputs less. I'm more afraid now of breaking things than I was a year ago.6분 35초

엔지니어들이 모델로부터 100% 정확한 코드를 즉시 받는다 해도(실제로는 그렇지 않지만), 전체 가치 흐름의 많아야 14~16% 정도만 해결하는 셈입니다.Even if engineers are getting like 100% accurate instant code coming from the models, which they are not, you would still only be attacking anywhere from maybe 14 to 16% of the overall value stream.14분 52초

2024년 11월부터 올해 2월까지 진행한 연구에서 속도 지표의 중앙값 증가는 약 7.7%, 평균은 13%에 불과했고, 최상위 성과자들도 70% 수준이었습니다. 2배, 5배, 10배에 도달한 곳은 아무도 없었습니다.our median increase in the study that we did from November to to 2024 to February this year only found about a median 7.7% increase in this velocity metric, a 13% average, but even our top performers were in the 70% range. Nobody hit 2x, nobody hit 5x, nobody hit 10x.15분 12초

이해관계 · 발화자는 해당 데이터와 측정 프레임워크를 만든 DX(Deputy CTO)의 임원으로, 자사 플랫폼과 보고서를 소개한다.

덧붙임 — 여기에 하나 덧붙이면, PR이 커지고 확신이 줄었다는 두 지표는 결국 같은 이야기다—AI가 코드를 빨리 뱉어낼수록 리뷰와 롤백 부담은 사람에게 그대로 넘어간다. 코드 생성이 전체 가치사슬의 14~16%에 불과하다는 발언은, 올해 조직들이 측정 대상을 '생성 속도'에서 '배포 이후 전체 흐름'으로 옮겨야 한다는 신호로 읽힌다.

오늘 밤 해볼 수 있는 한 가지
오늘 밤 자기 팀의 최근 PR 10개를 열어 평균 줄 수와 리뷰 소요 시간을 직접 세어보고, 1년 전 PR과 비교해 크기가 얼마나 늘었는지 확인해본다.