코딩은 빨라졌는데 리뷰는 그대로, 병목이 사람으로 옮겨갔다

Yutori의 창립 디자이너 Maximillian Piras는 에이전트 업계가 '측정 문제'를 겪고 있다고 말한다. 토큰은 쓴 만큼 성과로 이어지는지 아무도 제대로 재지 못하고 있고, 그 결과 사람들은 과소비하고 저활용하는 악순환에 빠져 있다는 것이다.

• 과소비-저활용 루프 — Ramp의 표현을 빌려, 지금 패턴은 토큰을 맥싱하다 스스로 절제 모드로 빠지고, FOMO에 다시 끌려 들어오는 악순환이라고 말했다.
• 제임스 와트의 마력 — 와트는 증기기관을 팔기 위해 말이 도는 마방아를 연구해 '마력'이라는 지표를 만들었고, 이 수치는 과학적이지도 정확하지도 않았지만 사람들이 시도해볼 만큼 가치를 납득시켰다고 설명했다.
• 편향된 얼리어답터 — 이 방에 있는 사람들은 이미 에이전트를 굴리는 얼리어답터라 편향된 샘플이며, 여전히 ChatGPT에 복붙만 하는 사람이 대다수라고 지적했다.
• Coinbase 사례 — Coinbase CEO가 최상위 모델을 가장 어려운 작업에만 아껴 쓰도록 기본값을 바꾸자 AI 지출과 토큰 사용량이 분리되기 시작했다고 언급했다.
• 토큰은 출력일 뿐 — 토큰 사용량 자체가 아니라 버그 해결 건수, 지원 요청 종료 건수 같은 결과로 지출을 추적해야 한다고 말했다.
• 코드 리뷰가 병목 — Anthropic도 코딩은 풀었다고 말하면서 코드 리뷰는 아직 풀지 못했다고 인정했으며, 병목이 사람이 diff를 읽는 단계로 옮겨갔다고 진단했다.
• 엔트로피 매트릭스 — 작업 수행 단계의 불확실성과 수락 기준의 불확실성이라는 두 축으로 에이전트에 적합한 작업을 가르는 매트릭스를 제시했다.
• 낮은 불확실성 — 단계 불확실성이 낮으면 굳이 에이전트를 쓸 필요 없이 스크립트를 짜면 된다고 말했다.
• 높은 불확실성 — 단계 불확실성이 너무 높으면 사전학습 분포 밖에 놓여 보상이 희소해져 에이전트에 부적합한 작업이 된다고 설명했다.
• 검증=실행 — 수락 기준의 불확실성이 너무 크면 검증하는 데 드는 비용이 작업 자체를 다시 하는 것과 같아져 토큰 낭비가 된다고 말했다.
• NP형 문제의 스위트스팟 — 두 불확실성이 적당한 중간 지점의 작업은 실행보다 검증이 쉬운 NP형 문제의 형태를 띠며, 이런 작업의 검증 자체도 에이전트로 자동화할 수 있다고 말했다.

그가 한 말

우리 자신의 토큰 사용량이 과연 아직 에이전트를 써본 적 없는 모든 사람들을 대표하는 것일까요?So, when we think about our own token usage, uh is it really representative of all the people out there who have never touched an agent yet?4분 58초

채택을 가로막는 큰 장벽 중 하나는 말(馬)로 사고하는 사람들에게 이 차갑고 낯선 기계를 어떻게 받아들이게 할 것인가 하는 인지 부조화였습니다one of the big barriers to adopting it would be this cognitive dissonance of trying to tell people who kind of think in horses, how do you adapt to this to this uh cold machine6분 34초

문제는 물론 우리 모두가 수천 개의 풀 리퀘스트에 서서히 죽어가고 있다는 것입니다.the problem of course is that we're all kind of dying by a thousand pull requests.11분 40초

코딩을 해결했다고 주장하는 팀원이 있는 Anthropic조차도 코드 리뷰는 해결하지 못했다고 인정했습니다.even Anthropic who has uh, some people on the team have claimed have solved coding, uh, they have also admitted that they've not solved code review.11분 44초

이해관계 · 발화자는 컴퓨터 사용 에이전트 모델을 만드는 Yutori의 창립 디자이너로, 자사가 다루는 제품군(에이전트)의 가치를 주장하는 입장이다.

덧붙임 — 여기에 하나 덧붙이면, '마력'이 정확하지 않아도 통했던 이유는 말을 사랑하는 사람들의 감정적 저항을 넘어설 최소한의 계산 근거였기 때문이다. 에이전트 업계에 필요한 것도 완벽한 지표가 아니라, 사용자가 '해볼 만하다'고 판단할 정도의 대략적인 ROI 감각일 수 있다.</note_ko> </invoke>

오늘 밤 해볼 수 있는 한 가지
이번 주에 돌린 에이전트 작업 중 하나를 골라, 소요된 토큰(또는 비용)과 그것으로 해결된 구체적 결과(버그 수, 완료된 요청 수 등)를 한 줄로 짝지어 적어보기.