Zapier 벤치마크 최고 성적 40%, 그런데 작업의 80%는 AI가 아니라 코드가 맡아야 한다

Zapier CEO Wade Foster는 자사 벤치마크 AutomationBench에서 최신 모델 Astra(GPT-6)가 기록한 성공률이 40%에 불과하다고 밝혔다. 그는 에이전트가 처리하는 작업의 대부분은 AI 추론이 아니라 결정론적 코드로 처리하는 게 맞다고 주장하며, 노코드 시대가 끝나고 "노코드가 곧 코드"인 시대가 왔다고 말한다.

• 데일리 드라이버 전환 — Foster는 지난 18개월 사이 사람들이 Claude Code, Cursor, ChatGPT 같은 하나의 '데일리 드라이버' 툴에 정착했고, Zapier MCP처럼 그 안으로 컨텍스트를 가져다주는 헤드리스 도구가 승리하는 전략이라고 말한다.
• AutomationBench 40% — 약 600개의 마케팅·세일즈·HR·운영 지식노동 과제로 구성된 AutomationBench에서 지난주 나온 Astra(GPT-6)가 40% 정확도로 신기록을 세웠지만 이는 여전히 포화되지 않은 벤치마크라고 설명한다.
• 비용 대비 성능 — Gemini 3.7은 Astra보다 정확도는 낮지만 훨씬 저렴한 비용으로 작업을 수행해, 기업들은 작업별로 비용과 성능을 저울질해 모델을 선택해야 한다고 말한다.
• 80%는 코드가 맡아야 — 자사 고객의 에이전트 사용 데이터를 보면 사람들이 AI에 맡기는 작업의 80%는 사실 결정론적 코드로 처리하는 편이 낫다고 밝힌다.
• 5개 에이전트 합의 — 이메일 문제 해결 시스템에서 독립된 5개의 에이전트를 동시에 돌려 5개 중 4개가 동의하면 그것이 실제 원인일 가능성이 높다는 것을 발견했다고 말한다.
• 가격 모델의 종말 — 좌석 기반(seat-based) 소프트웨어 가격 모델은 죽어가고 있으며, 지능이 제품의 핵심이 되면서 사용량 기반 또는 성과 기반 가격으로 이동할 수밖에 없다고 주장한다.
• 토큰 지출 3만 달러 — Zapier의 일부 엔지니어는 월 3만 달러를 토큰에 지출하고 있으며, 회사는 아직 개인별 예산은 두지 않았지만 지출을 스스로 확인할 수 있는 대시보드를 도입했다고 밝힌다.
• 인재상 재편 — 거의 800명 규모 조직에서 관리자 계층은 얇아졌지만 여전히 관리자는 필요하며, 데이터 분석가 수는 줄었어도 남은 인력은 더 고부가가치 업무를 맡게 됐다고 설명한다.
• AI 전환 책임자 — AI 전환의 책임을 CPO(최고인사책임자) Brandon에게 맡긴 이유는 그 역할 자체 때문이 아니라 당시 조직의 병목이 채용·재교육 같은 '사람 문제'로 옮겨갔기 때문이라고 밝힌다.
• 기본값은 공개 소통 — Slack 소통을 기본적으로 공개 채널로 유도한 결과 AI 에이전트가 더 많은 맥락에 접근하게 되면서 성능이 좋아졌다고 말한다.
• panggram 점수와 저품질 — AI로 쓴 글의 panggram(AI 탐지) 점수가 높아도 문제 삼지 않지만, 진짜 문제는 저품질 커뮤니케이션이며 보낸 내용은 스스로 책임지고 설명할 수 있어야 한다고 강조한다.

그가 한 말

아스트라가 나왔죠, GPT6요. 그게 이 모델에서 새로운 최고 성능인데, 작업의 약 40%를 정확하게 수행합니다. 지금까지 나온 것 중 가장 높은 수치예요.Astra came out GPT6. It's the new state-of-the-art on that model. It performs about 40% of the tasks accurately which is the highest that there is.10분 29초

노코드를 만든다는 개념 자체가 제겐 낡은 것처럼 느껴져요. 이제는 '노코드가 곧 코드다'라는 새로운 관점이죠.The idea of building a no code it feels antiquated to me. It's like the new co no code is code.17분 57초

우리 자체 데이터와 고객들의 에이전트형 제품 사용을 살펴보면, 사람들이 에이전트에게 시키는 작업의 대다수, 실제로 80%는 사실 구식의 결정론적 코드를 써야 하는 경우입니다.When we look across like even our own a like in customers usage of agentic products the vast majority of what people are using an agent for 80% in fact they probably should be using actually old-fashioned deterministic code.14분 54초

대부분의 사람들은 자기만의 '데일리 드라이버' AI 도구를 하나 정해서 쓰게 된 것 같습니다.most folks seem to have adopted their own daily AI driver tool.7분 0초

이해관계 · 발화자 Wade Foster는 Zapier의 공동창업자 겸 CEO로, 본문에서 언급된 Zapier MCP·AutomationBench 등은 자사 제품이다.

덧붙임 — 여기에 하나 덧붙이면, 최고 성능 모델의 벤치마크 성공률이 40%에 그친다는 사실과 "작업의 80%는 코드가 맡아야 한다"는 발언은 서로 같은 현실을 가리킨다 — 지금 시점의 AI 자동화는 모델의 추론력보다 무엇을 코드로 고정하고 무엇을 AI에 맡길지 설계하는 엔지니어링이 더 중요하다는 뜻이다.

오늘 밤 해볼 수 있는 한 가지
본인이 자주 쓰는 워크플로 하나를 골라, AI에게 맡긴 단계 중 실제로는 규칙이 고정된(결정론적) 부분과 판단이 필요한 부분을 나눠 표로 적어보고, 고정 가능한 부분을 Zapier 같은 도구의 스크립트나 조건문으로 바꿀 수 있는지 30분 안에 점검해본다.