브라우저 에이전트, 사전 작업 1회면 턴수 급감한다

Sebastian Sosa가 브라우저 에이전트의 "연속 학습" 방법을 여러 개 실험한 결과, 무작정 이전 세션을 이어가거나 전문가 시연을 통째로 넣는 방식은 오히려 성능을 떨어뜨렸다. 반면 사전 작업 하나와 압축된 레시피를 조합했을 때 턴 수와 지연시간 모두 최적치를 기록했다.

• 발표 배경 — Sosa는 open cloud and chrome이 cloud and chrome 대비 어떻게 작동하는지, 그리고 code mode와 recordings라는 새 기능이 성능에 어떤 영향을 주는지 검증하려 했다고 밝혔다.
• 베이스라인 — cloud and chrome은 턴 수가 적지만 지연시간이 높았고, open cloud and chrome은 지연시간이 낮지만 턴 수가 더 많았으며 이 차이는 툴 호출당 약 0.2초에 불과해 노이즈 수준이라고 설명했다.
• 원시 자료 저장 실패 — 이전 cloud code 트레이스나 전문가 시연 녹화를 저장소에 그대로 저장해두는 방식(2A, 2B)은 베이스라인보다 오히려 턴 수와 지연시간이 늘어나는 역효과를 냈다.
• 압축 분석의 효과 — 같은 정보를 하나의 분석 아티팩트로 압축해 제공하자(3A, 3B) 턴 수와 지연시간이 유의미하게 줄었다.
• 세션 재개의 함정 — 이전 4개 과제 경험을 모두 내재화한 뒤 세션을 재개하는 방식(4A, 4B)은 턴 수는 줄었지만 컨텍스트가 커지면서 지연시간이 급증했다.
• 프롬프트 레시피 — 경험적 지식과 전문가 지식을 압축해 프롬프트에 직접 얹고 웹사이트별로 레시피를 동적으로 라우팅하는 방식(5A, 5B)은 턴 수에서 의미 있는 개선을 보였다.
• 단일 사전 과제 가설 — 복잡한 웹사이트가 아니라면 여러 번의 워밍업 과제 대신 단 하나의 사전 과제만으로도 탐색 능력 대부분을 얻을 수 있다는 가설이 6A에서 입증됐다.
• 최적 조합 — 동적 라우팅 레시피와 단일 사전 과제를 결합한 6B가 전체 실험 중 최고의 지연시간과 최저 턴 수를 동시에 기록했다.
• recordings 비교 — open cloud and chrome의 recordings는 하나의 스킬로 축약하는 Anthropic의 cloud cowork recordings보다 유의미하게 더 나은 성능을 보였다.
• 멀티모달 입력 형식 — recordings는 스크린샷, 동작 설명, 사용자 내레이션을 하나의 타임라인으로 묶은 형태이며 영상이 아니라 저해상도 이미지 시퀀스로 저장된다고 밝혔다.
• 실험 규모의 한계 — 실험은 개인 Cloud Max 구독으로 진행돼 샘플 수가 많지 않았고, real benchmark의 단순한 두 웹사이트에 국한된 탐색적 결과라고 스스로 밝혔다.

그가 한 말

발견된 사실은 이것들이 오히려 기준선보다 성능이 떨어진다는 것이었습니다. 과제당 턴 수 측면에서 후퇴했습니다.what was discovered is that these actually regress from the baseline. Um where well they they regress they regress in terms of they regress in in ter in terms of turns per task20분 0초

3A에서는 과제당 턴 수가 크게 감소했고, 3B에서는 턴 수와 지연시간 모두 크게 감소했습니다.turns per task actually decreases for um significantly decreases is for um for 3A but and also significantly decreases both on turns per task and latency for 3B22분 49초

과제당 턴 수는 줄었지만 지연시간은 급증했습니다. 이는 컨텍스트가 많아지면 결과 생성이 느려지기 때문입니다.while turns per task did decrease, latency like skyrocketed. And this is just due to the fact that higher context is just like slows down the results.25분 14초

그 속도 향상은 툴 호출당 약 0.2초 정도로, 실제 작업 범위에서 보면 미미한 수준입니다. 그래서 이건 그냥 노이즈일 뿐입니다.that speed up is like 0.2 seconds per tool call which is kind of marginal when you're looking at this the scope of an actual task. So this is really just noise.19분 20초

이해관계 · ""

덧붙임 — 여기에 하나 덧붙이면, 이 결과가 뒤집는 통념은 "경험이 많을수록, 정보가 풍부할수록 에이전트가 좋아진다"는 직관이다. 실제로는 컨텍스트에 무엇을, 얼마나 압축해서 넣느냐가 관건이었고, 단순한 웹사이트 두 곳에 국한된 소규모 실험이라는 점은 일반화에 신중해야 할 근거다.

오늘 밤 해볼 수 있는 한 가지
본인이 반복 실행하는 브라우저 자동화 작업이 있다면, 이전 세션 전체를 재개하는 대신 사전 작업 1회 분량만 컨텍스트에 남기고 나머지는 압축된 요약(레시피) 형태로 프롬프트에 얹어 턴 수와 응답 속도가 어떻게 달라지는지 비교해본다.