토큰마다 30번 재샘플링해 보니, 괄호 하나가 정답을 갈랐다

원본 · How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning
Cognitive Revolution · Eric Bigelow · Goodfire · 2026-10-10 업로드 · 121분

한국어·English

Goodfire의 Eric Bigelow는 모델의 '결정'이 내부 어딘가가 아니라 토큰을 샘플링하는 순간에 일어난다고 본다. 추론은 모델이 자기가 뽑은 토큰에서 in-context learning을 하는 과정이고, 결과 분포는 'kWh (' 의 여는 괄호 같은 임의의 토큰 하나에서 갑자기 무너질 수 있다. 그래서 chain of thought를 읽어도 왜 그렇게 정했는지 알 수 없는 일이 생긴다.

실험 설계 — Forking paths 연구는 GPT 3.5 계열 모델의 추론 chain 모든 토큰에서 약 30개 rollout을 다시 뽑아 최종 답의 분포를 비교했다.
급변 지점 — 추론 도중 50% 대 30%이던 답 분포가 어느 지점에서 갑자기 바뀌고, 한 답으로 무너지기도 한다.
괄호 하나 — 'kilowatt hours (kWh' 에서 여는 괄호가 나오지 않고 다른 단어가 나오면 최종 답이 달라지는 사례가 논문에 있다.
결정의 위치 — Bigelow는 매 순간 모델이 말할 내용이 다음 토큰을 뽑는 동전 던지기로 정해지고, 결정은 샘플링 중에 일어난다고 본다.
ICL의 정의 — in-context learning은 few-shot에 그치지 않고, 가중치 학습이 아닌 방식으로 모델이 행동을 적응시키는 모든 것이라고 그는 정의한다.
집계의 착시 — 큰 데이터셋의 평균 곡선은 매끄러워 보여도 개별 사례에서는 한 토큰이나 한 문장 만에 급변할 수 있다.
지속 학습 — 사람마다 fine-tuning한 모델보다 컨텍스트, 하네스, 메모리가 더 쓰일 가능성이 높다고 그는 본다.
모델 선택 — 해석 연구가 의미 있어지는 규모는 7~8B 파라미터 이상이고, 8B 규모의 Llama로도 이야기 속 신념 갱신을 관찰했다.
Kimmy K3 — Kimmy K3는 코딩 능력이 임계점을 넘은 모델이라 작은 모델에서 안 보이는 reward hacking이 나타난다고 한다.
중국 모델 의존 — 최상위 규모에서는 지금 중국 모델에 의존할 수밖에 없지만, 35B급에서는 Qwen을 Gemma로 바꿔도 크게 늦어지지 않는다고 한다.
추론 모델의 변화 — 추론 모델은 가능성을 전부 나열한 '토큰 수프'를 만든 뒤 하나를 골라내며, R1은 한 chain에서 wait를 50번 넘게 쓰기도 한다.
chain 변질 — 결과만 보상하는 RL에서는 chain of thought를 사람이 읽기 쉽게 유지할 유인이 없고, 그는 monitoring에 낙관적이던 생각을 최근 1년 사이 바꿨다.
불확실성 노출 — 급변이든 완만한 변화든 분기점을 사용자에게 보여 주는 인터페이스가 필요하다고 그는 말한다.

그가 한 말

딥시크 R1의 출력을 보면 하나의 추론 사슬 안에서 'wait'을 50번 넘게 말합니다. 문제 하나를 푸는 동안 깨달음이 그렇게 많을 수는 없죠.if you look at like deepseek model out like R1's outputs, they'll say wait 50 times or more in a single reasoning chain, that's a lot of epiphanies to have when you're working through one problem.43분 28초

추론 모델이 하는 일에 '추론'이라는 이름은 거의 잘못된 명칭이라고 생각합니다.I think reasoning is almost like a misnomer for what reasoning models are doing.44분 46초

그 모델은 작은 규모에서는 전혀 볼 수 없는 미친 수준의 보상 해킹 행동을 보입니다.it exhibits this you know reward hacking like crazy behavior that you just don't see at smaller scales52분 39초

이 문제에 대한 제 생각은 지난 1년쯤 사이 크게 바뀌었습니다. 예전에는 사고 사슬 모니터링이 유망하다고 아주 낙관했거든요.my thinking on this has shifted pretty pretty dramatically in the last like year or so where I used to be very bullish around like chain of thought monitoring being promising94분 57초

이해관계 · Bigelow는 Goodfire 소속이고, 에피소드에서 Goodfire의 연구 에이전트 Silico 사용법을 소개했다.

덧붙임 — 여기에 하나 덧붙이면, '결정은 샘플링에서 일어난다'는 말은 chain of thought를 읽어도 이유가 안 보이는 현상의 한 가지 설명이지만, Bigelow 본인도 추론 모델에서는 분포 변화가 더 매끄럽다고 말해서 이 틀이 지금 모델에 얼마나 맞는지는 열려 있다. 그의 실험이 GPT 3.5 시절 모델에서 나왔다는 점도 같이 읽어야 한다.

오늘 밤 해볼 수 있는 한 가지
같은 프롬프트로 같은 모델에서 답을 20번 이상 샘플링해 최종 답이 갈리는 질문을 하나 고르고, 추론 중간 지점에서 이어 쓰기를 여러 번 돌려 답 분포가 어느 문장에서 바뀌는지 확인해 보자.