확산 모델이 텍스트 생성 10배 빠르다, 스탠퍼드 교수의 반란

원본 · Why Diffusion Will Win AI Inference with Inception Co-Founder and CEO Stefano Ermon
No Priors · Stefano Ermon · Inception (Stanford professor) · 2026-09-18 업로드 · 38분

한국어·English

스탠퍼드 교수 출신 Stefano Ermon은 이미지·비디오의 전유물이던 확산(diffusion) 모델을 텍스트와 코드 생성에 적용해 Inception을 창업했다. 그는 자기회귀(autoregressive) 모델이 추론 단계에서 근본적으로 GPU를 비효율적으로 쓴다고 지적하며, 확산 기반 언어모델이 다음 시대 추론 경쟁의 승부처가 될 것이라고 주장한다.

연구 배경 — Ermon은 2014년 스탠퍼드 조교수로 시작해 처음엔 MNIST 숫자 이미지를 흐릿하게 생성하는 수준의 생성모델을 연구했다.
확산 모델의 기원 — 2019년 박사과정 학생과 함께 이미지를 디노이즈하는 신경망을 훈련하는 스코어 기반 생성모델을 개발했고, 이것이 오늘날 확산 모델의 토대가 됐다.
2024년 돌파구 — GPT-2 규모(10억 파라미터 미만)에서 확산 모델이 자기회귀 모델과 동일한 perplexity를 내면서도 텍스트를 약 10배 빠르게 생성한다는 것을 처음 입증한 논문을 2024년 발표했다.
창업 계기 — 이 결과에 확신을 얻어 상업적 규모의 확산 기반 언어모델을 만들기 위해 Inception을 창업했다.
추론 시 구조적 우위 — 자기회귀 모델은 10번째 토큰을 생성하려면 그 이전 토큰을 모두 순차 생성해야 해 메모리 병목이 심한 반면, 확산 모델은 여러 토큰을 동시에 처리해 GPU 연산 특성에 훨씬 잘 맞는다고 설명했다.
이산 데이터로의 확장 — 연속적인 픽셀과 달리 두 단어 사이에는 보간할 중간값이 없어, 이산 공간에 확산 개념을 적용하려면 별도의 R&D와 새로운 이론이 필요했다고 밝혔다.
Mercury 모델 성능 — Inception의 Mercury 모델은 OpenAI의 mini·nano, 그리고 haiku·flash급 속도 최적화 모델들과 벤치마크상 대등한 품질을 내면서 훨씬 빠르다고 주장했다.
회사 현황 — 창업 2년 차, 약 50명 규모이며 VLM이나 SGLang 위에서 돌릴 수 없어 자체 서빙 엔진을 처음부터 구축해야 했다고 말했다.
실사용 고객 사례 — 음성 에이전트 기업 OpenCall은 기존에 Cerebras 커스텀 칩으로 자기회귀 LLM을 구동했지만, Mercury로 전환해 엔비디아 GPU에서도 동일한 속도와 더 낮은 비용, 더 높은 가용성을 확보했다고 소개했다.
압축과 구조 학습 — 확산 모델이든 자기회귀 모델이든 결국 데이터를 압축하는 방식으로 구조를 학습하는 것이며, GPT-2 규모 실험에서 두 방식이 동일한 perplexity(압축 수준)에 도달했다고 설명했다.
제어 용이성 — 자기회귀 모델은 객체 생성을 끝까지 마쳐야 제약 조건 충족 여부를 평가할 수 있지만, 확산 모델은 생성 초반부터 외부 보상함수 방향으로 점진적으로 조정할 수 있어 통제가 더 쉽다고 밝혔다.
데이터 효율성 가설 — 디노이징 학습이 사실상 노이즈를 여러 번 다르게 준 데이터 증강과 같아서, 확산 모델이 자기회귀 모델보다 데이터 효율이 더 높다는 학계 증거가 있다고 언급했다.
향후 워크로드 전망 — OpenRouter의 태스크 분류를 참고해 추정한 결과, 지연시간이 매우 중요한 워크로드가 전체의 20~30%에 이를 것으로 본다고 밝혔다.

그가 한 말

우리는 자기회귀 모델보다 텍스트를 약 10배 더 빠르게 생성할 수 있었습니다.We were able to generate text like 10x faster compared to the autogressive model.5분 28초

열 번째 토큰을 생성하려면 그 앞에 오는 모든 것을 먼저 생성해야 합니다.You cannot generate the 10th token until you've generated everything that comes before it.8분 47초

벤치마크를 보면 우리 Mercury 모델은 OpenAI의 하이쿠, 플래시, 미니/나노 모델과 동등한 수준이면서 훨씬 더 빠릅니다.Our Mercury models are on par with the haiku models, flash models, mini nano models from OpenAI if you look at benchmarks uh while being significantly faster.12분 21초

학습 규모나 모델 크기, 연산량 같은 것에 대해서는 많이 공개할 수 없습니다. 일종의 영업비밀이라서요.We are not able to share much about the the the the training uh the size of the models or the flops or all of that it's kind of like a trade secret30분 36초

이해관계 · 발화자 Stefano Ermon은 자신이 공동창업하고 CEO를 맡은 Inception과 그 Mercury 모델을 소개·홍보하는 입장에서 인터뷰에 응했다.

덧붙임 — 여기에 하나 덧붙이면, 확산 모델의 '속도' 우위는 지금까지는 GPT-2급 소규모 실험과 지연시간에 민감한 음성 에이전트 같은 특정 워크로드에서만 검증된 것이고, 프런티어급 지능 경쟁에서도 유지될지는 Ermon 스스로도 "아직 모른다"고 말한 열린 질문이다. 자기회귀 모델 진영이 스케일과 자본에서 압도적으로 앞선 상황에서, 아키텍처 자체의 우위만으로 David가 Goliath를 이길 수 있을지는 서빙 엔진·post-training 스택 같은 비공개 IP의 실전 완성도에 달려 있어 보인다.

오늘 밤 해볼 수 있는 한 가지
Inception의 Mercury 모델을 OpenAI 호환 API로 직접 호출해, 자신이 평소 쓰던 자기회귀 모델 대비 같은 프롬프트에서 응답 속도(토큰/초)를 체감 비교해본다.