news.juniverse.app오늘 호 · 특집 · 아카이브 · 릴리스 · 트렌딩 · 피드
릴리스
vllm-project/vllm · 15건
claude-code · codex · ollama · vllm · transformers · open-webui · openai-agents-python · gemini-cli

vllm

LLM 서빙 엔진. RC 가 잦고 정식은 몇 주 간격 vllm-project/vllm 의 릴리스를 따라가며 정식 버전마다 변경 사항을 한국어로 정리해요. 요약은 릴리스 노트에 있는 것만이고, 알파 · RC 는 제목만 남겨요. Atom 피드

v0.32.0rc3: [Bugfix] Fix NaN output of the Mamba2 chunk scan kernel on sm90 (#61718)GitHub 릴리스
프리릴리스 · 제목만
v0.32.0: [Bugfix] Fix NaN output of the Mamba2 chunk scan kernel on sm90 (#61718)GitHub 릴리스
  • 호환성이 깨지는 변경으로 Python 3.10 지원이 중단됐고, 기본 CORS origin이 제한됐으며, transformers>=5.16.1과 tokenizers>=0.23.2가 필요하다
  • torch.compile의 sequence parallelism·AsyncTP 패스, cascade attention, mamba_cache_mode="all"이 제거됐고, max_tokens는 더 이상 컨텍스트 윈도우에서 예약되지 않으며 Responses API의 reasoning 스트림 이벤트 이름이 바뀌었다
  • NVFP4 KV 캐시가 SM8x, SM12x, SM90에서 동작하고, GLM-5.x는 SM100에서 기본으로 FP8 KV 캐시를 쓰며, ROCm에는 4비트 ultraquant_4bit KV 캐시가 추가됐다
  • --tool-call-parser hf와 --reasoning-parser hf가 체크포인트의 response_template을 읽어 모델별 파서 없이 동작하며, 새 POST /v1/systemone 엔드포인트가 기본 제공된다
  • vllm download-kernels, vllm preload --preload-autotune이 추가돼 시작이 빨라졌고, --api-server-count가 1보다 크면 연결이 가장 한가한 API 워커로 분배되어 짧은 요청의 req/s가 43~85% 늘었다
  • 보안 면에서 chat template 자원 고갈, tokenizer max_token_id, P2P ZMQ 소켓 고갈 취약점이 수정됐고, 신뢰할 수 없는 이미지는 래스터 형식으로 제한되며 64단계보다 깊은 JSON 스키마는 거부된다
v0.32.0rc1: [Dependency] Update Humming and remove NVFP4 scale workaround (#61556)GitHub 릴리스
프리릴리스 · 제목만
v0.32.0rc0: [HiSparse] Report host pool in KV cache capacity logs (#60285)GitHub 릴리스
프리릴리스 · 제목만
v0.31.0: [Misc] Add Transformers version upper bound in requirements (#59614)GitHub 릴리스
  • DeepSeek-V4.1-Flash에서 FlashMLA mega attention과 V4.1 NVFP4 압축 KV 캐시가 SM100 기본값이 됐고, Mega-Gate 및 디코더 경계 융합 등 여러 최적화가 적용됐다
  • `vllm preload` CLI가 추가돼 엔진 재시작 간에도 양자화된 가중치를 GPU 메모리에 유지하며, 실험적으로 `vllm snapshot create/restore`로 초기화된 TP1 엔진을 CRIU로 복원할 수 있다
  • Model Runner V2에서 draft-model 추측 디코딩과 커스텀 logits processor를 지원하고, LiLiCorr 드래프터와 DFlash 비동기 스케줄링이 추가됐다
  • 대규모 서빙용으로 `--all2all-backend moonep`, 데이터 병렬과 함께 쓰는 prefill context parallelism, 활성 시퀀스를 제한하는 `--max-num-active-seqs`가 추가됐다
  • 요청별 `mm_processor_kwargs`와 `media_io_kwargs`는 `--trust-request-mm-kwargs`를 설정해야 허용되며, `tokenizer_mode="slow"`와 AllSpark INT8 W8A16 백엔드가 제거되고 `--enable-mamba-fine-grained-prefix-cache`는 `--enable-mamba-shared-prefix-checkpoint`로 이름이 바뀌었다
v0.30.0: [Build] Fix DeepGEMM CUDA 12.9 release builds (#57554)GitHub 릴리스
  • DeepSeek-V4.1-Flash, DeepSeek-V4-Flash-Vision-Exp, GLM-5.3-Flash, K2-Horizon, Cohere Compass, Bailing V3 VL, Nanbeige4.2 등 다양한 신규 모델을 지원한다
  • Fast Start 기능으로 GPU별 가중치 캐시 데몬이 양자화·TP 샤딩된 가중치를 유지해 --load-format ipc_cache로 재시작 시 디스크 재로딩 없이 CUDA IPC로 매핑한다
  • 키 기반 PRF를 사용한 Gumbel-max 워터마킹 생성·탐지 기능이 추가됐고 투기적 디코딩과 호환되는 이중 키 방식도 지원한다
  • HiSparse가 스파스 MLA 디코드용 호스트 상주 KV 캐시 티어와 Prometheus 카운터, TP 랭크 간 공유 호스트 캐시를 제공한다
  • Model Runner V2에서 이중 배치 오버랩, 파이프라인 병렬 하의 MTP·EAGLE3 투기적 디코딩, 그래프 캡처 시 GC 동결로 H200 기준 캡처 시간과 엔진 초기화 시간이 대폭 단축됐다
  • Qwen3.8-Flash-Next와 Kimi K3 모델의 다양한 커널 최적화로 처리량과 지연 시간이 개선됐다
proto-v0.2.0: vllm-proto 0.2.0GitHub 릴리스
릴리스 노트 없음
v0.29.0GitHub 릴리스
  • Model Runner V2가 모든 모델의 기본값이 되고 CUDA 그래프 메모리 프로파일링, 배치 샤딩 샘플링, prompt embeds 등 기능이 추가됐다
  • Hy4-preview, Qwen3.8-Flash-Next, GraniteSWA/GraniteMoeSWA, NemotronH_Omni_Reasoning_V3, Kimi K3 NVFP4 등 신규 모델이 지원된다
  • Kimi-K3와 DeepSeek V4를 위한 커널 최적화로 지연 시간과 연산 속도가 개선됐다
  • --per-request-spec-decode-metrics 옵션으로 요청별 스펙 디코딩 수락 통계를 확인할 수 있고 여러 모델의 스펙 디코딩 지원이 확대됐다
  • FlashInfer all-reduce가 TP CUDA 그룹에서 기본 활성화되며 VLLM_ALLREDUCE_USE_FLASHINFER=0으로 끌 수 있고, --max-num-queued-reqs 등 새 어드미션 컨트롤 플래그가 추가됐다
  • 10개의 구식 모델 아키텍처와 PyAV 비디오 디코더 백엔드가 제거됐고 python -m vllm.entrypoints.openai.api_server는 vllm serve 사용을 권장하며 지원 중단됐다