- generate에서 입력 dict를 캐스팅할 때 일부 입력이 원래 타입을 잃어 멀티모달 모델에 문제가 생기던 현상이 수정됐다
- expert parallelism에서 ep_size가 fsdp_size보다 작을 때 bfloat16 환경의 zero expert 그래디언트 문제가 수정됐다
- 텍스트만 지원하는 것으로 보고되던 VLM들에 입력 모달리티가 올바르게 선언됐다
- eager_mask에서 불필요한 host-to-device 복사가 제거됐다
- Reflection AI의 Beam 모델이 추가됐다. 토큰 효율적인 프런티어급 모델로, 코딩과 에이전트 용도에 맞춰져 있고 자체 하드웨어·인프라·클라우드에서 실행하며 맞춤화할 수 있다
- 이전 버전에서 오래된 torch 환경의 모델 로딩이 깨지던 문제가 수정됐다
- torch 2.7에서 from_pretrained가 실패하던 문제를 고쳐, 분산 체크포인팅에는 torch>=2.8이 필요하도록 했다
- DtensorShardOperation이 torch 2.6과 2.7에서도 동작하도록 수정됐다
- HunYuan-VL의 배치 생성 시 이미지 할당 오류, expert parallelism에서의 DeepGEMM Mega MoE 문제, auto mappings의 작은 버그가 수정됐다
- Muse Spark Open은 텍스트·이미지·오디오·비디오를 입력받아 텍스트를 생성하는 멀티모달 MoE 모델로, 전체 816B 파라미터에 토큰당 42B가 활성화되고 최대 1,048,576 토큰 컨텍스트를 지원한다
- Ling 3.0 Flash는 KDA 레이어와 MLA 레이어를 조합한 하이브리드 MoE 모델이며, BailingHybridForCausalLM으로 기본 지원돼 trust_remote_code=True 없이 불러올 수 있다
- Aleph Alpha의 독일어·영어 중심 MoE 추론 모델 Kolibri 1이 추가됐다
- MiniCPM-V 4.7은 이미지를 2D 캔버스에 배치해 시각 토큰에 (temporal, height, width) 위치를 부여하는 canvas M-RoPE를 도입했다
- UnlimitedOcr(R-SWA로 KV 캐시를 일정하게 유지하는 3B OCR 모델), 최대 32,768 토큰을 지원하는 UltraBERT 인코더, 다중 화자 전사·화자 분리 모델 MOSS-Transcribe-Diarize도 추가됐다
- Gemma 4 아키텍처 기반의 멀티모달 임베딩 모델 EmbeddingGemma2가 추가돼 텍스트·이미지·오디오·비디오를 768차원 공간으로 인코딩하며, Matryoshka 방식으로 512·256·128차원 축소도 지원한다
- output_router_logits=True일 때 라우터 로짓을 계산하는 모든 MoE 모델이 Qwen3-MoE 방식의 출력 클래스로 로짓을 반환하므로, 기존 출력에 의존한 코드는 수정해야 한다
- Owlv2ForObjectDetection.embed_image_query가 원본 OWLv2 노트북처럼 objectness 점수가 가장 높은 박스를 쿼리로 선택해, 이미지 기반 쿼리 임베딩과 검출 결과가 이전과 달라질 수 있다
- 연속 배칭에서 "paged|sdpa", "paged|flash_attention_2" 접두사가 deprecated 되어 sdpa, flash_attention_2를 그대로 쓰도록 바뀌었고, eager는 계속 "paged|eager"가 필요하다
- Expert parallelism에 ep_dispatch_experts 플랜 규칙 기반 토큰 디스패치가 추가돼 Qwen3 MoE와 Mellum의 기본값이 됐고, EP 크기가 TP 크기와 같아야 한다는 제약이 사라졌으며 Trainer도 이를 지원한다
- 양자화 캐시에서 generate가 사용자의 cache_config를 변경하지 않도록 고쳤고 QuantizedLayer.reorder_cache도 수정했으며, DynamicCache와 StaticCache가 레이어별 설정으로 초기화되는 per-layer 캐시 구성을 지원한다
- 실시간 화자 분리를 지원하는 스트리밍 모델 Nemotron 3 Diarization이 추가됐고 최대 8명 화자와 청크 단위 무제한 길이 오디오 추론을 지원한다
- 텍스트·이미지·비디오·오디오를 함께 처리하는 NemotronH Omni 멀티모달 추론 모델이 추가됐다
- HyperClovaX 언어 모델과 Qwen2.5-VL 비전 인코더를 결합해 사고 과정 추론이 가능한 HyperCLOVAX Vision V2가 추가됐다
- RoPE와 게이트 MLP 기반 양방향 인코더인 GTE 모델이 추가됐다
- ROCm의 gpt-oss FA3 라우팅, DETR 이미지 전처리 속도, 인덱서 layer_type, vLLM 비디오 토큰 카운팅, DINO 관련 변경 등 여러 호환성 깨짐(Breaking changes)이 포함됐다
- 그 외 토크나이저 클래스, 캐시 디코딩, AutoImageProcessor, MoE 전문가 병렬 처리 등 다수의 버그가 수정됐다
- MLA, DSA, IndexShare, 게이트형 MLA, iHC 등을 결합한 780B 파라미터 MoE 모델 Hy4가 추가됐다(MTP 레이어는 미구현)
- LLM 기반 next-token diffusion 방식으로 다화자 장문 음성을 합성하는 VibeVoice가 추가됐다
- 비전 타워 없이 텍스트와 이미지 패치를 단일 인코더로 처리하는 NeoMME 및 문서 검색용 NeoMME-Retriever가 추가됐다
- 중국어·영어·일본어 및 방언을 지원하는 800M 파라미터 음성인식 모델 Fun-ASR-Nano가 추가됐다
- Kimi Delta Attention 기반 하이브리드 선형 어텐션 모델 KimiLinear와 다국어 음성인식/번역 모델 Canary-1B-v2가 추가됐다
- 비전 2D/3D 회전 임베딩이 modeling_rope_utils.py로 통합되어 기존 레이어별·모델별 RoPE 로직을 사용하던 커스텀 비전 모델은 마이그레이션이 필요하다