DiffusionGemma 26B A4B IT 用扩散方式生成文本，RTX 6000 上跑到 2000 tokens/秒
Google DeepMind 开源了 DiffusionGemma 26B A4B IT。这是个 26B 参数的 MoE 模型，激活参数约 3.8B 到 4B，构建在 Gemma 4 MoE 架构上，支持 256K 上下文和 140 多种语言，能处理文本、图像和视频输入。它和标准 Gemma 最大的不同在解码方式：不走逐 token 生成，而是用扩散并行产出，再逐步细化成最终答案，思路接近图像扩散模型，只是搬到了文本上。Unsloth 的文档在 2026 年 6 月 6 日放出了本地运行指南，微调支持同步跟上。
本地跑这个模型的门槛不算高。文档给出的数字是 18GB 内存可运行，量化版本以 GGUF 形式发布，文件名 diffusiongemma-26B-A4B-it-GGUF，可以通过 Unsloth Studio 或 llama.cpp 加载。在 RTX 6000 上，DiffusionGemma 26B A4B IT 的生成速度能到 2000+ tokens/秒。硬件选择的经验规则是：可用总内存（RAM 加 VRAM，或统一内存）至少超过所下载量化模型的大小；内存不够也能靠部分内存或磁盘卸载跑起来，代价是速度下降，上下文窗口开得越大，算力需求也越高。
扩散采样器不是可选项
部署时有个容易踩的点。DiffusionGemma 需要支持扩散的推理运行时，只调 temperature、top_p、top_k 复现不出推荐行为，还得配对应的扩散采样器。换句话说，拿常规推理栈直接套，输出会和预期对不上。这一条对想把它塞进现有服务框架的人是个实打实的改动量。
定位在快和小批量
官方列出的适用场景包括快速本地推理、长上下文文档分析、图像与视频理解、OCR 和文档解析、代码生成、工具调用、智能体工作流，以及低延迟的小批量推理。这套组合指向的是本地、低延迟、对吞吐敏感但批量不大的用法，而不是替代大参数稠密模型去做复杂推理。微调已经能通过 Unsloth 做，权重和工具链都摆在了台面上。
DiffusionGemma 26B A4B IT 把扩散解码带进了开源权重和多模态输入，接下来要看的是推理框架对扩散采样器的支持速度，以及社区微调能不能把 2000 tokens/秒的吞吐转化成实际任务上的可用性。
来源