Qwen3.8 27B 的默认设置,让一张 SVG 跑了 21 分钟
上周五,阿里 Qwen 团队发布 Qwen3.8 27B,一个 270 亿参数的视觉语言模型,Apache 2.0 许可。Simon Willison 在发布当天就做了本地实测。他是 Datasette 的作者、Django 的联合创建者,从 2002 年起持续写技术博客。他给出的判断是:27B 这个体量刚刚好,一台配置不错的笔记本电脑就能跑,前代 Qwen3.6-27B 已经相当出色。
官方跑分很亮眼。Qwen 自己公布的数字显示,Qwen3.8 27B 不仅超过 Qwen3.6-27B,也超过了闭源的 Qwen3.7-Plus。今年 5 月,Qwen3.7-Plus 还是 Qwen 全系列最强的模型之一。Willison 对此的态度很克制:官方跑分只能作为参考,最终还得看独立测试。
21 分钟和 137 秒
他用了一条画鹈鹕骑自行车的 SVG 提示词。默认设置下,模型开启推理,他等了 21 分钟。结果本身不错:车架形状基本正确,鹈鹕两条腿分别放在自行车两侧,这种画法很少见,喉囊也画得清楚,翅膀一直伸到车把上,动感线放在主体后方没有挡住画面,背景里的太阳、云、山丘、花草都在。但为这张图等 21 分钟,显然不值。
关掉推理后,同一条提示词输出 3715 个 token,用时 137 秒,两分多钟。他还通过 OpenRouter 测了体量大得多的 Qwen3.8-2.4T-A95B,同一条提示词生成了一张很漂亮的动态 SVG。另一条提示词只有一句「画一个圆的 SVG」,默认设置下模型一上来就想了很长一段。
MTP 已经在模型里
模型发布才两天,社区已经开始找提速办法。最有希望的一项优化其实藏在模型内部:Qwen3.8 27B 支持多 Token 预测(Multi-Token Prediction,MTP)。机制是先用一个成本较低的模块猜出后面多个 token,再交给主模型快速核验。猜得越准,生成越快。
Willison 参考了 llama.cpp 创建者 Georgi Gerganov 的推文,在 Spark 上用 llama serve 加载 ggml-org/Qwen3.8-27B-GGUF:Q4_K_M 并启用 MTP。他的结论是这款模型很好,但别用默认设置,社区优化之后潜力很大,可以稍晚入手。
对想在自己机器上跑视觉语言模型的人来说,Qwen3.8 27B 的权重已经放出来了,剩下的是推理栈怎么调的问题。
来源