Qwen4尚未发布，但一份已合并的开源推理内核代码，已经先把下一代千问的“底牌”漏了个半明半暗。

在英特尔GPU（XPU）推理加速仓库 analytics-zoo/vllm-xpu-kernels 中，编号 PR #22 的提交被正式合并。标题直白得有些刺眼：

“Enable Qwen3.8-flash-next 8 cards fp8&int4 and optimize qwen4-27b”

提交者 hzjane 不仅把“qwen4-27b”写进标题，还在代码里留下了张量尺寸、注意力计算、残差结构、量化路径与推理解码的真实工程痕迹。模型权重没来，但跑模型的“家伙事儿”先到了。

一、为什么内核代码会“提前剧透”模型

大模型发布前，硬件厂要提前数月进场。

英特尔XPU、英伟达GPU、AMD卡想在新模型发布当天就跑得起来，必须提前拿到：
• 模型结构定义

• 张量形状

- 注意力与残差连接形式
• 量化与算子接口约定

否则发布会一开，用户拉起vLLM，内核报错，显存爆掉，体验直接归零。

所以这类PR的本质是：
芯片厂在模型出厂前，先帮它把“生产线”铺好。

但这次蹊跷的是——工程协同痕迹没脱敏，直接推到了公开分支。于是社区顺着算子形状，反推出了Qwen4-27B的骨架。

二、27B继续走Dense，不堆参数堆结构

llama.cpp开发者 adambenhassen 把Qwen4-27B和Qwen3.8-27B逐项对照，结论很清晰：

- 隐藏层维度：5120（不变）
• 参数规模：27B Dense稠密架构（没切MoE）

• 基础注意力块配置：与上代高度延续

也就是说，阿里没把27B档位做成“小MoE”，而是继续保留稠密路线，把升级重心放在内部信息流效率上。

具体新增了三件事：

1. 四路Hyper-Connections（HC / Gated Residual）

传统Transformer只有一条残差流。
Qwen4-27B相关实现里，残差被拆成4条并行分支，每条带动态门控：

- 哪条残差该读多少
• 哪条状态该写回多少

• 跨层信息怎么流动

由门控动态决定。

好处有两个：
• 缓解深层网络梯度阻塞

• 残差状态可用FP8存，省访存带宽

2. QSA稀疏注意力（Qwen Sparse Attention）

不是每個token都做全量attention。
轻量索引器先对上下文微块打分，只保留重要块做精确聚合。

长上下文下：
• Prefill显存压力下降

• Decode阶段KV访问变少

• 100万token级场景收益最明显

3. GDN：Gated DeltaNet做“历史压缩”

部分层用线性注意力状态，代替无限增长的KV Cache。
GDN负责“记住”，QSA负责“查准”，两者混排。

这套组合拳，和Qwen3.8-Flash-Next官方定义的“Qwen4架构预览”完全对得上。

三、INT4/FP8适配：单卡跑27B有戏，但别高兴太早

PR里写得很具体：

• Qwen4-27B Dense

• TP2 FP8：双卡FP8推理

• TP1 / TP2 INT4：单卡或双卡INT4量化

- 基于SYCL / SYCL-TLA内核（英特尔XPU路线）

粗算一下：
• 27B × 4bit ≈ 13.5GB权重

• 再加KV Cache、激活值、框架开销

• 单卡24GB消费级显卡：Q4大概率能装下

- 但长上下文实际占用仍取决于KV策略

测试记录也给了：
• 8×Intel B70

• 32K输入，TP2 FP8

• 首Token延迟 37.41s → 21.84s（降约42%）

不过PR自己也打了补丁式免责声明：

未提供QSA真实权重，未启用MTP，未完成端到端准确性验证。

翻译过来：
算子能编译、形状对得上、性能能测，但模型“灵魂”还没来。

四、Agent时代的结构选择：不只要聪明，还要省资源

云栖大会上，吴泳铭讲Agent协同，刘大一恒接手Qwen LLM后明确：
Qwen4已进入训练阶段，后续向更大规模扩展。

但27B这一档的取舍很说明问题。

Agent场景的痛点不是“跑不动一次回答”，而是：
• 长代码库持续读取

• 多轮工具调用

• 长文档状态保持

• 低延迟高并发部署

如果只堆参数：
• 能力涨一点

• 成本翻一倍

• 本地跑不了

Qwen4-27B的选择是：
• 参数不膨胀

• 残差更通

- 注意力更稀疏
• 历史用状态压缩

• 量化路径前置设计

这等于在说：
下一代模型不靠“更重”，靠“更会分配注意力”。

五、推理框架的兼容暗坑

llama.cpp开发者提醒了一个现实问题：

四路残差改了内部信息传递结构，
现有 qwen3_5 加载逻辑不能直接读Qwen4-27B。

影响包括：
• 模型定义要重写

• 推测解码辅助模型可能要重训

• MTP（多Token预测）草稿头需新适配

- 老量化映射、张量并行分块逻辑部分失效

也就是说：
权重没发之前，框架侧已经先进入“重构期”。

六、已知与未知：现在能信什么，不能信什么

已知（来自PR+Flash-Next预览）
- 27B Dense
• hidden=5120

• 四路残差HC

• QSA + GDN混合注意力

• FP8/INT4 XPU推理路径

• MTP最多4 draft tokens线索

未知（官方未确认）
- 最终权重
• 官方模型卡

• 上下文长度与KV规格

• 发布日期

• 任何可信跑分

现在任何“Qwen4-27B实测秒杀某某”的基准，都是空气跑分。

七、结语：代码先发布，权重后发布，架构已发声

这一次的“泄露”不是权重流出，而是工程侧抢跑。

它透露的不是Qwen4有多会做题，
而是阿里已经把下一代模型的设计哲学写进算子里：

• 中等规模模型继续保留稠密架构

• 用残差门控换深层稳定性

• 用稀疏注意力换长上下文成本

• 用量化内核换本地部署门槛

• 用Agent负载反推网络结构

Qwen3.8-Flash-Next是预览，
vLLM XPU内核是预告片，
真正正片还没放映。

但镜头已经对准了方向：

大模型下一阶段的比拼，不只是“参数更大”，

而是“同样参数下，谁更知道该看哪里”。

接下来你更想先深入分析架构技术、部署成本，还是行业影响？