模型共性规格
- 规模
- MoE · 512 专家（每次激活 10 个）
- 上下文
- 262,144 tokens 原生支持
- 结构
- 48 层 = 12 层全注意力 + 36 层线性注意力
Qwen3.8-Flash-Next
热门模型已完成 NVFP4、UD-Q4_K_XL GGUF 多条量化 / 部署路线实测。已在 3 档硬件配置上完成实测，可直接选择机型查看对应结果。
适合做什么
- 多人在线对话服务
- Agent 与工具调用
- 代码生成与重构
- 25 万字长文一次性分析
- 百人级在线推理
- 团队共享的长上下文服务
- 批量长文档处理
- 存量老卡算力复用
- 128K 长上下文问答
- 私有化单路推理服务
选型提醒
- 同一台机器上关闭投机解码可把 KV 池从 531,372 提到 682,759 tokens（+28%），代价是单路速度下降。
- 并发与投机解码的交叉点在 10–12 路：10 人以下开 MTP 更快，12 人以上关掉 MTP 反而更稳（20 路时首 token P95 从 5.753 s 降到 0.548 s）。
- 关键取舍：加卡带来的是线性扩容，不是效率提升。如果预算敏感，四张卡跑 27B 的每卡效率比八张卡跑 Flash-Next 高 5.8 倍。
- 上面都是"冷启动读长文档"的口径。真实多轮对话场景下，缓存命中后首 token 约 2 秒，体验与普通对话无异。
我们的建议先确定上下文和并发目标，再从下方已实测机型中选择。
能力案例
通过真实应用案例，直观了解 Qwen3.8-Flash-Next 在实际场景中的表现。
选择机型
以下配置均已完成该模型实测；选择后进入对应机型下的完整模型实测页。
4× RTX 5090 32GB
NVFP4 · 主力档：125 GiB 大模型 + 20 人同时在线
4,474 tok/s聚合输入吞吐
916.6 tok/s聚合输出吞吐
293 tok/s单路输出
60 / 606 万字并发成功率
推荐场景多人在线推理服务、Agent / 工具调用、代码辅助
查看该机型下实测详情 
8× RTX 5090 32GB
NVFP4 · 高并发档：6 万字上下文，120 人同时在线
8,957 tok/s聚合输入吞吐
19.1 tok/s聚合输出吞吐
未测单路输出
120 / 1206 万字并发成功率
推荐场景大规模多人在线服务、部门级/团队级共享推理、长上下文批处理
查看该机型下实测详情 
8× RTX 2080 Ti 22GB
UD-Q4_K_XL GGUF · 存量老卡复用：Flash-Next Q4 稳定 37 tok/s，128K 上下文
37.04 tok/s稳定 Decode
544.77 tok/s4K Prompt Prefill
≈0.37 s最佳 TTFT
128K运行上下文
推荐场景存量 2080 Ti 算力复用、Qwen3.8-Flash-Next 私有化推理、128K 长上下文单路服务
查看该机型下实测详情 同一模型，不同配置差异
使用各机型已有实测指标进行横向整理。
| 配置 | 量化 / 变体 | 总显存 | 关键实测 | 上下文 | 推荐场景 |
|---|---|---|---|---|---|
| 4× RTX 5090 32GB | NVFP4 | 128 GB | 4,474 tok/s 聚合输入吞吐 | 262,144 tokens 原生支持 | 多人在线推理服务 |
| 8× RTX 5090 32GB | NVFP4 | 256 GB | 8,957 tok/s 聚合输入吞吐 | 262,144 tokens | 大规模多人在线服务 |
| 8× RTX 2080 Ti 22GB | UD-Q4_K_XL GGUF | 176 GB | 37.04 tok/s 稳定 Decode | 131,072 tokens（128K） | 存量 2080 Ti 算力复用 |
推荐机型
根据不同业务需求快速选择。
优先推荐4× RTX 5090 32GB
备选方案8× RTX 5090 32GB
备选方案8× RTX 2080 Ti 22GB