模型共性规格
- 规模
- dense 27B + 原生 VLM
- 上下文
- 262,144 tokens 原生支持
- 结构
- 64 层 = 48 层线性注意力（GDN）+ 16 层全注意力
Qwen3.8-27B
热门模型已完成 NVFP4、ATX-IQ4_XS-M GGUF · MTP-3 多条量化 / 部署路线实测。已在 3 档硬件配置上完成实测，可直接选择机型查看对应结果。
适合做什么
- 长文档理解与批处理
- 多轮长上下文问答
- 图片 + 文本混合输入
- 高并发长文档批处理
- 多用户长上下文问答
- 四张卡全部用满的性价比方案
- 单用户 Agent / Coding
- 100K+ 长会话
- 3090 / 3090 Ti 存量卡复用
- 开源性能优化复现
选型提醒
- 单卡在 prefill 阶段功耗会顶到 400W 上限（实测 399.92 / 400.17 W）—— 也就是说这张卡的算力确实被吃满了，不是靠省电换速度。
- 每种上下文长度的推荐并发（判据：首 token p50 ≤ 300 s）：6 万字 5 路、12 万字 3 路、20 万字 2 路、25 万字 1 路。
- 单路速度与上下文长度强相关：上下文越长，第一次读进去越慢；但读进去之后的多轮对话都能命中缓存。
- 高上下文（20 万字以上）时加并发完全无效，只能加副本 —— 实测成功数在 20 万字饱和于 12、25 万字饱和于 8。
我们的建议先确定上下文和并发目标，再从下方已实测机型中选择。
选择机型
以下配置均已完成该模型实测；选择后进入对应机型下的完整模型实测页。
2× RTX 5090 32GB
NVFP4 · 入门档：一张卡解决 12 万字，两张卡顶到 26 万字
1,633 tok/s聚合输入吞吐
未测聚合输出吞吐
157 tok/s单路输出
19 路6 万字最大并发
推荐场景长文档批处理、单卡私有化部署、对成本敏感的第一台机器
查看该机型下实测详情 
4× RTX 5090 32GB
NVFP4 · 主力档：125 GiB 大模型 + 20 人同时在线
26,049 tok/s聚合 prefill
未测聚合输出吞吐 / 单路输出
60 / 606 万字并发成功率
485,332KV 池
推荐场景多人在线推理服务、Agent / 工具调用、代码辅助
查看该机型下实测详情 1× RTX 3090 Ti 24GB · llamAmpere
ATX-IQ4_XS-M GGUF · MTP-3 · 开源 SM86 专项优化：单卡运行 Qwen3.8-27B + MTP 长上下文
99.4 tok/sclean fixtures Decode
93.16 tok/s100K KV Decode
112.4 tok/s32K 单流 Decode
237,568桌面环境建议 Context
推荐场景已有 RTX 3090 Ti 的单卡复用、Qwen3.8-27B 单用户 Agent / Coding、100K+ 长上下文会话
查看该机型下实测详情 同一模型，不同配置差异
使用各机型已有实测指标进行横向整理。
| 配置 | 量化 / 变体 | 总显存 | 关键实测 | 上下文 | 推荐场景 |
|---|---|---|---|---|---|
| 2× RTX 5090 32GB | NVFP4 | 64 GB | 1,633 tok/s 聚合输入吞吐 | 262,144 tokens 原生支持 | 长文档批处理 |
| 4× RTX 5090 32GB | NVFP4 | 128 GB | 26,049 tok/s 聚合 prefill | 262,144（数据并行方案下）；约 120,000（单卡副本方案下） | 多人在线推理服务 |
| 1× RTX 3090 Ti 24GB · llamAmpere | ATX-IQ4_XS-M GGUF · MTP-3 | 24 GB | 99.4 tok/s clean fixtures Decode | 详见实测 | 已有 RTX 3090 Ti 的单卡复用 |
推荐机型
根据不同业务需求快速选择。
优先推荐2× RTX 5090 32GB
备选方案4× RTX 5090 32GB
备选方案1× RTX 3090 Ti 24GB · llamAmpere