适合场景
- 存量 2080 Ti 算力复用
- Qwen3.8-Flash-Next 私有化推理
- 128K 长上下文单路服务
- 预算敏感的旧卡集群改造
GPU 推理实测方案博原方案
8× RTX 2080 Ti 22GB
存量老卡复用：Flash-Next Q4 稳定 37 tok/s，128K 上下文
8 张 22GB RTX 2080 Ti 组成 176GB 显存池，使用 Qwen3.8-Flash-Next UD-Q4_K_XL GGUF 与 llama.cpp SM75/Qwen4Exp 优化路线，在 128K 上下文档稳定跑通。
8 卡176 GB 总显存Turing sm75原生长上下文
实测模型
- Qwen3.8-Flash-Next-UD-Q4_K_XL
- 22 GB 单卡显存
选型限制
- 请结合上下文长度和并发目标选型
推荐理由
- 176GB 总显存复用老卡集群，Flash-Next Q4 稳定单路约 37 tok/s，4K prefill 约 545 tok/s。
- 可查看对应模型的吞吐、并发与上下文实测结果
选择模型
以下模型已在这套硬件上完成实测，点击进入查看完整数据。
Qwen3.8-Flash-Next-UD-Q4_K_XL
8×22GB Turing 老卡集群跑通 Flash-Next Q4，稳定单路约 37 tok/s
核心实测结果
37.04 tok/s稳定 Decode
544.77 tok/s4K Prompt Prefill
≈0.37 s最佳 TTFT
128K运行上下文
适用任务
这套方案的价值不是和 5090 拼峰值，而是把已有的 8×2080 Ti 22GB 资产继续用起来：在 128K 上下文下稳定跑 Qwen3.8-Flash-Next Q4，单路约 37 tok/s，适合预算敏感的旧卡集群改造与私有化推理。
其他配置推荐
对比不同卡数和显存规模，找到更贴近业务目标的方案。
2× RTX 5090 32GB入门档：一张卡解决 12 万字，两张卡顶到 26 万字
4× RTX 5090 32GB主力档：125 GiB 大模型 + 20 人同时在线
8× RTX 5090 32GB高并发档：6 万字上下文，120 人同时在线
4× RTX PRO 6000 96GB旗舰档：10 路 × 25 万字同时跑，64 路短问题高并发
1× RTX 3080 Laptop 16GB单卡轻量模型：Qwen3.5-0.8B 80 路并发，聚合输出 2,314 tok/s
1× RTX 2080 Ti 22GB单卡高并发：Qwen3.5-0.8B 128 路并发，聚合输出 4,264.5 tok/s
1× RTX 3090 Ti 24GB · llamAmpere开源 SM86 专项优化：单卡运行 Qwen3.8-27B + MTP 长上下文