模型共性规格
- 规模
- 0.8B
Qwen3.5-0.8B
热门模型16GB 单卡上的 80 路高并发轻量模型实测。已在 2 档硬件配置上完成实测，可直接选择机型查看对应结果。
适合做什么
- 高并发轻量问答
- 批量文本生成
- 本地轻量 AI 服务
- 老卡算力复用
选型提醒
- 模型表现会随并发人数和上下文长度变化
- 不同量化方式不能直接横向比较
- 第三方数据仅作量级参考
- 请进入具体机型页查看完整测试口径
我们的建议先确定上下文和并发目标，再从下方已实测机型中选择。
选择机型
以下配置均已完成该模型实测；选择后进入对应机型下的完整模型实测页。
1× RTX 3080 Laptop 16GB
单卡轻量模型：Qwen3.5-0.8B 80 路并发，聚合输出 2,314 tok/s
794,922KV 池容量
80 路并发
970 tok/s聚合输入吞吐
2,314 tok/s聚合输出吞吐
推荐场景轻量模型高并发推理、边缘 / 移动工作站部署、批量短文本生成
查看该机型下实测详情 1× RTX 2080 Ti 22GB
单卡高并发：Qwen3.5-0.8B 128 路并发，聚合输出 4,264.5 tok/s
876,207KV 池容量
128 路并发
≈2,183 tok/s聚合输入吞吐
4,264.5 tok/s聚合输出吞吐
推荐场景轻量模型高并发推理、老卡算力复用、批量短文本生成
查看该机型下实测详情 同一模型，不同配置差异
使用各机型已有实测指标进行横向整理。
| 配置 | 量化 / 变体 | 总显存 | 关键实测 | 上下文 | 推荐场景 |
|---|---|---|---|---|---|
| 1× RTX 3080 Laptop 16GB | — | 16 GB | 794,922 KV 池容量 | 详见实测 | 轻量模型高并发推理 |
| 1× RTX 2080 Ti 22GB | — | 22 GB | 876,207 KV 池容量 | 详见实测 | 轻量模型高并发推理 |
推荐机型
根据不同业务需求快速选择。
优先推荐1× RTX 3080 Laptop 16GB
备选方案1× RTX 2080 Ti 22GB