模型共性规格
- 规模
- 未记录
96GB 单卡显存,把长上下文和并发同时拉满。已在 1 档硬件配置上完成实测,可直接选择机型查看对应结果。
我们的建议先确定上下文和并发目标,再从下方已实测机型中选择。
以下配置均已完成该模型实测;选择后进入对应机型下的完整模型实测页。
使用各机型已有实测指标进行横向整理。
| 配置 | 量化 / 变体 | 总显存 | 关键实测 | 上下文 | 推荐场景 |
|---|---|---|---|---|---|
| 4× RTX PRO 6000 96GB | — | 384 GB | ≈18,900 tok/s 聚合 prefill | 详见实测 | 超长上下文 + 高并发同时要 |
根据不同业务需求快速选择。