梯度配置,精准匹配企业需求,一站式AI大模型解决方案
32B输出速度 26 token/s
32B + Q8 精度 · 26 token/s
70B + Q4 精度 · 15 token/s
70B 输出速度 15 token/s
70B-Q8 精度 · 10 token/s
70B-Q8 精度 · 12 token/s
| 配置② | 配置③ | 配置④ | 配置⑤ | 配置⑥ | 配置⑦ | |
|---|---|---|---|---|---|---|
| 主机价格 | ¥17,998 | ¥18,998 | ¥21,998 | ¥21,998 | ¥24,998 | ¥29,998 |
| 处理器 | Intel i5-14600K | Intel i5-14600K | Intel i5-14600K | Intel E5-2686V4 | Intel E5-2686V4 | Intel E5-2686V4 |
| 显卡组合 | 2×Tesla V100 16G | 3×Tesla V100 16G | Tesla V100 32G + 2×16G | Tesla V100 32G + 2×16G | 2×Tesla V100 32G + 16G | 3×Tesla V100 32G |
| 总显存 | 32G | 48G | 64G | 64G | 80G | 96G |
| 系统内存 | 64G DDR4 | 64G DDR4 | 64G DDR4 | 128G DDR4 | 128G DDR4 | 128G DDR4 |
| 存储 | 512G NVMe | 512G NVMe | 1TB NVMe | 1TB NVMe | 1TB NVMe | 1TB NVMe |
| 适配模型规模 | 32B 推理 | 32B Q8 高精度 | 70B 快速加载 | 70B Q4 精度 | 70B Q8 高精度 | 70B+ Q8 高性能 |
| 推理速度 | ≈26 token/s | ≈26 token/s | ≈15 token/s | ≈15 token/s | ≈10 token/s | ≈12 token/s |