TLXW / COMPUTE FIELD GUIDE
算力知识库
从硬件参数到模型成本，让每一次算力决策有据可依。
查参数 · 做对照 · 验设备 · 算投入
01 / HARDWARE
先看清，卡的底子。
精确到型号与形态。参数来自厂商，不等同实测性能。
| 型号 / 形态 | 显存 | 带宽 | CUDA 核心 / GPU | 功率上限 | 对照 |
|---|
02 / SIDE BY SIDE
放在一起，差别更清楚。
在参数表中选择最多 3 张卡。显存容量、互联与供电应一起考虑。
03 / INSPECTION
到手以后，逐项核对。
清单用于记录人工核对，不会自动检测设备，也不构成质量认证。
验收清单
以下命令适用于已安装 NVIDIA 驱动的 Linux 主机。点击仅复制，在目标机器上自行执行。
04 / UNDER LOAD
稳定，才是有效算力。
先确认环境，再逐步加压；保留测试前后的日志和配置。
压测会占用设备并增加功耗与温度。先清空目标 GPU 的业务负载，核对电源、散热和厂商温度限值；出现异常升温、Xid 或不可纠正错误时停止并排查。
05 / MODEL SIZING
模型有多大，需要多少卡？
选择开放权重模型或自定义参数；按架构区分完整 KV 估算与仅权重估算。
开放权重不等于无限制开源；使用前查看许可证。MoE 权重按总参数计算，激活参数不代表需加载的全部权重。
| 模型 / 系列 | 总参数 / 激活参数 | 上下文上限 | 架构 / 测算范围 | 测算 |
|---|
没有匹配结果，可缩短关键词或重置筛选。
覆盖范围与核验依据
测算公式与适用边界
权重 = 参数量 × 位宽 ÷ 8 ×（1 + 附加开销）；KV = 2 × 层数 × KV 头数 × 头维度 × 缓存长度 × 并发 × KV 位宽 ÷ 8。字节数除以 2³⁰ 得到 GiB。
运行开销按每卡叠加。假定权重与 KV 理想均匀切分；实际切分、KV 头复制、预填充峰值和框架工作区可能需要更多显存。多卡显存不会自动合并，须验证框架、互联与切分约束。
完整 KV 公式仅适用于标准稠密全注意力结构。MoE、MLA、混合或滑窗架构采用仅权重估算，排除缓存与运行开销；不预测 tokens/s，也不保证指定量化格式可用。
Hugging Face · KV cache ↗06 / TOKEN ECONOMICS
把 Token，换算成预算。
查询官方标准按量刊例价，选择明确地区和档位填入预算；也可自定义单价。
范围：文本 / 代码及多模态模型的文本 Token 标准价。每行保留快照日期与原币种；不含订阅、批量折扣、图像 / 音频 / 视频单独计费。未列价不代表免费，官网价格变更需重新核验。
| 模型 / 地区 / 档位 | 输入 / 百万 | 输出 / 百万 | 缓存读取 / 百万 | 快照 / 条件 | 预算 |
|---|
没有匹配结果，可缩短关键词或重置筛选。
覆盖范围与核验依据
费用计算口径
每次费用 =（未命中输入 × 输入价 + 命中输入 × 缓存价 + 输出 × 输出价）÷ 1,000,000。总费用 = 每次费用 × 每日请求数 × 天数。
选用官方价格时只适用于所选档位，超出范围将暂停结果；缓存写入单价仅展示，不纳入预算。未包含工具、图片、音频、税费与折扣，最终以服务商 Usage、账单和规则为准。