接到过太多这样的需求："我们要训大模型，要买服务器，需要多少张卡？"然后买完发现不是不够用（训练跑不动）就是严重浪费（显卡闲置）。

这篇给出系统化的规划方法，涵盖算力估算、显存计算、网络带宽验证，最后给出不同场景的配置推荐。拒绝“拍脑袋”决策。

---

一、规划流程总览

1. 明确需求: 模型多大？训多久？要什么精度？
2. 算力估算: 需要多少 TFLOPS？
3. 显存计算: 单卡/整机显存是否够用？
4. 网络验证: 多机通信会不会卡死？
5. 采购方案: 选什么型号？怎么组网？

---

二、模型算力估算 (Compute Estimation)

核心公式

$$\text{Total FLOPs}=\text{Params}\times \text{Tokens}\times \text{Compute Intensity (CI)}$$

• LLM 训练: $CI\approx 6$ (前向2次矩阵乘 + 反向4次，含优化器更新)
• LLM 推理 (Prefill): $CI\approx 2$ (仅前向)
• LLM 推理 (Decode): $CI\approx 2$ (每生成一个 token)
• CNN/ViT: 需查表或具体算子分析

昇腾910B 算力参考 (BF16)

• Ascend 910B: ~400 TFLOPS (Matrix Unit)
• Ascend 910A: ~256 TFLOPS
• Ascend 310P: ~80 TFLOPS (推理专用)

Python 算力估算器

class ComputeEstimator:
    # 计算强度参考值 (FLOPs per Token per Parameter)
    CI_TABLE = {
        "llm_training": 6,       # LLM预训练/微调
        "llm_inference_prefill": 2, 
        "llm_inference_decode": 2,
        "cnn_training": 4,
        "vit_training": 8,
    }
    
    # 昇腾芯片算力 (BF16, FLOPs/s)
    NPUS = {
        "Ascend-910B": 400e12,
        "Ascend-910A": 256e12,
        "Ascend-310P": 80e12,
        "Ascend-310": 16e12,
    }
    
    def estimate_training_time(self, model_params_B, dataset_tokens_T, 
                             num_gpus, gpu_type="Ascend-910B",
                             utilization=0.45):
        """
        估算训练时间
        
        参数:
          model_params_B: 参数量 (单位: 10亿)
          dataset_tokens_T: 训练Token总数 (单位: 10亿)
          num_gpus: GPU数量
          utilization: 实际利用率 (通常 0.40~0.55)
        
        返回: 时间字典
        """
        ci = self.CI_TABLE["llm_training"]
        total_flops = model_params_B * 1e9 * dataset_tokens_T * 1e9 * ci
        
        gpu_flops = self.NPUs[gpu_type]
        effective_flops = gpu_flops * num_gpus * utilization
        
        time_seconds = total_flops / effective_flops
        time_hours = time_seconds / 3600
        
        return {
            "estimated_hours": time_hours,
            "theoretical_min_hours": time_seconds / (gpu_flops * num_gpus) / 3600,
            "effective_utilization": utilization * 100,
            "total_flops_peta": total_flops / 1e15,
        }

# ===== 实战案例：LLaMA-7B 训练 1T tokens =====
est = ComputeEstimator()

result = est.estimate_training_time(
    model_params_B=7,           # 7B
    dataset_tokens_T=1000,      # 1T = 1000B
    num_gpus=8,                 # 8卡
    gpu_type="Ascend-910B",
    utilization=0.45            # 预期利用率
)

print(f"""
LLaMA-7B 训练算力估算 (1T tokens, 8×Ascend-910B)
==========================================
总计算量:     {result['total_flops_peta']:.1f} PFLOPS
理论最短时间: {result['theoretical_min_hours']:.1f} 小时
预估时间:     {result['estimated_hours']:.1f} 小时 ({result['estimated_hours']/24:.1f} 天)
有效利用率:   {result['effective_utilization']:.0f}%
==========================================
""")

# 不同规模模型所需卡数对比 (目标: 1天内训完 1T tokens)
print("\n不同模型规模在 1 天内完成 1T tokens 所需的 910B 卡数:")
for params in [1, 7, 13, 34, 70]:
    # 假设目标时间 24 小时
    target_hours = 24
    # 反推需要的有效算力
    ci = 6
    needed_flops = params * 1e9 * 1e12 * ci / (target_hours * 3600)
    # 考虑利用率 45%
    needed_eff_flops = needed_flops / 0.45
    # 单卡算力
    single_card = est.NPUs["Ascend-910B"]
    cards_needed = max(1, int(needed_eff_flops / single_card))
    print(f"{params}B Model: 需要约 {cards_needed} 张 Ascend 910B")

典型结果解读:

• 7B 模型 (1T tokens): 8张 910B 约需 32小时 (1.4天)。若要求1天完成，需 16-20张。
• 70B 模型 (1T tokens): 8张 910B 需 298小时 (12天)。若要求1天完成，需 ~160张。

---

三、显存需求计算 (Memory Estimation)

显存不足是训练失败的第一原因。

显存组成公式

$$\text{Total Memory}=M_{params}+M_{grad}+M_{opt}+M_{activ}+M_{kv}$$

组件	计算公式 (BF16/FP16)	说明
模型参数	$P\times 2$ bytes	模型权重
梯度	$P\times 2$ bytes	反向传播梯度
优化器状态	$P\times 4$ bytes (Adam)	动量和方差 (ZeRO-2时减半)
激活值	$\approx P\times 12$ bytes	训练时中间结果 (占比最大!)
KV Cache	$2\times L\times H\times d\times B\times S$	推理时缓存

并行策略对显存的影响

• DP (数据并行): 每卡存完整模型 (显存压力最大)。
• ZeRO-2: 优化器分片，显存减少 2/3。
• ZeRO-3: 参数+梯度+优化器全分片，显存减少 3/4 (但通信开销大增)。
• MP/PP: 将模型切分到多卡，单卡显存压力骤降。

Python 显存估算器

class MemoryEstimator:
    DTYPE_SIZES = {"bf16": 2, "fp16": 2, "fp32": 4, "int8": 1}
    
    # 经验系数: 激活值占用 ≈ 参数量 × 系数
    ACTIVATION_COEFFICIENTS = {
        "llm": 12,  # Transformer类大模型训练
        "cnn": 4,
    }
    
    def estimate_training_memory_gb(self, model_params_B, hidden_dim, num_layers,
                                   seq_len, batch_size_per_gpu,
                                   dtype="bf16", use_zero3=False):
        """
        估算单卡所需显存 (GB)
        """
        p_bytes = model_params_B * 1e9 * self.DTYPE_SIZES[dtype]
        
        grad_bytes = p_bytes
        opt_bytes = p_bytes * 2 if not use_zero3 else p_bytes * 0.5 # ZeRO-3优化器分片
        
        # 激活值估算 (简化版)
        act_bytes = model_params_B * 1e9 * self.ACTIVATION_COEFFICIENTS["llm"] * self.DTYPE_SIZES[dtype]
        
        # 如果是 ZeRO-3，参数和梯度也分片了
        # 这里假设完美并行，每卡分担 1/N (N为卡数，需外部传入，此处简化演示)
        # 实际建议：先算 DP 模式，再除以 N (若用 MP/PP)
        
        total_per_gpu = p_bytes + grad_bytes + opt_bytes + act_bytes
        return total_per_gpu / 1e9

# ===== 案例：7B 模型在 8 卡上的显存需求 =====
mem_est = MemoryEstimator()

# 假设参数: 7B, hidden=4096, layers=32, seq=4096, batch=1
# 注意：batch_size_per_gpu 指每张卡的 micro-batch
params_7b = 7
hidden = 4096
layers = 32
seq = 4096
micro_batch = 1

# 情况1: 纯 DP (无并行)，单卡显存需求极大
# 实际上7B无法在单卡32G上跑DP，必须MP/PP
# 这里展示计算逻辑
single_card_mem_dp = mem_est.estimate_training_memory_gb(params_7b, hidden, layers, seq, micro_batch)
print(f"纯DP模式单卡显存需求: {single_card_mem_dp:.1f} GB (显然不可行)")

# 情况2: ZeRO-3 + MP (假设8卡切分)
# 粗略估算：总显存需求 / 8
total_mem_gb = (7 * 2 + 7 * 2 + 7 * 2 + 7 * 12) # 简略算法: Params+Grad+Opt+Act
# 更精确算法应包含层数和序列长度影响
# 实际工程中，7B ZeRO-3 在 8x910B (32GB) 上通常可行，但需小Batch
print(f"ZeRO-3 模式下，建议配置：8x32GB，Micro-Batch=1~2")

显存避坑指南:

1. 激活值是大头: 7B模型训练时，激活值可能占显存的50%以上。减小 seq_len 或 batch_size 最有效。
2. ZeRO-3 陷阱: 虽然省显存，但通信量大。如果网络带宽不足（如千兆以太网），ZeRO-3 会极慢。
3. 910B 32GB: 适合 7B-13B 模型 (ZeRO-3)；34B 模型通常需要 8卡起步甚至更多。

---

四、网络带宽验证 (Network Bandwidth)

多机训练时，通信瓶颈往往比计算瓶颈更早出现。

关键指标

• HCCL 带宽: 昇腾内部通信协议。
• RoCE v2 / InfiniBand: 物理网络。
• AllReduce 耗时: $T_{comm}=\frac{Size}{Bandwidth}\times \log (N)$

验证步骤

1. 单机测试: 使用 hccl_tool 或自定义脚本测试 8卡间带宽。
   • 910B 8卡直连通常 > 100 GB/s。
2. 多机测试: 跨节点带宽。
   • 推荐 100GbE RoCE 或 InfiniBand HDR/EDR。
   • 低于 50 Gbps 会导致大模型训练效率暴跌。
3. HCCN 检查: 确保所有节点时间同步 (NTP)，避免 HCCL 握手超时。

# 简单带宽测试脚本 (Python)
import torch.distributed as dist
import torch.multiprocessing as mp

def run_test(rank, world_size):
    dist.init_process_group("hccl", rank=rank, world_size=world_size)
    # 发送大张量
    tensor = torch.randn(1024, 1024).cuda() 
    start = time.time()
    for _ in range(100):
        dist.all_reduce(tensor, op=dist.ReduceOp.SUM)
    elapsed = time.time() - start
    bandwidth = (1024 * 1024 * 4 * 100 * world_size) / (elapsed * 1024 * 1024 * 1024) # GB/s
    print(f"Rank {rank}: Avg Bandwidth = {bandwidth:.2f} GB/s")

if __name__ == "__main__":
    mp.spawn(run_test, args=(8,), nprocs=8)

网络配置建议:

• < 10B 模型: 单机8卡足够，无需复杂网络。
• 10B - 70B 模型: 需多机，建议 25GbE/100GbE RoCE。
• > 70B 模型: 必须 InfiniBand NDR/HDR，否则通信等待时间过长。

---

五、生成采购方案 (Procurement Plan)

根据上述计算，给出不同场景的推荐配置。

场景 A: 中小模型微调 (7B-13B)

• 需求: 快速迭代，低成本。
• 配置:
  • 单机: 1台 8卡 910B (32GB) 服务器。
  • 网络: 单机内 PCIe 5.0 互联，外网千兆即可。
  • 成本: 低。
  • 适用: 行业垂直模型微调、LoRA/Q-LoRA。

场景 B: 中型模型预训练 (34B-70B)

• 需求: 平衡性能与成本，训练周期可控。
• 配置:
  • 集群: 4台 8卡 910B (共32卡)。
  • 网络: 每台机器内部高速互联，机器间通过 100GbE RoCE 互联。
  • 策略: ZeRO-3 + DeepSpeed + Flash Attention。
  • 预期: 70B 模型 1T tokens 约需 3-5 天。

场景 C: 超大模型基座 (100B+)

• 需求: 极致吞吐，稳定运行。
• 配置:
  • 集群: 8-16台 8卡 910B (64-128卡)。
  • 网络: InfiniBand NDR (200Gbps+)，低延迟拓扑。
  • 策略: PP (流水线) + MP (张量) + ZeRO-3。
  • 注意: 需专门的数据中心供电和散热设计。

性价比速查表 (Ascend 910B)

模型规模	推荐卡数	预计训练时间 (1T tokens)	备注
1B - 7B	8 卡	< 1 天	单机足矣，可跑 LoRA
13B - 34B	16 - 32 卡	1 - 3 天	建议 2-4 台服务器
70B	64 - 128 卡	3 - 7 天	需高性能网络
175B+	256+ 卡	> 1 周	工业级集群

---

六、总结与避坑

1. 不要只看理论算力: 实际利用率通常在 40%-55%，预留余量。
2. 显存决定上限: 算出显存后，务必留出 20% 缓冲 防止 OOM。
3. 网络是隐形杀手: 多机训练前，务必实测跨节点带宽。
4. 软件栈成熟度: 确认 CANN 版本支持你的并行策略（如 ZeRO-3 在旧版本可能不稳定）。
5. 未来扩展性: 采购时考虑接口预留，方便后续扩容。

一句话建议: 对于大多数企业，“少量多机”（如4台8卡服务器）比 “单台巨型机” 更具性价比和容错率。