GPU 算力集群与显卡互联示意 — GPU 算力集群：整机柜显卡互联，按训练/推理任务弹性调度

A100/H100/H800 训练选卡：先算模型规模，再谈哪张卡

经常有人上来就问：现在做训练是不是必须上 H100。我的回答通常是反问一句——你打算训多大的模型，几张卡，预算多少。选卡跟买手机不是一个逻辑，不是越新越好。一张 H100 的租金能换两三张 A100，如果 8 张 A100 就能把你的模型装下并且跑得动，把预算砸在更新更贵的卡上，多出来的钱往往买不到等比例的提速。

真正决定选型的就三件事：显存装不装得下、卡间互联够不够快、你的钱能烧多久。前两个决定能不能跑，第三个决定能跑多久。

三张卡的硬指标，以及每个指标对应什么

型号	显存与带宽	卡间互联（单卡双向）	BF16 稠密算力（标称）	典型用途
A100 80GB SXM	80GB HBM2e，约 2TB/s	NVLink 3.0，600GB/s	约 312 TFLOPS	30B 以下微调、中等规模继续预训练，生态最成熟
H100 80GB SXM	80GB HBM3，约 3.35TB/s	NVLink 4.0，900GB/s	约 989 TFLOPS	大模型预训练、长上下文、MoE，供给偏紧
H800 80GB SXM	80GB HBM3，约 3.35TB/s	NVLink 4.0，400GB/s	约 989 TFLOPS	算力贴近 H100，卡间互联减半

表里的算力是标称稠密值，实际跑起来打七八折很正常，跟框架版本、并行策略、序列长度都有关系，参数以厂商规格为准。真正值得盯的是另外两列：显存和卡间互联。

显存决定单卡能不能放下「权重 + 梯度 + 优化器状态 + 激活」。用 Adam 做全参训练，每个参数大概要吃掉 16 字节上下，一个 7B 模型光这一项就 100GB 出头，单张 80GB 卡根本装不下，必须切分或者上 ZeRO。如果只是 LoRA 微调，7B 在 24GB 卡上都能凑合，80GB 卡上跑 70B 的 QLoRA 也不是不行，就是慢。所以先算显存，再谈卡型。

H800 的互联砍半，实际影响在哪

H800 的算力和 H100 SXM 基本齐平，HBM3 也是 80GB、3.35TB/s。差的就是 NVLink：从 900GB/s 双向降到 400GB/s。很多人看到这个数字觉得「也没差多少」，上手跑多卡才发现不是那么回事。

原因在于不同并行策略对通信的依赖程度差得很远。

张量并行（TP）：每层前向反向都要做 all-reduce，通信次数跟层数同量级，通信量跟 batch、序列长度、隐层宽度成正比，而且延迟敏感。TP 度越高，越吃 NVLink 带宽。
专家并行（EP）/ MoE：all-to-all 通信，一个 token 要发给多个专家，对带宽和延迟都更敏感，H800 在这类模型上的劣势会被放大。
数据并行（DP）：梯度 all-reduce 可以跟反向计算 overlap，而且通信量与计算量的比值随 batch 增大而下降，影响相对温和。
流水线并行（PP）：只在阶段边界传激活，通信量小，代价是流水气泡，属于另一类问题。

结论：如果训练以 DP 和 PP 为主、TP 度开得小，H800 和 H100 的差距可能就 5%~10%；如果靠 TP=8 硬扛 70B 稠密模型，或者跑 MoE 做大规模专家并行，那按带宽比例推算，TP 通信时间大致接近翻倍，端到端慢 20%~35% 都有可能。这个区间是量级参考，不是承诺值，跑之前建议用真实配置压一次。

还有个更隐蔽的坑：H800 分 SXM 和 PCIe 两个版本。据公开规格，PCIe 版 H800 没有 NVLink，8 卡只能走 PCIe 5.0 x16，卡间双向带宽 128GB/s 左右，跟 SXM 版的 400GB/s 差了三倍多。拿 PCIe 版跑 TP 基本是自找麻烦，它更适合 DP 场景或者推理。租机器之前不确认这一条，很容易踩。另外 A800 和 H800、A100 和 H100 不能混在同一个 NVLink 域里，代次和带宽都对不上，要组多卡集群就同型号同版本起步，别想着混搭省钱。

多机之后，瓶颈就不在卡上了

单机 8 卡以内 NVLink 是主角。一旦跨机，通信走的是 InfiniBand 或 RoCE，这时候卡间互联再快也救不了——200Gbps 的 IB 换算下来是 25GB/s 量级，跟 NVLink 的 400GB/s 差了十几倍。集群规模上去以后，网络才是真正的瓶颈，节点内用什么卡反而退居其次。要搭多机训练，先把 RDMA 网络、拓扑（胖树还是 rail-optimized）、NCCL 参数调明白，否则 8 台 H100 跑出来的效率可能不如 2 台调好的 H800。

按预算分三档，各自怎么选

一档：单卡到四卡，月预算几千到两万

A100 80GB 或者 A800，这个档位别碰 H100/H800，卡的钱不如留着多试几轮。能干的活：7B~14B 的 LoRA/QLoRA 微调、Embedding 模型训练、小规模继续预训练配 ZeRO-2/3。单张 80GB 卡做 70B 的 QLoRA 微调是可行的，速度不快，但验证想法够用。按小时计的 GPU 服务器租用更适合这个阶段，试错成本低。

二档：8 卡整机，月预算三五万到十几万

H800 的主场。30B 稠密模型全参微调、70B 的 LoRA 或者分段训练、中等规模继续预训练都能覆盖。配置上给个参考：70B 全参在 8 卡 H800 上，TP=4 + PP=2 + ZeRO-1 往往比 TP=8 更划算，因为把大量通信压到了 PP 边界；序列长度上到 8K 以上时开 sequence parallel，能明显减轻 TP 的通信压力。这些组合没有万能解，具体可以参考我们整理的大模型训练 GPU 方案思路，再结合自己的模型压测。

三档：多机集群，月预算几十万往上

H100 或者更大规模的 H800 集群。这个阶段的选型重点从卡转到网络和调度：IB 400G 起步，配 rail-optimized 拓扑，NCCL_IB_HCA、NCCL_NET_GDR_LEVEL 这类参数得有人负责。国内拿 H100 不太容易，不少团队会走香港或新加坡的节点，延迟、带宽和合规要一起权衡，香港 GPU 算力租赁的机位通常比境内更容易排到。

价格上给个大致区间：A100 80GB 单卡每小时多在 8~20 元，H800 大致 20~40 元，境外 H100 常见 2~4 美元/卡/小时。都随供需波动，以实际报价为准，按月或按年签约一般能压下来一截，横向比价可以看 GPU 租赁价格对比那份整理。

一套能直接照着走的判断流程

算显存：参数量乘以精度字节数，训练还要加上优化器状态和激活，单卡装不下就确认需要切几份。
定并行：能用 DP/PP 解决的别硬上 TP；必须 TP 的，把 TP 度压到刚好满足显存的程度，能小不大。
压测：拿目标模型和真实数据跑 100~200 步，记录 step time 和通信占比（Nsight Systems 里看 NCCL kernel 的耗时占比就够），单卡到 8 卡的扩展效率低于 0.6，就该回头调并行策略或者换互联更好的卡型。

我们自己的经验是，七成以上「卡不够快」的抱怨，查下来其实是并行配置或者数据管线的问题，不是卡的问题。

不想自己踩一遍的话，把模型规模、微调方式和目标吞吐发到 bd@319keji.com，我们按你的实际情况给配置建议；也可以先在联系合作页面留个信息，顺带说清是短期试跑还是长期占用，方案差别挺大。

关于冬酿科技：江西冬酿科技有限公司成立于 2014 年，专注企业 AI 智能体私有化部署、大模型应用落地与 GEO 生成式引擎优化，服务南昌、武汉及全国中小企业。咨询电话 400-873-2750。