基金定投助手：为什么你的基金定投总在追涨杀跌？价值平均法定投引擎 + 综合估值模型+动态再平衡仓位管理，一个单文件 HTML 的免费定投工具-CSDN博客
https://download.csdn.net/download/weitingfu/93339607?spm=1011.2124.3001.6210

本文为《AI 硬件体系深度调研》系列第 13 篇。上一篇我们拆解了加速卡的七大模块，留下一个悬念：加速卡的"血管"——互联技术——决定多卡能跑多快。这一篇，把三类互联技术一次性讲透。

---

黄金 100 字

你是否训大模型多卡一开，发现加卡不加速，甚至更慢？很多人只盯算力，却忽略了卡与卡之间’路’的宽度。本文拆解 PCIe、多卡直连、芯片级三类互联，告诉你瓶颈常在路上。

---

一、PCIe：主机的"国道"

1.1 先认清 PCIe 的定位

PCIe（Peripheral Component Interconnect Express，外设组件互连高速标准）是加速卡和主机 CPU 之间的通用标准接口。它是"国道"——所有加速卡、显卡、网卡、SSD 都走这条路和 CPU 通信。

它的关键词是**“通用”**：任何厂商、任何板卡，只要符合 PCIe 标准，就能插进任何符合标准的主板。这种通用性让 PCIe 成为整个计算机生态的"基础设施级"接口，也让加速卡能够快速接入现有服务器。

1.2 PCIe 的带宽演进：一代翻一倍

PCIe 每一代都在带宽翻倍，演进速度非常稳定：

代际	单链路速率	x16 总带宽（单向）	发布时间定位
PCIe 4.0	16 GT/s	~32 GB/s	上一代主流
PCIe 5.0	32 GT/s	~64 GB/s	当前主流
PCIe 6.0	64 GT/s	~128 GB/s	新一代，PAM4 编码

文档锚点里有个关键表述：PCIe 4.0 → 6.0，单链路带宽提升近两倍。这里的"近两倍"指的是单链路速率从 16 GT/s 涨到 64 GT/s——整整翻了四倍（64 ÷ 16 = 4），但考虑到 PCIe 6.0 引入 PAM4 编码后有效数据率的换算差异，表述为"提升近两倍"或"翻数倍"都不影响核心结论：PCIe 的带宽一直在快速膨胀。

💡 一句话：PCIe 是"国道"，通用、标准、够用，但不是为"极致多卡通信"设计的。它的瓶颈，恰恰在下一节要讲的"多卡直连"里被暴露出来。

1.3 PCIe 的架构软肋：树形拓扑

PCIe 的通用性是有代价的，这个代价就是它的树形拓扑。

在 PCIe 架构里，CPU 是"根"，所有设备（包括加速卡）都挂在这个根下面。这意味着：

• 卡与卡之间通信必须绕经 CPU：卡 A 想给卡 B 发数据，不能直接发，得先把数据送到 CPU，CPU 再转发给卡 B。多一跳，就多一份延迟；
• 带宽共享：多张卡同时和 CPU 通信时，会争抢 PCIe 的总带宽，互相拖累；
• 扩展性受限：树形结构下，卡的规模越大，转发和争抢越严重，效率越低。

⚠️ 避坑提醒：“传统总线速度直接限制芯片算力发挥”——这是本篇文章最核心的一句。算力芯片再快，如果数据喂不进去、结果送不出来，算力就是"空转"。很多人只盯算力峰值，却忽略了这条"路"的宽度，结果多卡训练"加卡不加速"。

1.4 一个关键细节：x16 与通道拆分

PCIe 带宽的计算方式，值得单独讲清楚，因为它直接影响"一张卡能跑多快"。

PCIe 由多条"通道（Lane）"组成，每个通道是一条独立的差分信号对。常见的配置是：

• x1：1 条通道，带宽最低，用于声卡、网卡等低速设备；
• x4：4 条通道，用于 NVMe SSD；
• x8：8 条通道，带宽减半；
• x16：16 条通道，带宽最高，加速卡、显卡的标准配置。

加速卡通常用 x16，也就是 16 条通道并行传输。PCIe 5.0 x16 的单向带宽约 64 GB/s，如果降成 x8，带宽直接减半到 32 GB/s。

⚠️ 避坑提醒：插槽规格和通道数要匹配。一块 x16 的卡，如果插进一个物理上是 x16、但电气上只接出 x8 通道的插槽，实际带宽会降一半。装机时务必确认主板插槽的通道配置，别让卡"吃不满带宽"。

1.5 为什么 PCIe 一代代在翻倍，却还是"不够快"

这是个很反直觉的问题：PCIe 每一代都翻倍，为什么多卡训练还是觉得它"慢"？

答案是：AI 模型的规模增长，比 PCIe 的带宽增长还快。

• 模型参数从几亿涨到几千亿、上万亿，训练时要在多卡之间同步的梯度、参数，数据量爆炸式增长；
• 算力芯片的算力也在暴涨，单位时间内要搬运的数据更多；
• PCIe 的带宽虽然翻倍，但它的拓扑瓶颈（树形、CPU 转发、共享带宽）没有变，翻倍只是"量变"，没有解决"质变"。

💡 一句话：PCIe 的"慢"，不是带宽数字小，而是架构设计的天花板低。带宽翻倍能缓解症状，但治不了"树形拓扑"这个病根。这就是为什么需要下一节的多卡直连。

---

二、多卡专属互联：卡间"高铁"

2.1 多卡直连解决什么问题

既然 PCIe 的树形拓扑有软肋，那多卡训练这种"卡与卡之间要频繁高速通信"的场景，自然需要一个更合适的方案——多卡专属互联，也就是卡间"高铁"。

多卡直连的核心设计目标是：让卡与卡之间直接交互，不依赖 CPU 转发。典型代表是 NVLink，以及各家厂商的类似方案（如 AMD 的 Infinity Fabric 部分用法、各家自研的卡间直连）。

它的关键特性：

• 点对点直连：卡 A 和卡 B 之间拉一条专用高速通道，数据直接走，不绕 CPU；
• 高带宽：单链路带宽是 PCIe 6.0 的数倍；
• 无阻塞点对点：多卡之间可以同时通信，不互相争抢，实现全互联或无阻塞交换。

2.2 为什么多卡直连带宽能甩开 PCIe

多卡直连能提供比 PCIe 6.0 高数倍的带宽，原因在于它是为"卡间通信"这个单一场景深度定制的，而 PCIe 要兼顾各种外设的通用性。

具体来说：

• 专用物理层：不用兼容各种历史设备，可以用更激进的信号速率、更宽的链路；
• 点对点拓扑：没有 CPU 转发的中间环节，延迟低，带宽利用率高；
• 可堆叠链路：多卡直连可以多条链路并行，总带宽成倍叠加。

💡 生活化类比：PCIe 像国道，什么车都走，红绿灯多、要绕道；多卡直连像高铁，专线专用，一站直达，运力和速度都高一个量级。多卡训练是"高频、低延迟、高带宽"的通信需求，注定要坐高铁，而不是堵在国道上。

2.3 多卡直连的拓扑形态

多卡直连也不是"一根线连到底"这么简单，它有不同的拓扑形态：

• 全互联（All-to-All）：每张卡和其余所有卡都直连，通信无阻塞，但链路数量随卡数平方增长，成本高，适合小规模高端系统；
• 交换机式（Switch）：卡通过高速交换机互联，卡之间通过交换机转发，扩展性好，适合大规模集群；
• 混合拓扑：部分直连 + 部分交换机，在成本和性能之间折中。

⚠️ 避坑提醒：拓扑规划直接影响多卡训练的通信效率。通信不均（部分卡直连、部分卡走 PCIe 或交换机）会导致"木桶效应"——最慢的那条路决定整体通信速度。这也是本篇结尾思考题要讨论的核心问题。

2.4 多卡直连的代价

多卡直连性能虽强，但不是"免费的午餐"，它的代价包括：

• 成本高：专用互联需要额外的物理层、交换机、线缆、背板，硬件成本显著上升；
• 通用性差：NVLink 这类方案是厂商私有的，卡和服务器必须配套，不能随意混搭；
• 设计复杂：拓扑规划、线缆布线、故障处理都比 PCIe 复杂得多。

💡 一句话：多卡直连是"用成本和复杂度，换卡间通信的极致性能"。值不值，取决于你的场景——单卡或少量卡训练，PCIe 够用；大规模多卡训练，直连是刚需。

2.5 NVLink 的演进：带宽一路狂飙

以最具代表性的 NVLink 为例，看看多卡直连的带宽是怎么一路涨上来的：

代际	单链路带宽（双向）	主要变化
NVLink 1.0	40 GB/s	初代点对点直连
NVLink 2.0	50 GB/s	带宽提升
NVLink 3.0	100 GB/s	带宽翻倍
NVLink 4.0	200 GB/s	再翻倍，支持更大拓扑

可以看到，NVLink 的演进节奏比 PCIe 更激进——每一代都在大幅翻倍，因为它是"专线专用"，可以放开手脚提升速率，不用受"兼容各种外设"的约束。这也是为什么多卡直连能长期保持对 PCIe 的"数倍带宽"优势。

💡 一句话：多卡直连的带宽优势，不是"一次性的领先"，而是持续扩大的领先。因为它专为高性能而生，演进可以更激进。

2.6 一个真实场景：梯度同步为什么吃互联

多卡训练里，最吃互联的环节是梯度同步（AllReduce）。

以数据并行训练为例：一个批次的数据被切分到 N 张卡上，每张卡各自算出一份梯度，然后要把这 N 份梯度汇总、求平均、再广播回所有卡。这个过程叫 AllReduce。

关键点在于：AllReduce 的频率极高、每步都要做。训练一个模型要成千上万步，每一步都要做一次梯度同步。如果互联慢，每一步都卡在同步上，训练时间会成倍拉长。

• 用小批次、频繁同步，对延迟敏感——需要低延迟的点对点直连；
• 大模型、大梯度，对带宽敏感——需要高带宽的直连。

💡 生活化类比：梯度同步像一群工人协作搬砖——每个人算好自己搬了多少，然后要快速"对账"再继续。如果"对账"环节慢（互联慢），哪怕每个人搬砖都快（算力强），整体进度也会被"对账"拖垮。多卡训练里，互联就是那个"对账"环节。

---

三、芯片级互联：基板上的"地铁"

3.1 芯片级互联是什么

如果说 PCIe 是"国道"、多卡直连是"高铁"，那芯片级互联就是基板上的**“地铁”**——在加速卡内部，芯片与芯片、芯片与内存之间，还有一层更底层、更高速的互联。

芯片级互联的特点是：芯片与内存同基板直连，也就是多个芯片通过硅中介层（Interposer）或先进封装（CoWoS 等）直接连在同一块基板上，走线极短。

这种"同基板直连"带来三个关键优势：

• 带宽更高：走线短、信号速率高，带宽可以做到 TB/s 级；
• 延迟更低：物理距离近，信号传播时间极短；
• 功耗更低：短走线相比长走线，传输同样数据的功耗显著下降。

3.2 芯片级互联的典型形态

芯片级互联最常见的应用，就是算力芯片与 HBM 内存之间的连接。

前面第 12 篇讲过，HBM 通过先进封装紧贴算力芯片部署。这个"紧贴"靠的就是芯片级互联——通过硅中介层，把算力芯片和 HBM 芯片连在同一块基板上，用极短的走线实现 TB/s 级带宽。

此外，多颗算力芯片拼成一颗"超级芯片"（Chiplet / 多芯封装）也依赖芯片级互联。比如把两颗或多颗芯片通过先进封装连起来，对外看起来像一颗芯片，内部用极高速的互联通信。

💡 一句话：芯片级互联是"最底层、最高速、最短距"的互联。它解决的是"芯片和芯片、芯片和内存之间"的通信，是整条互联技术栈的"地基"。

3.3 三个层级的关系：从外到内

把三类互联放在一起，能清楚看到它们的层级关系：

• 芯片级互联：芯片与 HBM、芯片与芯片之间，在同一块基板内部，带宽最高、延迟最低；
• 多卡直连：卡与卡之间，在同一台服务器或机柜内部，带宽次高、延迟次低；
• PCIe：卡与 CPU 之间，是跨系统、跨设备的通用接口，带宽最低、延迟最高。

从外到内，带宽递增、延迟递减、距离缩短、专用程度升高。这是一条清晰的"互联技术光谱"。

3.4 芯片级互联的"工程底座"：先进封装

芯片级互联能实现"TB/s 级带宽、极低延迟"，靠的不是魔法，而是先进封装技术。

其中最典型的是 CoWoS（Chip-on-Wafer-on-Substrate） 和 硅中介层（Silicon Interposer）：

• 硅中介层：在算力芯片和 HBM 之间放一块硅片，上面布好密密麻麻的高速走线，让芯片和内存能"贴着"互连；
• CoWoS：把多颗芯片（算力芯片 + HBM）一起封装到中介层上，再整体贴到基板，实现"多芯片同基板直连"。

这些先进封装技术的核心价值，就是把原本"芯片与芯片之间"的长距离互连，压缩到"同一块基板、几毫米走线"的短距离互连。距离一短，带宽、延迟、功耗全都跟着优化。

💡 生活化类比：芯片级互联靠的是**“搬家"而不是"修路”**——与其在芯片之间修一条又长又慢的"公路"（长走线），不如直接让它们"住进同一栋楼"（同基板封装），出门就是邻居，通信自然又快又省。

3.5 芯片级互联的三个量级优势

把芯片级互联的优势具体化，能看到它和另外两级互联的"代差"：

• 带宽：芯片级互联可达 TB/s 级，是 PCIe x16（几十 GB/s）的几十倍；
• 延迟：芯片级互联的延迟是芯片内部量级（纳秒甚至更低），比经 CPU 转发的 PCIe 低几个数量级；
• 功耗：短走线传输同样数据，功耗显著更低，这对功耗敏感的 AI 芯片至关重要。

💡 一句话：芯片级互联的"高带宽、低延迟、低功耗"，三者同时成立，靠的就是"把距离压到最短"。这是物理层面最优雅的解法。

---

四、三种互联带宽量级对比

4.1 一张表看清三者的差距

把三类互联的关键指标摆在一起，量级差距一目了然：

互联类型	典型带宽（单链路）	典型延迟	物理范围	定位
PCIe 5.0/6.0	32-64 GB/s（x16）	高（微秒级，经 CPU 转发）	主机与卡之间	国道
多卡直连（NVLink 类）	数百 GB/s 到 TB/s	低（纳秒级，点对点）	卡与卡之间	高铁
芯片级互联	TB/s 级	极低（芯片内部级）	芯片与 HBM/芯片之间	地铁

这张表揭示了一个核心规律：带宽越高、延迟越低的互联，物理距离越短、专用程度越高。

💡 一句话：互联技术的本质，是"用更短的距离、更专用的设计，换更高的带宽和更低的延迟"。三个层级，就是这个"交换"从通用到专用的三个梯度。

4.2 为什么带宽差距是"量级"而非"百分比"

PCIe x16 是几十 GB/s，多卡直连是几百 GB/s 到 TB/s，芯片级互联是 TB/s 级——这三者之间的差距是一个数量级，不是"差个 20%、30%"这种量级。

为什么会拉开这么大的差距？根本原因是物理距离和设计专用度：

• PCIe 要走主板、走插槽、走线很长，还要兼容各种设备，信号速率受限；
• 多卡直连虽然也是"卡外"，但可以专用物理层、点对点直连，距离比 PCIe 短，速率更高；
• 芯片级互联在基板内部，走线只有几毫米，信号速率可以拉满，带宽自然最高。

距离每缩短一个量级，带宽就能往上跳一个量级。这是高速信号传输的物理规律决定的。

4.3 延迟的重要性：多卡训练的死穴

很多人只看带宽，却忽略了延迟——而延迟恰恰是多卡训练的死穴。

多卡训练时，成千上万张卡要频繁地、小批量地同步梯度。每一次同步，数据量可能不大，但要"快"。如果延迟高，即使带宽再大，每一次同步都要等，成千上万次同步累积下来，时间就全浪费在"等待"上了。

💡 生活化类比：带宽是高速公路的宽度（一次能过多少车），延迟是信号灯的响应速度（每辆车要等多久才放行）。多卡训练的梯度同步，是一辆辆"小轿车"高频往返，它要的不是路多宽，而是每个路口别等太久。PCIe 的"信号灯"要经过 CPU 转发，等得久；多卡直连点对点，几乎不用等。这就是为什么多卡训练必须上直连。

4.4 带宽与延迟的"乘法效应"

带宽和延迟，不是两个孤立指标，它们会相乘地影响多卡训练效率。

一个直观的理解：如果一次 AllReduce 要同步的数据量是 D，那么通信耗时大致等于"传输时间 + 固定延迟"。

• 数据量大时（大模型、大梯度），传输时间占主导，带宽越重要；
• 数据量小时（小模型、频繁同步），固定延迟占主导，延迟越重要。

而多卡训练的梯度同步，往往是**“中等数据量 + 极高频次”——所以带宽和延迟都重要**，缺一不可。这也是为什么多卡直连要同时做到"高带宽"和"低延迟"，而不是只追求其中一个。

💡 一句话：带宽决定"一次能搬多少"，延迟决定"每搬一次要等多久"。高频同步场景下，两者一起决定总耗时，这就是"乘法效应"。

---

五、选互联就是选扩展性

5.1 三种互联的适用场景

理解了三种互联的差异，选型就清晰了：

场景	推荐互联	原因
单卡训练 / 推理	PCIe	通用、够用、成本低
少量多卡（2-8 卡）	PCIe + 部分直连	兼顾成本与性能
大规模多卡训练（成百上千卡）	多卡直连（全互联/交换机）	通信是瓶颈，必须上高铁
芯片内部 / HBM 通信	芯片级互联	带宽和延迟的极致要求

核心结论：选互联，本质是选扩展性。

• 只跑单卡，PCIe 完全够用，没必要上昂贵的直连；
• 要扩展到几十、几百张卡，PCIe 的树形瓶颈会迅速暴露，多卡直连成为刚需；
• 芯片内部，永远是芯片级互联的天下，这是物理定律决定的。

5.2 "加卡不加速"的真相

回到开头那个痛点：为什么"多卡一开，加卡不加速，甚至更慢"？

答案几乎总是出在互联上：

• PCIe 带宽不够：数据搬运跟不上算力，卡在等数据；
• 拓扑不合理：通信路径绕远、争抢，延迟高；
• 通信不均：部分卡走快路、部分卡走慢路，整体被最慢的拖垮。

💡 一句话：算力决定单卡上限，互联决定多卡上限。加卡之前，先问一句：你加的这张卡，路够宽吗？

5.3 未来趋势：互联越来越"芯片化"

互联技术还在快速演进，一个明显趋势是：互联越来越向"芯片级"靠拢。

• 多卡直连的带宽不断提升，越来越接近芯片级互联的水平；
• 光电共封装（CPO）、硅光互联等新技术，尝试把光通信引入芯片和卡之间，进一步缩短距离、提升带宽；
• 芯片级互联的先进封装技术（CoWoS、SoIC 等）不断成熟，让更多芯片"装进同一块基板"。

💡 一句话：互联技术的终极方向，是让"卡与卡"的通信，变得像"芯片与芯片"一样快。当距离不再是瓶颈，多卡才能真正像"一台超级计算机"一样协同工作。

5.4 拓扑规划的实战思考

选型之外，拓扑规划同样关键。这里给出几个实战思考点，帮你在"通信不均"时快速定位问题：

• 统一互联等级：尽量避免"一部分卡走直连、一部分卡走 PCIe"的混合状态。因为整体通信速度会被最慢的那条路"锁死"，混搭等于白白浪费直连的性能；
• 对称拓扑优先：全互联或对称的交换机拓扑，能让每张卡的通信负载均衡，避免"热点卡"成为瓶颈；
• 预留扩展空间：规划时就要想清楚未来要扩到多少卡，拓扑要能平滑扩展，而不是"加卡就要推倒重来"；
• 监控通信瓶颈：训练变慢时，先看通信耗时占比。如果大部分时间花在 AllReduce 上，说明互联是瓶颈，该升级直连或优化拓扑了。

💡 一句话：拓扑规划的核心，是"让每张卡的路一样宽"。任何一张卡"路窄了"，整条训练流水线都会被它拖慢。

5.5 一句话选型口诀

最后，把本篇的选型逻辑浓缩成一句口诀，方便你记住：

卡内地铁（芯片级），卡间高铁（直连），对外国道（PCIe）——能坐高铁就别堵国道，但也要看钱包。

• 单卡 / 推理：国道就够，别浪费钱上高铁；
• 多卡训练：必须上高铁，否则加卡不加速；
• 芯片内部：永远是地铁，物理定律说了算。

这句口诀，就是"选互联就是选扩展性"的落地版本。

---

配图

图 1：三类互联层级图（主机 PCIe / 卡间直连 / 芯片级）

flowchart TB
    CPU[CPU 主机]
    subgraph 卡1[加速卡 1]
        芯片A[算力芯片]
        内存A[HBM]
        芯片A <-- 芯片级互联<br/>TB/s 级 --> 内存A
    end
    subgraph 卡2[加速卡 2]
        芯片B[算力芯片]
        内存B[HBM]
        芯片B <-- 芯片级互联<br/>TB/s 级 --> 内存B
    end
    CPU <-- PCIe 5.0/6.0<br/>主机国道 --> 卡1
    CPU <-- PCIe 5.0/6.0<br/>主机国道 --> 卡2
    卡1 <-- 多卡直连 NVLink<br/>卡间高铁 --> 卡2

三个层级清晰分层：芯片级互联在卡内（最短、最快），多卡直连在卡间（点对点），PCIe 连接主机与卡（通用、最慢）。

图 2：三种互联带宽与延迟量级对比柱状图

xychart-beta
    title "三类互联带宽量级对比（示意，非精确数值）"
    x-axis ["PCIe 5.0/6.0", "多卡直连", "芯片级互联"]
    y-axis "相对带宽（倍）" 0 --> 100
    bar [1, 10, 50]

柱状图示意：以 PCIe x16 带宽为基准（设为 1），多卡直连约其 10 倍量级，芯片级互联可达其 50 倍量级。层级越靠近芯片，带宽越高、延迟越低。

---

写在最后

三类互联，一条光谱：PCIe 是通用国道，多卡直连是专用高铁，芯片级互联是基板地铁。它们的差异，本质是"通用性"和"性能"之间的权衡——越通用，带宽越低；越专用，性能越强。

理解了这条光谱，你就能回答那个最经典的问题：为什么多卡训练不能全靠 PCIe？ 因为 PCIe 的树形拓扑、CPU 转发、共享带宽，天生不适合"高频、低延迟、高带宽"的多卡梯度同步。多卡训练要跑得快，必须让卡与卡之间坐上"高铁"。

下一篇，我们走一遍加速卡的完整工作闭环，从指令下发到结果回传，并看看 2025-2026 高端卡的真实参数。

---

【思考题】

如果集群里一部分卡用PCIe、一部分用直连，通信不均会怎样？怎么拓扑规划？欢迎探讨。

【系列文章预告】

下一篇走一遍加速卡完整工作闭环，并看2025-2026高端卡的真实参数。

---

标签：加速卡互联、PCIe、多卡直连、芯片级互联、NVLink类、带宽、多卡训练

---

PCIe 为加速卡与主机 CPU 的通用标准，4.0→6.0 单链路带宽提升近两倍；多卡专属互联实现卡间直接交互、不依赖 CPU 转发，单链路带宽是 PCIe 6.0 数倍，支持无阻塞点对点；芯片级互联让芯片与内存同基板直连，带宽更高、延迟更低、功耗更低；传统总线速度直接限制芯片算力发挥。