本文为《AI 硬件体系深度调研》系列第 07 篇。上一篇我们把训练芯片的"灵魂"——脉动阵列讲透了。但灵魂再强，也得有"肉体"来承载。本篇回到训练芯片的整体，用工程师视角盘点 2025-2026 年它在制程、显存、互联、精度四个维度的"肌肉量"现状。

---

黄金 100 字开头

你是否被各种"HBM3E"“1.8TB/s”"1000 亿晶体管"的参数轰炸得头晕？厂商发布会只报峰值，却不说这些数字对写代码的人意味着什么。本文用工程师视角，把训练芯片现状的关键参数翻译成你能用的信息。

---

一、制程：1000 亿晶体管的物理基础

训练芯片的一切算力，最终都建立在"晶体管"这个物理单元上。而晶体管的数量与密度，由制程工艺决定。2025-2026 年的训练芯片，已经全面进入 3nm 到 5nm 的先进制程时代，单颗芯片晶体管数量突破 1000 亿颗。

1.1 制程纳米数到底在说什么

先说清楚一个常见误解：制程的"3nm"“5nm”，并不是芯片上任何一条线的真实物理宽度，而是一个衡量工艺代际的"命名约定"。它真正反映的是：单位面积上能塞下多少晶体管，以及每个晶体管的开关速度和漏电功耗。

制程数字越小，晶体管越小、越密、越快、越省电。从 7nm 到 5nm，再到 3nm，每一代带来的典型收益是：同等功耗下算力提升 20%-30%，或同等算力下功耗下降 30% 左右。对于动辄几百瓦的训练芯片来说，这 30% 的功耗节省，直接决定了它能不能塞进标准机柜、能不能用风冷压住。

制程的进化，背后是两样东西在支撑：光刻机和晶体管结构。3nm 制程依赖极紫外光刻（EUV），用波长极短的紫外光在晶圆上"画"出几纳米的图案；晶体管结构也从传统的 FinFET（鳍式场效应管）演进到了 GAA（全环绕栅极）——简单理解，就是把晶体管的"闸门"从三面包围升级到四面包围，让电流控制得更精细、漏电更少。这些技术名词听起来高深，但对写代码的人只有一个意义：同样的芯片，能塞更多、更快、更省电的晶体管。

1.2 1000 亿晶体管意味着什么

1000 亿颗晶体管是一个什么概念？一张 3nm 的训练芯片，晶体管数量已经超过了一些小型城市的居民总数。把这 1000 亿颗晶体管铺开，每一颗都只有几纳米大小，靠光刻机在 12 英寸晶圆上一层层"雕刻"出来。

这么多晶体管，绝大部分被投向了三类用途：

• 计算单元：脉动阵列、张量核心、通用 SIMT 单元，占了大头；
• 片上缓存：SRAM、寄存器堆，用来就近喂数据；
• 互联与控制：片上网络（NoC）、HBM 控制器、PCIe 控制器等"基础设施"。

💡 工程师视角：晶体管数量不是用来炫耀的，而是用来"分工"的。一颗优秀的训练芯片，1000 亿晶体管里要有足够高的比例投给"有效算力"，而不是被控制逻辑、缓存一致性这些"开销"吃掉。这也是为什么"晶体管多"不等于"算力强"——还得看晶体管用在了哪里。

换句话说，晶体管预算的分配，直接反映了一颗芯片的设计哲学：是"重计算轻控制"的专用路线（如脉动阵列），还是"重通用重控制"的通用路线（如 CPU）。训练芯片之所以能在矩阵乘上碾压 CPU，正是因为它把海量晶体管预算，几乎全部押在了"算"这一个字上。

1.3 制程的代价：越来越贵

先进制程不是白给的。3nm 的流片成本、设计成本、良率爬坡成本，都比 5nm 高出一大截。一颗 3nm 芯片的研发投入，动辄数亿美元，光是一套掩膜版就可能上千万美元。这也是为什么全球能玩得起 3nm 训练芯片的玩家，一只手数得过来。

更残酷的是，先进制程的"入场券"几乎被极少数代工厂垄断。目前能稳定量产 3nm 的代工厂，全球屈指可数。这意味着：任何一家想做训练芯片的公司，都要先拿到先进制程的产能，否则设计得再漂亮也流不了片。制程，已经从纯技术问题，变成了"技术 + 供应链 + 地缘"的复合博弈。这也是为什么近年"自主制程"被反复提及——它不只是一句口号，而是卡在训练芯片喉咙上的真实瓶颈。

更现实的约束是：制程红利正在递减。从 5nm 到 3nm，性能提升已经不如从 7nm 到 5nm 那么明显，但成本涨幅却更大。这就逼着芯片厂商去寻找"制程之外的算力增长点"——而这正是本篇后面要讲的存储、互联、精度三条路。

---

二、存储：HBM3/E 的带宽天花板

如果说制程决定了"能算多快"，那么存储决定了"算得快的部分能不能兑现"。训练芯片的第二大现状，就是标配 HBM3/HBM3E 高带宽内存。

2.1 为什么训练芯片离不开 HBM

回到上一篇的核心结论：数据搬运是瓶颈，传输慢于计算。训练芯片的算力动辄上千 TFLOPS，要想把这些算力喂饱，内存带宽必须高到离谱。普通 DDR 内存的带宽只有几十 GB/s，根本不够看；而 HBM 通过"堆叠 + 硅中介层 + 超宽总线"的方式，把带宽做到了 2.5TB/s 到 8TB/s——比 DDR 高出两个数量级。

打个比方：普通 DDR 像一条双车道公路，HBM 像一条几十车道的高架桥。同样是运货（喂数据），高架桥一次能过的车多得多，算力这座"工厂"才不会断粮。

那到底要多大的带宽才"够"？可以算一笔账：算力（FLOP/s）÷ 算力强度（FLOP/Byte）＝ 所需带宽（Byte/s）。以一篇里提到的高算力训练芯片为例，FP16 算力约 2000 TFLOPS，矩阵乘法的算力强度较高（每个字节数据能做几十次乘加），但即便按乐观的 100 FLOP/Byte 算，也需要 约 20TB/s 的带宽才能把算力完全喂饱。而现实中的 HBM3E 只做到 8TB/s——连"喂饱"的一半都不到。

这就是训练芯片的残酷现实：算力早已跑在带宽前面，内存墙不是被推翻了，而是被"缓解"了。所以下一篇讲脉动阵列时反复强调的"数据复用"，才显得那么关键——既然外面喂不饱，就只能靠芯片内部把数据"多嚼几遍"。

2.2 容量：单颗显存 80GB-288GB

2025-2026 年的训练芯片，单颗显存容量普遍在 80GB 到 288GB 之间。为什么这么大？因为大模型的参数量摆在那里：

• 训练一个 700 亿参数的模型，光是权重本身就要几百 GB（按 FP16 每个参数 2 字节算，70B 参数约 140GB）；
• 再加上梯度、优化器状态（Adam 优化器每个参数要额外存两份动量，约 4 倍于权重），显存需求轻松突破 TB 级。

所以单卡 80GB 到 288GB 的显存，根本不是"够用"，而是"勉强能跑"。这也是为什么大模型训练必须靠多卡集群——单卡显存装不下，只能把模型切碎、分布在几十上百张卡上。

再把账算细一点，你会更直观地感受到"显存焦虑"。以主流 70B 参数模型、Adam 优化器为例，训练时的显存占用大约是纯权重的 4 到 6 倍：

• 权重本身：70B × 2 字节（FP16）≈ 140GB；
• 梯度：和权重同样大小，再加 140GB；
• Adam 优化器的一阶、二阶动量：各占一份权重大小，共 280GB；
• 加上激活缓存、临时张量，总占用轻松突破 600GB。

一张 80GB 的卡，连一个 70B 模型训练的"边角料"都装不下，更别说 288GB 也只是"刚好能跑小规模微调"。这就是为什么"显存容量"和"显存带宽"一样，是训练芯片最硬的指标——它直接决定了你能训练多大的模型，以及需要多少张卡。

2.3 HBM3 与 HBM3E 的区别

HBM3 和 HBM3E 是当前的两代主力。HBM3E 可以理解为 HBM3 的"增强版"，主要提升在两处：

• 带宽更高：HBM3 单颗典型带宽在 3-5TB/s，HBM3E 可以做到 6-8TB/s；
• 容量更大：HBM3E 支持更高的堆叠层数，单颗容量上限更高。

⚠️ 避坑警告：厂商宣传的"8TB/s"通常是整卡所有 HBM 堆叠的合计带宽，不是单颗 HBM 的带宽。看参数时一定要分清"单颗"还是"整卡"，否则容易被峰值数字误导。

HBM 为什么能这么宽？它的秘诀在于"垂直堆叠"。普通 DRAM 是平铺在电路板上的，数据线又长又少；而 HBM 把多层 DRAM 芯片像叠汉堡一样竖着叠起来，再用密密麻麻的硅通孔（TSV，Through-Silicon Via）从中间垂直贯穿，配合一个超宽的总线（1024 位甚至更宽）把数据导出来。

你可以把它想象成：普通内存是"平房区"，HBM 是"摩天楼"。平房区占地大、道路窄；摩天楼向上要空间，每层都有直梯（TSV）直达地面，进出通道又多又宽。这就是 HBM 能在小面积上实现超大带宽的根本原因——它把"横向布线"变成了"纵向堆叠"。

但摩天楼也有代价：堆叠层数越高，散热越难、良率越低、成本越贵。这也解释了为什么 HBM 是训练芯片里最贵、最稀缺的部件之一——它本身就是"用钱和工艺堆出来的带宽"。

2.4 带宽的"天花板"为什么是它

HBM 虽然快，但也不是没有天花板。它的瓶颈在于：堆叠层数有限、硅中介层成本高、功耗散热压力大。继续堆 HBM，边际收益在递减，成本和散热却线性上升。

所以训练芯片的存储现状，其实是一个"带宽焦虑"：算力涨得比带宽快，带宽永远追不上算力。这也解释了为什么芯片厂商要花大力气做"数据复用"（上一篇讲的脉动阵列）——因为外部带宽的天花板摆在那里，只能靠芯片内部把数据"多用几次"来弥补。

---

三、互联：1.8TB/s 卡间直连

单卡再强，也扛不住大模型训练。于是训练芯片的第三大现状，就是芯片间互联——把成千上万张卡连成一个整体。

3.1 从 PCIe 到专用互联

传统上，显卡通过 PCIe 总线连到 CPU 和彼此。但 PCIe 的带宽是瓶颈：PCIe 5.0 x16 的带宽只有约 128GB/s，对于需要频繁交换梯度的大规模训练来说，慢得让人抓狂。

于是英伟达的 NVLink、AMD 的 Infinity Fabric 等专用芯片间互联应运而生。它们的核心思路是：放弃 PCIe 的通用性，专门为芯片间高速通信设计一条"直达高速路"。当前主流训练芯片的芯片间直连带宽，已经做到 1.8TB/s——比 PCIe 5.0 高出 14 倍以上。

光有高速"路"还不够，还得把路"织成网"。大规模训练不是两张卡互联，而是几十、几百张卡要彼此通信。于是就有了互联拓扑的概念——决定卡和卡之间怎么连、数据怎么走。常见的有两种：

• 全连接（如 NVSwitch）：一个交换芯片把所有卡直接连起来，任意两张卡都能"一跳直达"，带宽不打折，但交换芯片本身贵、规模受限；
• 胖树 / 环网（如 InfiniBand + 树形）：通过多级交换机构建更大的网络，规模可扩展，但多跳会引入延迟。

💡 工程师视角：互联带宽是"单条路"的宽度，互联拓扑是"路网"的形状。单条路再宽，路网如果全是瓶颈路口，集群照样堵。评价训练集群，两者都要看。

3.2 1.8TB/s 意味着什么

1.8TB/s 的卡间互联，意味着什么？在数据并行训练里，每次反向传播后，所有卡都要"同步梯度"——把各自算出的梯度互相交换、求平均。互联带宽越高，这个"同步"就越快，集群的算力利用率就越高。

如果互联带宽不够，就会出现一个尴尬场景：卡算完了，却堵在"对账"上。几百张卡一起等梯度同步，算力再强也在干瞪眼。所以互联带宽，本质上是集群规模的"地基"——地基不牢，卡越多越容易塌。

3.3 互联带宽的计算账

用一个粗略的数字算一算。假设一个 70B 参数的模型，梯度按 FP16 存储，每次同步要传输约 140GB 数据。如果互联带宽是 1.8TB/s，一次同步理论上只要约 0.08 秒；如果换回 PCIe 5.0 的 128GB/s，一次同步要 1 秒多。看起来差得不多，但一次训练要同步成千上万次，累积下来就是天壤之别。

💡 工程师视角：互联带宽决定了"卡海战术"能不能成立。单卡 1.8TB/s，几百张卡就能有效协同；如果只有 PCIe 那种带宽，堆到几十张卡后，通信开销就会吃掉大部分算力，再堆卡也没用。

3.4 互联的现状格局

当前互联的现状格局是"厂商各自为战"：英伟达有 NVLink + NVSwitch，AMD 有 Infinity Fabric，各家都有自己的私有协议。这也带来了一个隐忧——不同厂商的卡难以互连，集群往往只能"全英伟达"或"全 AMD"。互联协议的开放与统一，是行业正在博弈的方向。

为了打破这个僵局，业界出现了两种努力。一种是开放联盟，比如超以太网联盟（UEC）、CXL（Compute Express Link）等标准，试图定义一套厂商中立的互联协议，让不同芯片能"说同一种语言"。另一种是向上抽象，通过框架和通信库（如 NCCL、oneCCL）屏蔽底层差异，让开发者不必关心底层是 NVLink 还是 InfiniBand。

💡 工程师视角：互联的"私有化"是历史惯性，但"开放化"是必然趋势。对写代码的人来说，这件事的影响很实在——如果你要自建多卡集群，一定要先确认所选芯片的互联生态是否开放、是否和你已有的硬件兼容，否则很容易被"锁死"在单一厂商的生态里。

---

四、精度：FP8/INT8 混合精度红利

制程、存储、互联都是"硬件肌肉"，而第四大现状——精度，则是"软件与硬件的化学反应"。

4.1 训练精度的演进路线

早年的训练芯片以 FP32（单精度） 为主。后来人们发现，FP16/BF16（半精度） 对训练来说精度已经足够，于是半精度成为主流，算力直接翻倍——因为同样面积的晶体管，做 16 位乘加比做 32 位乘加，数量可以翻一倍。

到 2025-2026 年，训练芯片的主流精度是 FP16/BF16 为主，同时新一代芯片开始引入 FP8/INT8 混合精度。这里的"混合"，指的是：关键的部分用高精度，不关键的部分用低精度，在保证收敛的前提下，榨取更多算力。

4.2 FP8 为什么能"翻倍"

FP8 是 8 位浮点格式，比 FP16 又少了一半的位宽。这意味着：同样的晶体管阵列，FP8 的吞吐量是 FP16 的两倍。新一代芯片引入 FP8 后，有效算力提升一倍以上，这就是标题里说的"算力翻倍"。

但 FP8 精度低，直接拿来训练会"丢精度"，导致模型不收敛。所以工程上的做法是混合精度训练：

• 权重、激活用 FP8 存储和计算，省一半带宽、快一倍；
• 梯度累积和参数更新用 FP16 或 FP32，保证精度不崩。

💡 一句话：FP8 不是"替代"FP16，而是"和 FP16 打配合"。该精细的地方精细，该省的地方省，两头好处都占。

FP8 本身也分两种主流格式，各有分工：

• E4M3（1 位符号 + 4 位指数 + 3 位尾数）：精度更高，适合前向传播——权重和激活的前向计算用它，损失更小；
• E5M2（1 位符号 + 5 位指数 + 2 位尾数）：动态范围更大，适合反向传播——梯度值变化幅度大，需要更宽的指数范围兜住。

💡 记忆口诀：E4M3 管"前向的准"，E5M2 管"反向的稳"。前向要精度，反向要范围，两种 FP8 各司其职。这也再次印证了混合精度的精髓——没有一种精度是万能的，按任务分配精度才是王道。

4.3 BF16 与 FP16 的差别

BF16（Brain Floating Point）和 FP16 都是 16 位，但位分配不同：FP16 是 1 位符号 + 5 位指数 + 10 位尾数，BF16 是 1 位符号 + 8 位指数 + 7 位尾数。BF16 的指数范围更大，数值动态范围更接近 FP32，因此训练时更不容易"溢出"，收敛更稳。

这也是为什么训练芯片偏爱 BF16：它牺牲了一点尾数精度，换来了和 FP32 相近的数值范围，省去了大量"缩放、防溢出"的麻烦。而推理场景则更爱 INT8——因为它连浮点都不要了，直接整数运算，更省电。

这里必须提一个关键技巧：损失缩放（Loss Scaling）。用 FP8/FP16 训练时，梯度值往往非常小（可能小到 1e-5 甚至更小），如果直接存进低精度格式，会被"舍入成零"，导致模型学不到东西。工程上的解法是：在反向传播前，把损失值乘以一个大系数（比如 1024），让梯度变大到低精度能表示的范围；更新参数前再除以这个系数。

💡 一句话：损失缩放是"先把小人放大，做完再缩小"，本质是给低精度训练兜底，防止小梯度被吞掉。这是所有用 FP8/FP16 训练的框架（PyTorch 的 AMP、TensorFlow 的 mixed precision）都在自动做的事情——你大概率用过它，只是没意识到。

4.4 精度红利的本质

精度的演进，本质是**"用最小代价完成任务"的工程哲学**。芯片面积是有限的，8 位乘加器比 32 位乘加器小得多、省得多、快得多。把精度从 32 位降到 16 位再降到 8 位，相当于在同样面积上把算力翻了两番。

但这个红利不是免费的——它依赖算法层面的配合（缩放、混合精度、梯度检查点等）。所以"精度"这个现状，是硬件和软件共同推动的，缺了哪一边都不行。

---

五、现状总结与趋势暗示

盘点完制程、存储、互联、精度四个维度，最后做一个总结，并看趋势往哪走。

5.1 四大参数一张表

维度	2025-2026 现状	关键数据
制程	3nm-5nm 先进制程	晶体管突破 1000 亿颗
存储	标配 HBM3/HBM3E	单颗显存 80-288GB，带宽 2.5-8TB/s
互联	专用芯片间直连	带宽达 1.8TB/s，远超 PCIe
精度	FP16/BF16 为主	引入 FP8/INT8，算力提升一倍以上

这四行参数，基本可以覆盖一颗训练芯片的"硬实力画像"。看任何训练芯片的发布参数，都可以用这四个维度去套。

5.2 一个核心矛盾：算力涨得比带宽快

把这四个维度放在一起看，会发现一个贯穿始终的矛盾：算力（制程+精度）涨得比带宽（存储+互联）快。

• 制程从 5nm 到 3nm，算力涨了 30%；
• 精度从 FP16 到 FP8，算力又翻倍；
• 但 HBM 带宽只从 5TB/s 涨到 8TB/s，互联从 1TB/s 涨到 1.8TB/s，涨幅远跟不上算力。

算力是"生产速度"，带宽是"原料供应速度"。生产速度翻倍，原料供应却只涨一点点，工厂迟早要"停工待料"。这就是训练芯片当下最大的技术张力。

5.3 趋势：往"省带宽"方向进化

既然带宽追不上算力，趋势就很清晰了——往"省带宽"方向进化。具体表现为：

• 更激进的精度压缩：FP8 之后还会有 FP4，用更低精度进一步降低带宽需求；
• 更彻底的片上复用：脉动阵列、算子融合、显存分页优化，把数据"多用几次"；
• 更智能的通信调度：梯度压缩、异步通信，减少卡间传输量。

💡 一线判断：未来的训练芯片，核心竞争力不在"峰值算力"这个数字上，而在"有效算力"——也就是扣除搬运、等待、通信损耗后，真正用于计算的算力占比。谁能把"搬运税"降得最低，谁就能在制程红利耗尽之后继续领跑。

顺着这个趋势往下看，几个已经在路上的技术方向值得关注：

• 光互联：用光信号代替电信号做芯片间甚至芯片内通信，带宽能再上一个数量级，且功耗更低。这是打破"电互联天花板"的最强候选；
• 存算一体：把计算单元直接做进存储器里，让数据"就地算"，从根上消灭搬运。目前还处在早期，但方向极具颠覆性；
• 3D 封装与 Chiplet：把芯片像"叠乐高"一样堆叠、拼装，用小芯片组合出大算力，绕开单颗芯片面积的物理极限；
• 新计算范式：从矩阵乘的"暴力算"转向更稀疏、更结构化的算法（如 MoE 稀疏专家、低秩分解），用更少的算力做同样的事。

这些方向共同指向一个判断：当"把晶体管做小"这条路越走越窄，未来的算力增长将更多来自"把数据搬得更好、把计算组织得更聪明"。这也是为什么本篇反复强调——别只盯着峰值算力。

5.4 给写代码的人的三条实用建议

最后，把这套现状翻译成"你能用的信息"：

1. 别只看峰值算力：看训练芯片，先看 HBM 带宽和互联带宽，这两个才决定大模型训练的实际速度；
2. 优先用 BF16/FP8 混合精度：在框架里开混合精度，通常能白拿 1.5-2 倍速度，代价很小；
3. 卡海战术要算通信账：多卡训练前，先确认互联拓扑和带宽，避免"卡越多越慢"的尴尬。

---

配图

图 1：训练芯片四大现状参数雷达图（制程/显存/互联/精度）

quadrantChart
    title 训练芯片四大现状参数
    x-axis 低 --> 高
    y-axis 低 --> 高
    quadrant-1 领先区
    quadrant-2 追赶区
    quadrant-3 待补区
    quadrant-4 稳固区
    制程: [0.85, 0.7]
    显存带宽: [0.8, 0.65]
    芯片互联: [0.75, 0.6]
    精度红利: [0.9, 0.8]

制程、显存带宽、芯片互联、精度红利四个维度当前均处于高位，其中精度红利（FP8 引入）最具提升弹性。

图 2：HBM 带宽逐年演进柱状图

xychart-beta
    title "HBM 带宽演进（TB/s）"
    x-axis ["HBM2e", "HBM3", "HBM3E", "HBM4(规划)"]
    y-axis "带宽" 0 --> 10
    bar [0.6, 3, 8, 10]

从 HBM2e 到 HBM3E，整卡带宽从不到 1TB/s 跃升至 8TB/s；下一代 HBM4 规划突破 10TB/s，但算力增速仍快于带宽增速。

---

写在最后

训练芯片的现状，可以浓缩成四个关键词：3nm 制程、HBM3E、1.8TB/s 互联、FP8 精度。它们共同构成了 2025-2026 年训练芯片的"肌肉量"。但比参数更重要的，是看清背后的趋势——算力涨得比带宽快，未来的竞争在"有效算力"而非"峰值算力"。

下一篇，我们转向推理芯片，看它为何反其道而行之——在架构上做"减法"。

---

【思考题】

当制程逼近物理极限，未来训练芯片算力提升还能靠什么？欢迎评论区预测。（提示：可以从光互联、存算一体、3D 封装、新计算范式等方向想想。）

【系列文章预告】

下一篇转向推理芯片：它为何要在架构上做’减法’。

---

标签：训练芯片现状、HBM3E、3nm制程、芯片互联、FP8、混合精度、算力参数

---

制程为 3nm-5nm 先进制程、晶体管突破 1000 亿颗；存储标配 HBM3/HBM3E、单颗显存 80GB-288GB、带宽 2.5TB/s-8TB/s；芯片间直接互联带宽达 1.8TB/s、远高于 PCIe；精度以 FP16/BF16 为主、新一代引入 FP8/INT8 混合精度、有效算力提升一倍以上。