导读：2026 上半年国内数据中心 AI 硬件市场出现两个很现实的变化，英伟达和昇腾的市场差距在缩小，非 GPU 类加速器出货量第一次超过 GPU。这篇是我实际项目踩坑总结，讲服务器怎么选、到货之后该怎么验收，适合做集群规划、采购、运维的朋友参考。

声明：本文属于个人工程经验分享，部分行业信息来自网络公开资料，只做技术参考，不构成任何采购、投资建议。

一、为什么现在选算力不能只看跑分

这两年跟各个团队聊采购，大家关心的问题已经变了。

以前开口就问：单卡多少算力？能不能跑 70B 大模型？ 现在问得更多的是：货什么时候能到？后期好不好扩容？换一套硬件要花多少人力去改代码。

能看出大家的关注点已经转变：不再一味追求纸面跑分，更看重成本可控、机器能稳定跑业务。造成这个变化，主要是市场上三件实实在在的事。

二、当下市场的三个现实变化

1. 国内 AI 芯片的份额差距在缩小

根据网上流传的 IDC 2026 上半年国内 AI 芯片调研信息，英伟达和华为昇腾的市场份额差距相比去年大幅缩小，国内多家 AI 芯片厂商出货都在上涨。IDC 统计的 11 家国内芯片企业里面，9 家出货同比增长。

昇腾的产能一定程度受工艺、HBM 显存供货的制约，以上仅为网络转述内容，想要原始报告请查阅 IDC 官方发布。

2. 专用加速器出货量超过传统 GPU

公开调研数据显示，2026 上半年国内 AI 加速器总出货 200.8 万颗。其中 ASIC、NPU 这类专用芯片一共出货 101.6 万颗，第一次数量上超过 GPU 的 99.1 万颗。华为、平头哥、昆仑芯、寒武纪四家占了专用芯片市场绝大部分份额。

背后原因也很简单：现在不只是做模型训练，大量业务是线上推理。训练吃通用算力；推理更看重成本、功耗。推理业务越来越多，专用芯片的性价比优势就体现出来了。

3. 高端硬件价格出现上行

受 HBM 显存产能紧张影响，2026 年海外高端 GPU 云租赁报价有所上调，部分国产算力芯片的市场报价也出现波动。

但不是所有算力都在涨价，不少定位中低端的智算中心上架率并不高。要分清：涨价集中在高端芯片，不能拿个别行情判断整个市场。

三、选型：训练机器和推理机器，评判标准要分开

训练集群和推理集群干的活完全不一样，不能用同一套标准去挑机器。

维度	训练集群重点看	推理集群重点看
显存与容量	显存要装得下模型，避免频繁切分模型	看可以同时处理多少请求，重点算缓存占用
互联	显卡之间、机器之间传输速度很关键	大多可以多台机器堆数量，对内互联要求不高
软件栈	框架、工具好不好迁移，预估改代码工作量	现有模型能不能直接跑起来，算子兼容情况
功耗与密度	提前算好整机功耗，规划机柜供电	看每处理一段内容耗多少电，长期电费很关键
供货与扩容	尽量机器配置统一，混搭机器会增加维护麻烦	供货稳定最重要，方便后期按需加机器

实际项目里，大家优先级一般是：供货稳定＞方便扩容＞单卡跑分。单卡性能已经不是第一考量。

四、机器到货，验收一定要做这几步

纸面参数再好，不如实际跑一遍。不需要看懂复杂代码，主要看现象、看结果，可以交给运维人员操作。

1. 先确认显卡连接关系，别急着跑性能测试

拿到机器第一件事，先确认多张显卡互相之间是怎么连通的。 最怕遇到：明明是 8 卡机器，硬件通路被分成两组，显卡之间通信受阻。如果拓扑不对，后面所有性能测试结果都没有参考意义。

实操提示：交给运维人员执行工具查看硬件拓扑，普通人只需要确认报告：所有显卡通路正常，没有被拆分两组。

2. 实测多卡之间通信速度，不要只看厂商给的理论数字

很多机器纸面参数很漂亮，但多张显卡互相传数据速度很慢。 不要迷信宣传的理论带宽，实际跑一遍压力测试。

实操提示：运维跑通信测试工具，我们只看结果：实测速度接近官方标称就是正常；如果速度差距巨大，问题大多出在网络、交换机配置，不是显卡本身。

3. 长时间开机压力测试，观察会不会降速

很多机器短时间跑分看着很强，连续跑一整天训练任务就开始性能下滑。 连续满载跑 24 小时，重点盯三件事：显卡温度会不会过高、功耗会不会被限制、频率会不会往下掉。 散热、供电做得差，再高的标称性能也发挥不出来。能 7×24 小时稳定不降速，比短时跑分更重要。

4. 换国产芯片前，评估模型适配工作量

如果打算切换到国产芯片平台，采购前一定要评估现有模型的兼容情况。 梳理哪些功能不支持、需要改写代码，估算要投入多少人力。 很多人忽略这块，软件迁移的人工成本，经常会超过硬件本身的差价。

5. 机房提前算好用电和散热条件

根据工信部 “十五五” 相关规划，新建大型算力中心 PUE 需要降到 1.2 以下。 多卡 GPU 机器耗电发热都很大，普通风冷机柜压力越来越大。液冷、冷热通道封闭最好前期就规划好，后期改造花钱多还麻烦。

五、采购踩过的五个高频坑

1. 只看单卡算力，忽视显卡之间通信能力。单机 8 卡跑的顺畅，不代表扩展到十几台机器集群性能还能跟上。机器规模做大之后，数据通信开销会成为最大瓶颈。
2. 只按显卡本身功耗算整机用电。CPU、内存、硬盘、风扇、电源损耗都要算进去，整机实际耗电会明显高于几张显卡功耗简单相加。
3. 训练推理业务混在一起跑。两类业务资源占用特点不一样，混在一起会大幅增加调度、运维难度，尽量做物理或者逻辑隔离。
4. 被短期市场行情带节奏。本轮硬件涨价根源是显存产能紧张，属于供给问题。不要盲目囤货，也不要一味观望，理性评估自身业务周期。
5. 低估软件迁移人力成本。硬件价格摆在明面上，模型适配、改代码调试的人工开销很容易被忽略，立项阶段就要预留对应预算。

补充案例：RTX5090 八卡整机实际落地情况

聊完通用选型，再说下现在中小团队关注度很高的 RTX5090 八卡整机，这类定制改装机器坑非常多。

RTX5090 属于消费游戏显卡，原生不支持高速卡间互联。市面上的 8 卡版本，大多是国内集成商拿服务器机箱二次改装组装，并不是大厂标准化出厂产品。市面上有不少 7U 机架形态的 8 卡 RTX5090 整机就属于这一类定制方案。

靠谱的定制机型，针对 5090 高功耗，一般会做两方面硬件优化，刚好对应前面提到的选型要点：

1. GPU 独立分区风道，避免多张显卡互相吹热风，缓解满载过热降速，这点也正好对应验收时要长时间监控温度、频率的要求；
2. 4+1 热插拔冗余电源，防止其中一路电源坏掉直接中断训练任务，印证了不能只看显卡功耗，整机供电冗余是高密度机器的硬性要求。

但即便硬件做了针对性优化，采购这类定制机器，前面说的验收流程一步都不能省：

• 确认 8 张显卡硬件通路没有异常拆分；
• 实测多卡之间的数据通信速度；
• 连续长时间压力测试，验证不会因为高温、供电限制出现性能下降。

有一点必须提醒：RTX5090 消费显卡原生有多卡通信限制，部分商家会刷写硬件固件强行开启特殊功能，这么做会直接失去显卡官方质保，商用场景风险不小，选购时一定要甄别清楚。

注：本段仅客观分析该类定制硬件的行业共性问题，不做任何采购推荐，实际采购务必自己核验货源、质保条款。

六、小结

现在选算力，已经不是拼谁拿到的卡跑分更高。

实操层面记住三点：训练业务和推理业务分开评估；把互联能力、软件适配的权重提上来；机器到货之后一定要完整走完验收流程。

服务器硬件，不能只盯着纸面峰值性能，风道、供电这些基础设计，最终决定机器能不能长时间稳定输出算力。