在大模型落地的过程中,很多团队都会遇到一个现实难题:高性能 AI 服务器大多是水冷机型,机房改造周期长、投入高、运维复杂,中小企业、政企、高校很难快速搭建私有化算力集群。昇腾 Atlas 650E 是一款主打风冷训推一体的昇腾 AI 服务器,正是瞄准这一痛点推出的产品。它依托昇腾 950DT NPU 与灵衢(UnifiedBus)高速互联,兼顾训练、微调、推理全流程,让中小规模大模型集群的落地门槛大幅降低。

Atlas 650E 是 14U 机架式 AI 服务器,整机标配2 颗鲲鹏 950 CPU + 8 颗昇腾 950DT NPU,是一套原生国产化算力整机。它最大的差异化标签就是纯风冷架构:不需要改造水冷机房,普通标准机房即可上架部署,大幅降低算力基建成本和后期运维压力,这也是它与高端水冷智算服务器最核心的区别。

下面我们先看它的核心硬件参数:

  • 整机形态:14U 机架服务器,风冷散热
  • NPU 配置:8× 昇腾 950DT(第三代达芬奇架构)
  • 整机峰值算力:12.48 PFLOPS @mxFP4;6.43 PFLOPS @mxFP8/FP8/HiF8;3.40 PFLOPS @FP16/BF16
  • HBM 显存:单颗 950DT 配备 96GB HBM,整机合计 768GB HBM,单卡 HBM 带宽最高 4.0 TB/s
  • 主机内存:24 个 DDR 内存插槽,最高速率 6400 MT/s,支持 64GB/96GB 内存条
  • 互联能力:支持灵衢 UnifiedBus,双机直连实现 16 卡 Full-mesh 全互联,无需额外交换机,双机 NPU 互联总带宽可达 13.4 TB/s;单卡同时支持 UBoE、RoCE 400G 网络
  • 整机功耗:最大 14.5kW,支持 220V 交流、336V 高压直流供电,风扇 N+1 冗余,带外 iBMC 管理
  • 配套软件底座:CANN 异构计算架构、MindIE 推理引擎、MindCluster 集群调度、MindSpore 等昇腾全栈工具链

很多人会疑惑,这些参数到底意味着什么?768GB 超大 HBM 显存是它的一大优势。大模型最容易遇到“显存不够”的问题,不管是做长上下文大模型、多模态图文模型、文生图、医疗影像分割,还是行业知识库的向量检索,大容量 HBM 都可以一次性加载更大权重、更长上下文,减少频繁换页带来的性能卡顿,推理吞吐更稳定。同时它原生支持 MXFP4、MXFP8、HiF8、FP8 等多种低精度格式,量化能力强,推理阶段可以在损失可控的前提下,进一步拉高吞吐、降低时延,非常适合私有化部署的业务推理场景。

灵衢直连免交换机组网是第二个核心卖点。常规搭建 16 卡集群,一般需要采购高性能 AI 交换机,布线、调优、成本都很高。Atlas 650E 支持两台机器直接通过灵衢总线对接,组成 16 卡 Full-mesh 集群,卡与卡之间对等直连,通信时延更低、带宽损耗更小,分布式训练、模型并行推理的效率明显提升。两台服务器逻辑上可以当成一台超节点来调度,中小团队也能本地部署大参数模型,不用依赖公有云算力,数据全程不出内网,满足数据安全合规要求。

同时它是训推一体机型,一台机器可以同时承担多种工作:模型预训练、SFT 微调、RLHF 对齐、业务推理上线。对于算力规模不大的团队,不用单独采购训练机和推理机,资源可以灵活调度,算力利用率更高。搭配昇腾 CANN、MindIE 等工具链,算法工程师可以完成模型迁移、性能调优、部署上线,生态链路完整,适配国产信创体系。

典型部署形态

Atlas 650E 的部署形态非常灵活,围绕灵衢 UnifiedBus 直连能力,主要有两种典型组网方式:单机 8 卡形态和双机 16 卡 Full-mesh 形态。前者适合起步阶段的私有化推理与中小规模微调,后者通过两台机器直连即可把算力翻倍,且全程无需额外交换机。

单机 8 卡形态

单台 Atlas 650E 内置 8 颗昇腾 950DT NPU,机内 NPU 之间通过灵衢总线全互联,整机合计 768GB HBM 显存。这种形态只需一台 14U 机架服务器加普通风冷机柜即可上架,是最轻量的落地方式,适合行业模型推理、知识库问答、中等规模 SFT 微调等场景。

flowchart TD
    subgraph S1["单台 Atlas 650E(14U 风冷)"]
        N1["NPU 0"]
        N2["NPU 1"]
        N3["NPU 2"]
        N4["NPU 3"]
        N5["NPU 4"]
        N6["NPU 5"]
        N7["NPU 6"]
        N8["NPU 7"]
        N1 --- N2
        N1 --- N3
        N1 --- N4
        N1 --- N5
        N1 --- N6
        N1 --- N7
        N1 --- N8
        N2 --- N3
        N2 --- N4
        N2 --- N5
        N2 --- N6
        N2 --- N7
        N2 --- N8
        N3 --- N4
        N3 --- N5
        N3 --- N6
        N3 --- N7
        N3 --- N8
        N4 --- N5
        N4 --- N6
        N4 --- N7
        N4 --- N8
        N5 --- N6
        N5 --- N7
        N5 --- N8
        N6 --- N7
        N6 --- N8
        N7 --- N8
    end
    S1 --> R["整机 8 卡 Full-mesh,768GB HBM"]

双机 16 卡 Full-mesh 形态

当单机算力不足时,两台 Atlas 650E 可通过灵衢总线直接对接,组成 16 卡 Full-mesh 全互联集群。跨机 NPU 之间对等直连,双机 NPU 互联总带宽可达 13.4 TB/s,且无需额外采购 AI 交换机,省去布线、调优与交换机成本。两台服务器逻辑上可当作一台超节点调度,适合更大参数模型的分布式训练与模型并行推理。

flowchart TD
    subgraph A["Atlas 650E #1(8 卡)"]
        A1["NPU 0-3"]
        A2["NPU 4-7"]
    end
    subgraph B["Atlas 650E #2(8 卡)"]
        B1["NPU 0-3"]
        B2["NPU 4-7"]
    end
    A1 <-->|"灵衢 UnifiedBus 直连"| B1
    A1 <-->|"灵衢 UnifiedBus 直连"| B2
    A2 <-->|"灵衢 UnifiedBus 直连"| B1
    A2 <-->|"灵衢 UnifiedBus 直连"| B2
    A --- L["双机 NPU 互联总带宽 13.4 TB/s,免交换机"]
    B --- L

两种形态可以平滑演进:先以单机 8 卡起步,业务增长后再增加一台同规格机器直连扩容到 16 卡,机房侧无需新增交换机与网络改造,扩容成本和周期都更可控。

Atlas 650E 与同类方案对比

为了更直观地看清 Atlas 650E 的定位,下面把它与常规水冷 8 卡智算服务器、通用 GPU 8 卡服务器放在一起,从散热形态、机房改造要求、整机显存容量、互联方式、典型部署规模和适用场景六个维度做横向对比。

对比维度Atlas 650E(风冷 8 卡)常规水冷 8 卡智算服务器通用 GPU 8 卡服务器
散热形态纯风冷,风扇 N+1 冗余冷板式或浸没式水冷,需配套冷源以风冷为主,高功率机型需风液混合
机房改造要求普通标准机房即可上架,基本无需改造需改造水冷管路、冷源与漏液监测,周期长、投入高风冷机型改造小,但高密机柜仍需评估供电与散热
整机显存容量8×96GB HBM,合计 768GB通常 8×64GB 至 8×141GB,约 512GB 至 1.1TB8×80GB 至 8×141GB,约 640GB 至 1.1TB
互联方式灵衢 UnifiedBus,双机直连 16 卡 Full-mesh,免交换机依赖专用高速互联与交换机,需专业调优依赖 NVLink 或 PCIe 加高速网卡,多机需交换机组网
典型部署规模单机 8 卡、双机 16 卡中小集群数十卡至万卡级大规模集群单机 8 卡起步,可扩展至中大规模集群
适用场景私有化部署、行业模型、中等规模微调与推理超大规模基础模型预训练、高密度智算中心通用 AI 训练推理、生态成熟、框架适配广

选型结论:如果机房是现有普通风冷环境、预算有限、算力需求集中在单机 8 卡到双机 16 卡,Atlas 650E 凭借免水冷改造、768GB 大显存和灵衢免交换机互联,落地成本和周期优势明显;若追求极致算力密度或万卡级预训练,则应选择水冷智算服务器;若更看重生态通用性和框架兼容性,通用 GPU 8 卡服务器仍是稳妥选择。

谁适合选择 Atlas 650E?

  1. 政企、金融、医疗等行业信息化部门:有私有化大模型需求,数据敏感不能上公有云,机房是现有普通风冷机房,不想投入高额水冷改造,用来搭建行业大模型、风控模型、医疗影像 AI、智能知识库。
  2. 中小算力服务商、AI 创业公司:对外提供微调、私有化部署、AI 推理服务,起步阶段不需要万卡级超大规模集群,优先控制基建投入,灵活扩容。
  3. 高校、科研院所实验室:用于大模型科研、算法创新、多模态模型研究,预算有限,风冷部署简单,方便课题实验、学生训练调模型。
  4. 集成商、方案商:面向信创项目交付中小规模智算节点,国产全栈方案,适配国产化项目验收要求。

当然,它也有清晰的定位边界:Atlas 650E 主打风冷中小集群,适合单机 8 卡、双机 16 卡规模,适合私有化落地、行业模型、中等规模微调;如果是万卡级超大规模基础大模型预训练,会选择更高规格的水冷超节点产品。

总结

Atlas 650E 本质上是一款降低国产大模型落地门槛的算力服务器。它把昇腾 950DT 的强算力、大显存、灵衢高速互联,和友好的风冷形态结合在一起,用一套可落地、成本可控的方案,解决很多采购负责人最关心的三件事:机房能不能装、数据能不能本地跑、模型能不能训推兼顾。对于正在评估私有化算力底座的团队来说,如果你想要国产全栈、风冷易部署、兼顾训练微调与推理,同时需要稳定的生态支持,Atlas 650E 是值得重点评估的选择。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐