摘要2025年4月,本人作为网络规划总设计师,主导了北京亦庄某国家级智算中心“2048卡昇腾910C全闪高性能存储专网工程”规划与实施。项目总投资4.5亿元(存储网络专项投资2800万元),为万亿大模型训练与PB级数据集构建自主可控存储底座。针对Checkpoint并发写入突发与低时延要求,本文论证了传统FC-SAN、NVMe over TCP与华为NOF+(NVMe-oF+)选型,规划了10台Leaf与6台Spine构成的Spine-Leaf两层Clos拓扑,实现1.13:1近似无阻塞组网;设计基于DPC直通与iLossless端网协同流控体系,严密推导BDP与动态缓冲水线;妥善处置了高并发Incast出口缓冲击穿及MPO光纤端面微污染引发RoCE降级两起典型难题。工程通过权威验收,单机峰值写入达21.5GB/s,全集群并发写入吞吐达1.42TB/s,42TB落盘缩至30秒,构筑了高韧性全闪存储底座。

正文一、项目背景与全闪存存储专网技术选型伴随生成式AI迈入万亿参数时代,高频Checkpoint写入使存储成为制约有效算力(Goodput)的核心瓶颈。2025年4月,北京亦庄某国家级智算中心启动全闪高性能存储专网工程,作为智算总体建设的存储子系统,本人担任网络规划总设计师。项目总投资4.5亿元中,计算服务器及供电约3.12亿元由智算总体核算,本文聚焦存储网络专项2800万元及全闪硬件1.1亿元的规划落地。算力底座部署256台新一代Atlas 800T服务器;存储底座部署10台Pacific 9950机框(80个全闪节点);网络专项2800万元涵盖16台CE9865-4C交换机、2560个100G模块、1280根50米MPO光纤、机房动环及NCE平台授权,造价严密闭环。项目组将微秒级网络时延与线速吞吐确立为核心指标。前期规划重点开展两项顶层技术权衡:一是协议选型(FC-SAN vs NVMe over TCP vs 华为NOF+),传统FC-SAN受制于带宽瓶颈且专用卡成本高,NVMe over TCP内核栈开销大且时延超50μs;方案确立基于RoCEv2的华为NOF+路线,依托DPC用户态客户端直通RDMA将单I/O网络交互时延压至15μs内。二是架构比选(超融合单网vs独立物理存储专网):超融合单网虽省设备,但在All-to-All突发大象流冲击下极易挤压存储致算力空转;架构组确立计算网与存储专网完全物理隔离架构,通过专用交换矩阵保障存储流量不受算力突发干扰,规避业务争抢。两项决策从协议栈与物理拓扑维度确立了存储专网的独立性与确定性低时延基准。

二、Spine-Leaf高可用Fabric网络拓扑与物理路由规划在拓扑设计与端口精算上,全网采用Spine-Leaf两层Clos高可用架构。256台Atlas服务器每台引出2个100GE接口接入存储平面,共512口;10台Pacific 9950共80个节点每节点引出2个100GE RoCE端口,共160口,总接入需求672口。接入层10台CE9865-4C交换机(单机128口)组成5组M-LAG双活对:前4组每台下联52台服务器与16个存储节点(68口),第5组下联48台服务器与16个存储节点(64口,单机预留4口),全网680口接纳672口并统一预留8口热备;每台Leaf引出60口上联至6台Spine,每对布设10条链路组静态LACP Eth-Trunk(互联600条),下联6.8Tbps、上联6.0Tbps,收敛比自洽为1.13:1。针对并链设计,团队评估存储流量为点对多点I/O且无计算网纳秒级同步栅栏,若用60台Spine增资超2200万元且端口闲置,选定6台Spine配合Eth-Trunk将BGP邻居精简90%,与计算网差异化互补。物理布线采用50米OM4 MPO光纤集中部署于中央网络列柜(EoR/MoR),解除机柜强耦合并改善风道。路由层采用BGP Unnumbered建邻于Eth-Trunk免去互联IPv4规划;专网采用纯IP原生三层转发规避VXLAN封装开销,控制面基于BGP IPv4动态通告/32存储业务VIP主机路由,并协同华为NOF+专有的SNSD(存储网络智能发现)控制面即插即用机制,实现存储浮动VIP毫秒级感知与亚秒级跨节点切换;接入侧Leaf成对部署M-LAG双活接入;服务器端在EulerOS配置Mode 4(802.3ad LACP)聚合Bond,结合Layer3+4哈希将微流打散至双链路,单链切换RDMA重建时延低于10ms,兼顾聚合带宽与容错韧性;全网MTU统一为9216巨型帧。三、端网协同多级QoS队列隔离与缓冲水线设计在大规模全闪存储场景下,微秒级I/O突发极易诱发瞬时网络拥塞。项目组构建基于DiffServ硬件队列隔离与iLossless协同的端网流控模型:将存储流量划分为四级队列,Queue 7承载存储网络智能发现(SNSD)及管理信令,配置严格高优先级(SP)并实施5%带宽上限限速防止信令风暴;Queue 3作为NOF+与RoCEv2专用无损队列,开启基于802.1Qbb的逐优先级流控(PFC)与AI-ECN智能标记;低优流量映射至Queue 0执行尽力而为(BE)转发。在交换机芯片使能虚拟输入队列(VIQ),按目标出端口物理隔离缓冲池,有效抑制多节点并发写入存储节点时的头端排队阻塞(HOL)。为实现精准流控,网络团队严格建立物理延迟闭环推导模型。实测存储专网基准往返RTT约2.7μs(包含网卡DMA 0.4μs、50米光纤双向0.5μs、交换机转发0.8μs及FEC编解码1.0μs),推算100G单链路带宽时延积BDP约34KB(100Gbps×2.7μs/8)。编排动态五级缓冲水线:AI-ECN初始低水位设为45KB(约1.3 BDP),高水位设为100KB(约3 BDP),标记概率10%,联动网卡DCQCN微调发送速率;PFC暂停触发门限Xoff设为120KB,释放门限Xon设为70KB。Headroom按双程50米光纤传输(500ns)、交换机与网卡处理响应(650ns)及100G端口单巨帧串行化发送(9216B/12.5GB/s≈740ns)构成的1.89μs反压时延推导,对应飞行报文23.6KB,基准预留32KB缓冲空间,受单口线速物理约束。

三、端网协同多级QoS队列隔离与缓冲水线设计在大规模全闪存储场景下,微秒级I/O突发极易诱发瞬时网络拥塞。项目组构建基于DiffServ硬件队列隔离与iLossless协同的端网流控模型:将存储流量划分为四级队列,Queue 7承载存储网络智能发现(SNSD)及管理信令,配置严格高优先级(SP)并实施5%带宽上限限速防止信令风暴;Queue 3作为NOF+与RoCEv2专用无损队列,开启基于802.1Qbb的逐优先级流控(PFC)与AI-ECN智能标记;低优流量映射至Queue 0执行尽力而为(BE)转发。在交换机芯片使能虚拟输入队列(VIQ),按目标出端口物理隔离缓冲池,有效抑制多节点并发写入存储节点时的头端排队阻塞(HOL)。为实现精准流控,网络团队严格建立物理延迟闭环推导模型。实测存储专网基准往返RTT约2.7μs(包含网卡DMA 0.4μs、50米光纤双向0.5μs、交换机转发0.8μs及FEC编解码1.0μs),推算100G单链路带宽时延积BDP约34KB(100Gbps×2.7μs/8)。编排动态五级缓冲水线:AI-ECN初始低水位设为45KB(约1.3 BDP),高水位设为100KB(约3 BDP),标记概率10%,联动网卡DCQCN微调发送速率;PFC暂停触发门限Xoff设为120KB,释放门限Xon设为70KB。Headroom按双程50米光纤传输(500ns)、交换机与网卡处理响应(650ns)及100G端口单巨帧串行化发送(9216B/12.5GB/s≈740ns)构成的1.89μs反压时延推导,对应飞行报文23.6KB,基准预留32KB缓冲空间,受单口线速物理约束。

四、关键实施故障排查与深度性能调优压测阶段遭遇难题一:256台计算服务器并发执行4MB大块Checkpoint写入,瞬时引发256:80高并发Many-to-Few Incast冲击,Spine下行至存储Leaf端口队列深度骤增,Queue 3频繁触发PFC反压风暴,全网写入吞吐暴跌55%。排查过程:初期运维误判为DPC客户端工作线程(worker_threads=64)过载致内存阻塞,调小并发未果;网络团队通过NCE-Fabric遥测热力图抓取队列,查明瞬时流量涌向少数存储节点击穿出端口共享缓存(Egress Buffer)。对策:动态调优AI-ECN漫游低水位前移至25KB(约0.75 BDP)以提前降速;交换机全网使能VIQ队列物理隔离;DPC客户端配置启用8GB写缓存(write_cache_size_mb=8192)充当Burst Buffer平滑峰值,全网写入吞吐平稳恢复至线速。试运行阶段遭遇难题二:多台Atlas服务器在FIO压测期间出现I/O短暂停顿,dpc_admin查询发现客户端与部分存储节点连接降级为TCP模式,且SNSD快速切换频繁误报。排查过程:初期怀疑内核驱动失配,重装未果;网络团队调取物理层计数器查明下联口RS-FEC不可纠错码字激增且PCS通道对齐告警,FCS误码率达1.5×10^-4,致RoCEv2高频返回PSN序列号异常NAK,触发NOF+智能容灾机制回退至TCP模式;使用端面检测仪与光功率计排查,查明穿管中MPO连接器端面沾染微米粉尘且理线弯曲半径过小产生宏弯损耗,致通道2接收光功率衰减至-11.5dBm临界值。对策:使用专用MPO清洁器去污并整改理线;使能Link-Fault与BFD联动并固化接收光功率基线(-6dBm至+2dBm);配置udev规则固化网卡绑定,80个存储节点RDMA连接恢复。

五、实施成效评估与未来演进思考工程通过四级验收体系(包含误码门限、PFC熔断、时延基线与断链演练)与180天高负荷检验,指标达到预期:1、传输时延:纯网络传输与协议交互P50时延稳定在9.2μs、P99稳定在16~18μs(优于20μs基线);在4KB随机读写直写落盘下,含全闪SSD介质的应用端到端P50时延控制在85~95μs、P99低于180μs;2、网络韧性:压测期间无损队列无物理丢包,单口PFC每小时低于3次;3、业务吞吐:单机峰值写入带宽达21.5GB/s(逼近双口线速),在256节点全并发4MB顺序写压测下,受限于存储侧160个100GE端口总容量,全网聚合写入吞吐稳定在1.38~1.42TB/s(存储口利用率达88%,单机均摊约5.5GB/s),42TB全局Checkpoint落盘稳定在30~32秒以内(占训练周期低于1.8%),构筑了高韧性全闪存储底座。在工程竣工复盘中,项目团队深入反思了架构局限性:当前DPC客户端仍依赖主机CPU处理并发线程调度,在极端高并发场景下需占用约5%算力开销;同时,1.13:1收敛比虽满足当前2048卡读写需求,但未来面向万卡超大规模扩容时仍需扩充Spine端口以维持高二分带宽。面向下一代智算存储网络演进,团队正规划引入具备硬件可编程能力的智能网卡(SmartNIC/DPU)实现DPC客户端与RoCE协议全硬件卸载,并探索基于CXL跨节点内存池化直通架构,推动自主可控算力底座向内存级极速互联持续演进。

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐