登录社区云,与社区用户共同成长
邀请您加入社区
本文深入解析鸿蒙分布式任务调度机制,重点解决跨设备任务流转中的核心痛点问题。系统通过分布式任务管理层(distributedMissionManager)和流转管理器(continuationManager)协同工作,实现任务状态序列化、安全传输和设备间恢复。 关键实现包括: 任务生命周期管理:通过onContinue()序列化状态,经软总线传输后由onRestore()恢复 状态序列化机制:支持
本文揭示了NPU设备驱动程序的底层实现细节。当开发者调用torch.randn(1024, 1024, device="npu")时,驱动会执行一系列复杂操作:首先通过PCIe枚举找到NPU设备,然后初始化HBM页表并分配物理内存,创建Stream上下文,最后提交DMA命令到硬件队列。文章详细介绍了PCIe设备枚举过程,包括扫描总线、读取配置空间、获取设备信息等关键步骤,以及HBM页表管理机制,采
ATB MoE 推理部署的核心挑战在于专家并行(EP)下的负载均衡与通信优化。通过动态调整专家容量(Dynamic Capacity)解决变长请求下的资源分配问题,采用All-to-All通信实现专家并行,相比传统TP方案可获得27.6%的吞吐提升。最佳配置为TP=4+EP=2,平衡了计算效率与通信开销。同时需注意FP16下路由计算的数值稳定性问题,避免概率分布失真。