登录社区云，与社区用户共同成长
邀请您加入社区
HugePages 是宿主机 CPU 大页内存，是昇腾 CANN 驱动、NPU 通信、显存辅助缓存的底层依赖资源；推理服务异常退出会造成巨页共享内存内核残留无法释放，HugePages 耗尽会造成昇腾 Runtime 运行异常、显存管理错乱、假性显存不足；清理ipcs -m里的 ascend 共享内存，是清理驱动遗留的巨页内存垃圾，让 CANN Runtime 初始化恢复正常，NPU 显存分配逻辑
本项目基于华为昇腾910B4 NPU服务器集群，部署GLM-5.2-W4A8语言大模型，构建具备256K超长上下文、工具调用、多模态理解能力的AI推理服务平台。集群采用"4台独立服务 + nginx负载均衡"的架构，每台机器独立运行vLLM推理服务，通过nginx实现请求分发。压力测试涵盖单机测试、集群并发测试、长上下文测试和混合负载测试，全面验证集群在高负载下的稳定性和性能表现。集群部署成功：4
香橙派非Docker部署算法模型指南 本文详细介绍了在香橙派（OrangePi）开发板上非Docker化部署算法模型的全流程，涵盖硬件准备、系统配置、传统算法与深度学习模型的部署实战，以及昇腾NPU的优化方法。 核心步骤： 系统准备：针对Rockchip/昇腾芯片选择对应Ubuntu镜像，配置静态IP及ARM架构软件源。 基础环境：安装编译工具和依赖库，创建Python虚拟环境隔离项目依赖。 传统
本文针对华为昇腾910B多容器并行部署场景，分析了同时运行Qwen3.6-27B与BGE-M3模型时HCCL集合通信端口冲突问题。通过为每个张量并行进程组分配独立的HCCL_NPU_SOCKET_PORT_RANGE端口区间，结合ASCEND_RT_VISIBLE_DEVICES实现NPU卡隔离，解决了多容器多模型并行推理的通信冲突，方案已在8卡环境中验证稳定。
摘要： 本文针对私有化部署AI视频分析平台中的Docker容器化技术难题（如GPU穿透失败、RTSP解码卡顿、内存泄漏等），提供实战级解决方案。从硬件环境验证（NVIDIA/瑞芯微/昇腾设备）、Docker运行时配置到微服务部署（流媒体接入、AI推理、业务逻辑），逐步指导搭建高并发、低延迟的GPU/NPU加速平台。重点包括：硬件透传操作、独立网络隔离、关键参数优化（抽帧策略、批处理大小），并附常见
改完环境变量后，后续所有 modelscope/huggingface 操作都自动走大分区，无需每次手动指定路径。恢复方法：停止 Docker，将旧目录内容 mv 到新路径，再启动 Docker。对应 CANN 9.0，可在页面右上角切换版本，选与驱动版本匹配的（本机驱动 25.5.2）。（内核 6.6.0-159.x），SP4 内核与驱动预置的闭源二进制模块不兼容，会导致。Root Dir 被改
备份目录需确保ClickHouse进程（UID=101）有写入权限，否则无法生成shadow数据。非MergeTree系列引擎的表无法执行FREEZE冻结分区，不会生成shadow数据目录。全端覆盖：H5 / 小程序 / APP / 鸿蒙全覆盖，统一导出口径。宿主机执行备份恢复会因路径不一致失败，所有操作必须在容器内执行。需准确判断备份、上传的真实失败情况，而非仅依赖命令返回值。一体化架构：监控
创建简化版 seccomp 配置 mkdir -p /etc/docker/seccomp cat > /etc/docker/seccomp/ascend-seccomp.json << 'EOF'},"names": [],
问题解决方案原理昇腾驱动初始化失败启用提供完整内核访问权限容器使用了错误的 NPU 卡设置在驱动层逻辑隔离设备多服务共享 NPU 集群每个服务指定不同实现资源隔离，避免冲突通过合理组合这两个机制，你可以在保证服务稳定运行的同时，精确控制 NPU 资源分配，为生产环境提供可靠支持。记住→ 解决“能不能用”→ 解决“用哪张”二者缺一不可，共同构成昇腾容器化部署的基石。
经过一个多月的实践，我现在可以在鸿蒙PC上流畅地运行各种开发环境容器。虽然过程中遇到了不少挑战，但最终的成果是值得的。在鸿蒙PC上运行原本不兼容的Linux工具链创建隔离的、可复现的开发环境轻松分享开发环境配置给团队成员避免污染宿主机的系统环境更重要的是，这次探索让我对鸿蒙PC的系统架构有了更深入的理解。作为一个正在发展的平台，鸿蒙PC为容器化技术提供了新的可能性。现在，每当我启动一个开发容器，看
在昇腾服务器启容器时，可能会遇到识别不到npu，或者npu-smi info不能正常使用的情况
这个鸿蒙容器使我们能够使用 Linux 服务器来运行和测试我们的命令行程序，而不用依赖 OpenHarmony 物理设备。
摘要： 本文详细介绍了基于MindIE框架在昇腾AI处理器上的模型服务化部署流程。主要内容包括：1) 拉取官方Docker镜像并创建特权容器；2) 单机部署步骤，涉及配置参数修改、服务启停；3) 多机分布式部署方案，涵盖网络检查、rank_table_file配置、环境变量设置等关键操作；4) 重点参数说明如NPU设备选择、模型路径、通信安全设置等。文档提供了完整的命令行操作指引，并附带昇腾社区官
本文分享了在昇腾NPU环境部署PaddleOCR v5的经验总结。作者详细记录了从环境准备到最终部署的完整流程，重点剖析了三个关键问题：libmsprofiler.so缺失、libmki.so未引入及libatb.so目录覆盖问题。通过逐步修正Docker挂载路径和环境变量配置，最终实现了服务的稳定运行。文章提供了可直接复用的Docker Compose部署方案，帮助开发者避免类似问题。整个过程体
摘要：本文介绍了在昇腾NPU上部署Qwen3大模型并打包为可移植镜像的完整流程。通过docker commit固化运行环境，利用docker-compose.yml管理启动参数，配合.env文件配置可变路径，实现模型服务一键部署。重点解决了环境一致性、路径适配和跨机器迁移问题，并提供了常见错误排查方法，为昇腾NPU用户提供了一套高效可靠的模型部署方案。（149字）
