华为昇腾910B上用Kubernetes（K8s）部署LLM和用Docker部署LLM的区别

在昇腾910B（Ascend 910B）硬件平台上部署大语言模型（LLM），使用 Kubernetes（K8s）与仅使用 Docker 是两种不同层级的部署方式。它们在架构、资源管理、扩展性、运维复杂度等方面存在显著差异。以下是 不少于20条 的详细对比列表，特别结合昇腾910B平台特性：

1. 抽象层级不同

• Docker：容器运行时，用于打包和运行单个应用实例。
• K8s：容器编排系统，管理多个容器实例及其生命周期。

2. 部署粒度

• Docker：适合单机或少量节点部署。
• K8s：面向多节点集群，支持跨主机调度。

3. 资源调度能力

• Docker：无内置调度器，需手动分配NPU资源。
• K8s：通过 Device Plugin（如 Ascend Device Plugin）自动调度昇腾910B NPU资源。

4. 自动扩缩容（Auto Scaling）

• Docker：无法自动扩缩容，需人工干预。
• K8s：支持 Horizontal Pod Autoscaler（HPA），根据负载动态调整实例数。

5. 高可用性（HA）

• Docker：单点故障风险高，无自动恢复机制。
• K8s：Pod 崩溃后可自动重建，保障服务连续性。

6. 服务发现与负载均衡

• Docker：需手动配置网络或使用 Docker Compose。
• K8s：内置 Service 和 Ingress，提供 DNS 解析和负载均衡。

7. 滚动更新与回滚

• Docker：需脚本实现，操作复杂且易出错。
• K8s：Deployment 支持滚动更新和一键回滚。

8. 日志与监控集成

• Docker：日志分散，需额外工具收集（如 Fluentd）。
• K8s：天然集成 Prometheus、Grafana、EFK 等监控栈。

9. 昇腾NPU驱动依赖

• Docker：需在宿主机预装 CANN 驱动，并挂载设备（/dev/davinci*）。
• K8s：通过 Device Plugin 自动暴露 NPU 资源，简化容器访问。

10. 多租户隔离

• Docker：隔离性弱，资源共享冲突风险高。
• K8s：支持 Namespace、Resource Quota、LimitRange 实现多租户隔离。

11. 存储管理

• Docker：依赖本地卷或 bind mount，迁移困难。
• K8s：支持 PersistentVolume（PV）和 PersistentVolumeClaim（PVC），适配分布式存储（如 Ceph、OBS）。

12. 网络模型

• Docker：默认 bridge 网络，跨主机通信需 overlay 网络（如 Macvlan）。
• K8s：CNI 插件（如 Calico、Flannel）提供统一网络策略。

13. 部署复杂度

• Docker：简单快速，适合开发测试。
• K8s：初始配置复杂，但适合生产环境。

14. 故障自愈能力

• Docker：容器退出后不会自动重启（除非 --restart=always）。
• K8s：健康检查（Liveness/Readiness Probe）触发自动重启或迁移。

15. 资源利用率

• Docker：静态分配，易造成资源浪费。
• K8s：动态调度，提升昇腾910B NPU 利用率。

16. 安全性

• Docker：需手动配置安全策略（如 seccomp、AppArmor）。
• K8s：支持 PodSecurityPolicy（PSP）或 SecurityContext 强化安全。

17. CI/CD 集成

• Docker：需自建流水线。
• K8s：与 Argo CD、Flux 等 GitOps 工具无缝集成。

18. 多模型部署

• Docker：每个模型需独立容器，管理繁琐。
• K8s：通过 Helm Chart 或 Kustomize 批量部署多个 LLM 服务。

19. 昇腾生态工具链支持

• Docker：可直接运行 MindSpore/vLLM-Ascend 镜像。
• K8s：需额外配置 Ascend Operator 或自定义 CRD 管理 NPU 任务。

20. 成本与维护

• Docker：运维成本低，但扩展性差。
• K8s：初期投入高，长期降低大规模部署的 TCO（总拥有成本）。

21. 调试与日志追踪

• Docker：日志分散在各容器，需 docker logs 逐个查看。
• K8s：集中日志系统（如 Loki）+ 分布式追踪（Jaeger）支持。

22. 异构计算支持

• Docker：需手动指定设备（--device=/dev/davinci0）。
• K8s：通过资源请求（ascend.huawei.com/npu: 1）声明式分配。

总结建议

• 开发/测试阶段：优先使用 Docker 快速验证模型在昇腾910B上的兼容性。
• 生产/大规模推理：必须采用 K8s，以实现高可用、弹性伸缩和精细化资源管理。

注：昇腾910B 的 CANN 驱动和 MindSpore/vLLM-Ascend 镜像需与部署方式适配，K8s 需额外部署 Ascend Device Plugin。