本文分享自华为云社区《普惠 DeepSeek-V4：Kthena + 昇腾 3 分钟搭建 PD 分离推理》

一、背景介绍

二、P/D分离技术原理

• 计算密集型：需要处理整个输入序列，每个token都需要与所有输入token进行注意力计算
• 并行度高：输入序列的所有位置可以并行计算，适合较大的张量并行（TP）规模
• 内存访问模式：KV Cache首次生成，需要写入到高速缓存中
• 延迟敏感：用户等待首token的时间直接影响体验

--data-parallel-size 2 \

--tensor-parallel-size 8 \

--max-num-batched-tokens 8192 \

--max-num-seqs 4 \

• Memory-Bound型：每次只计算一个token，但需要读取完整的KV Cache
• 并行度需求低：单个token的计算量有限，过大的张量并行反而增加通信开销
• 吞吐率敏感：需要最大化单位时间内生成的token数量
• KV传输频繁：每个Decode实例都需要访问所有Prefill实例生成的KV Cache

--data-parallel-size 8 \

--tensor-parallel-size 2 \

--max-num-batched-tokens 144 \

--max-num-seqs 48 \

维度	单体架构	P/D分离
张量并行	折中值（如TP=4）	Prefill用TP=8，Decode用TP=2
数据并行	固定值	各角色独立扩展
资源配置	统一规格	按需分配
扩缩容	整体调整	独立扩缩容

• Prefill优化：更大的TP size（8）加速注意力计算，更大的批处理量（8192 tokens）提升吞吐
• Decode优化：更大的DP size（8）支持更多并发序列，更小的TP size（2）减少通信开销

--kv-transfer-config \

'{"kv_connector": "MooncakeConnectorV1",

  "kv_role": "kv_producer",     # Prefill为producer

  "kv_port": "9000",

  "engine_id": "$MOONCAKE_ENGINE_ID",

  ...

}'

1. Producer端（Prefill）：生成的KV Cache通过Mooncake引擎传输到Decode节点
2. Consumer端（Decode）：从Mooncake引擎拉取KV Cache用于注意力计算
3. Engine ID：每个P/D实例组有唯一的engine ID（${GROUP_NAME}_${ROLE_ID}），确保数据传输到正确的目标

# Prefill配置

"kv_role": "kv_producer"

# Decode配置

"kv_role": "kv_consumer"

三、为什么P/D分离需要适配的Router

Client Request → Router → Backend Instance (处理完整请求)

Client Request → Router → Prefill Instance (生成首token)

                         ↕ (KV传输)

                       Decode Instance (完成剩余生成)

1. 请求首先路由到Prefill处理
2. Prefill生成首token后，需要将请求转交给Decode
3. Decode可能需要多轮生成，每轮都涉及KV传输
4. 最终结果需要汇总返回给用户

• Prefill和Decode实例数量可能不同（1P2D、2P1D等）
• 请求需要在正确的Prefill和Decode实例之间传递
• 需要跟踪每个请求当前由哪个实例处理

• Prefill生成的KV必须传输到处理该请求的Decode实例
• Mooncake的engine_id需要正确配置以匹配P/D实例
• 传输超时和错误处理

• 计算密集型场景：增加Prefill副本
• IO密集型场景：增加Decode副本
• Router需要支持动态调整流量分配

四、ModelRoute配置详解

apiVersion: networking.serving.volcano.sh/v1alpha1

kind: ModelRoute

metadata:

  name: deepseek-v4

  namespace: default

spec:

  modelName: "deepseek_v4"

  rules:

  - name: "default"

    targetModels:

    - modelServerName: "deepseekv4-pd"

---

apiVersion: networking.serving.volcano.sh/v1alpha1

kind: ModelServer

metadata:

  name: deepseekv4-pd

  namespace: default

spec:

  inferenceEngine: vLLM

  model: "deepseek_v4"

  workloadPort:

    port: 7100

    protocol: http

  workloadSelector:                                   # 工作负载选择器

    matchLabels:

      modelserving.volcano.sh/name: deepseekv4-pd     # 这是最基本的标签匹配，用于识别属于该服务的所有Pod。

    pdGroup:                                          # P/D分组配置

      groupKey: "modelserving.volcano.sh/group-name"  # 指定用于分组的标签key

      prefillLabels:                                  # 标记哪些Pod是Prefill角色

        modelserving.volcano.sh/role: prefill

      decodeLabels:                                   # 标记哪些Pod是Decode角色

        modelserving.volcano.sh/role: decode

  trafficPolicy:

    timeout: "300s"

    retry:

      attempts: 3

      retryInterval: "150ms"

  kvConnector:

    type: mooncake

• groupKey：指定用于分组的标签key，具有相同groupKey值的Pod属于同一个P/D实例组。这解决了一个关键问题：当我们部署多个P/D实例组时（如2×(1P1D)），Router需要知道哪些Prefill和Decode属于同一个组。
• prefillLabels：标记哪些Pod是Prefill角色。
• decodeLabels：标记哪些Pod是Decode角色。

metadata:

  labels:

    modelserving.volcano.sh/name: deepseekv4-pd

    modelserving.volcano.sh/group-name: <group-id>  # 自动生成

    modelserving.volcano.sh/role: prefill/decode    # 根据role名称

    modelserving.volcano.sh/role-id: <role-id>      # 自动生成

1. 查询所有 labels[modelserving.volcano.sh/name] = deepseekv4-pd 的Pod

2. 按 labels[modelserving.volcano.sh/group-name] 分组

3. 在每个组内，识别prefillLabels和decodeLabels匹配的Pod

• 新Pod创建后自动获得标签
• Router实时感知Pod变化
• 无需手动更新配置

kvConnector:

  type: mooncake

1. Prefill启动时：
    
   • 从环境变量获取GROUP_NAME和ROLE_ID
   • 构建engine_id = ${GROUP_NAME}_${ROLE_ID}
   • 启动Mooncake Server，监听KV请求
3. Decode启动时：
    
   • 使用相同的GROUP_NAME但不同的ROLE_ID
   • 配置为kv_consumer角色
   • 通过engine_id连接到对应Prefill的Mooncake Server
5. 请求处理时：
    
   • Prefill处理用户输入，生成KV Cache
   • KV Cache通过Mooncake传输到对应Decode实例
   • Decode使用接收到的KV继续生成

trafficPolicy:

  timeout: "300s"

  retry:

    attempts: 3

    retryInterval: "150ms"

• timeout：整个生成过程可能需要较长时间，设置5分钟超时
• retry：如果请求在Prefill或Decode环节失败，自动重试

五、Kthena编排的核心优势

• 手动创建和管理多组Deployment/Service
• 手动配置Service之间的发现机制
• 手动管理标签选择器和Endpoints

apiVersion: workload.serving.volcano.sh/v1alpha1

kind: ModelServing

metadata:

  name: deepseekv4-pd

spec:

  replicas: 1

  template:

    roles:

    - name: prefill

      replicas: 1

    - name: decode

      replicas: 1

• 创建和管理Prefill/Decode的Pod
• 注入必要的标签（group-name、role、role-id）
• 设置健康检查
• 配置资源限制

roles:

- name: prefill

  replicas: 1

- name: decode

  replicas: 1

roles:

- name: prefill

  replicas: 2    # 从1改为2

- name: decode

  replicas: 1

roles:

- name: prefill

  replicas: 1

- name: decode

  replicas: 2    # 从1改为2

spec:

  replicas: 2    # 整体副本数设为2，每组自动生成1P1D

部署模式	Prefill replicas	Decode replicas	说明
1P1D	1	1	基础配置
2P1D	2	1	提升Prefill吞吐，适合输入长度较大的场景
1P2D	1	2	提升Decode吞吐，适合输出长度较大的场景
2×(1P1D)	2组P/D实例	2组P/D实例	横向扩展，整体吞吐翻倍

kubectl apply -f deepseek-serv.yaml

• Prefill服务需要知道所有Decode实例的地址
• Decode服务需要知道所有Prefill实例的地址
• 扩缩容时需要手动更新配置

• 新增的Prefill或Decode实例自动被Router识别
• 使用相同的group-key的实例自动组成P/D组
• 无需手动配置实例地址

六、部署实践

# 安装ModelScope

pip install modelscope



# 下载DeepSeek V4 Flash模型

modelscope download --model Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp --local_dir /models/DeepSeek-V4-Flash-w8a8-mtp

如果使用git-lfs进行大文件管理，也可以：

# 安装git-lfs

git lfs install



# 克隆模型仓库

GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/Eco-Tech/DeepSeek-V4-Flash-w8a8-mtp.git /models/DeepSeek-V4-Flash-w8a8-mtp



# 进入目录并下载LFS大文件

cd /models/DeepSeek-V4-Flash-w8a8-mtp

git lfs pull

• 确保所有计算节点的模型目录路径一致（/models/DeepSeek-V4-Flash-w8a8-mtp）
• 可以在共享存储（如NFS）上预先下载模型，然后挂载到各个节点
• 模型下载完成后，建议验证文件完整性：
  ls -la /models/DeepSeek-V4-Flash-w8a8-mtp/
  # 应包含 config.json, model.safetensors, chat_template.jinja 等文件
  
   

kubectl apply -f config.yaml

• 环境变量配置
• vLLM启动参数
• Mooncake KV连接配置

kubectl apply -f deepseek-serv.yaml

• Prefill实例（1副本）
• Decode实例（1副本）
• 自动注入的标签和配置

kubectl apply -f modelRoute.yaml

• ModelRoute：定义路由规则
• ModelServer：定义后端服务

# 查看ModelServing状态

kubectl get modelserving deepseekv4-pd



# 查看所有相关Pod

kubectl get pods -l modelserving.volcano.sh/name=deepseekv4-pd



# 查看Pod详情（确认标签）

kubectl get pods -l modelserving.volcano.sh/name=deepseekv4-pd -o wide



# 检查Pod日志

kubectl logs -l modelserving.volcano.sh/role=prefill

kubectl logs -l modelserving.volcano.sh/role=decode

# 编辑配置

kubectl edit modelserving deepseekv4-pd

# 将 prefill.replicas 从 1 改为 2



# 或者使用patch

kubectl patch modelserving deepseekv4-pd --type='json' \

  -p='[{"op": "replace", "path": "/spec/template/roles/0/replicas", "value": 2}]'

扩缩容Decode：

kubectl patch modelserving deepseekv4-pd --type='json' \

  -p='[{"op": "replace", "path": "/spec/template/roles/1/replicas", "value": 2}]'

七、总结

• 成功实现P/D分离部署，Prefill和Decode独立运行
• 通过Mooncake KV传输实现P/D协作
• 支持灵活的P/D比例调整（1P1D、2P1D、1P2D等）
• 支持多实例横向扩展

1. 简易性：声明式配置替代复杂的手动编排，控制器自动处理Pod管理和标签注入
2. 灵活性：通过replicas字段即可独立调整P/D比例，无需修改其他配置
3. 自动发现：pdGroup机制实现P/D实例的自动识别和配对
4. KV协调：与Mooncake深度集成，确保KV传输的正确路由