​作者​:昇腾实战派

​知识地图​:https://blog.csdn.net/Lumos_Lovegood/article/details/161489952

FlashVID 在 vLLM Ascend 上的长视频压缩实践

视频理解模型需要把采样帧转换成视觉 token,再与文本一起送入语言模型。假设一段视频采样 16 帧,每帧经过视觉编码器的 patch merger 后仍有 256 个 token,视频部分就会占据 4096 个输入位置。帧数继续增加,LLM prefill 的计算量和 KV cache 占用也会随输入序列增长。长视频问答与事件定位因此需要更高效的视觉信息表示。

FlashVID提出无需重新训练的压缩方法:先选择有代表性的视觉 token,再合并时空冗余。将这一方法接入 vLLM Ascend,需要同时满足算法与推理框架的约束。本文基于 Qwen2.5-VL、Qwen3-VL 的接入实践,说明视觉分数如何获取、动态压缩如何适配固定 token 预算,以及压缩后的位置语义如何恢复。文中只讨论进入 LLM 之前的压缩,不把论文实验结果等同于昇腾 NPU 上的实测表现。

一、从视频压缩到推理服务,难点在哪里

FlashVID 可以在视觉编码器输出后减少送入 LLM 的 token,但 vLLM 的多模态输入不是等视觉编码完成后才确定长度。vLLM 多模态处理流程会先建立视频内容与 prompt 占位符之间的对应关系,调度、缓存和位置计算都依赖这份布局。直接在模型内部删掉一批 token,会破坏以下三项约束:

  • 数量一致。 processor 预留的视觉占位符数,必须等于视觉编码器后处理实际返回的视觉 embedding 数。
  • 顺序一致。 视觉分数与 embedding 必须对应同一批 patch merger 后的 token;发生 window 重排时,还要恢复原视频顺序。
  • 位置一致。 压缩结果必须能够映射回原视频的时间和空间坐标,供 M-RoPE 与后续文本位置重算使用。

当前方案将压缩放在视觉编码器与 LLM 之间。processor 先根据帧数和保留率计算预算;视觉编码器输出特征与末层重要性分数;FlashVID 按预算选择并合并 token;模型最后用代表索引重建位置,交给 LLM 执行 prefill。这样,调度器看到的输入长度与模型真正产生的视觉序列保持一致。

配置层提供独立的 FlashVID 启用开关和视觉 token 保留率。功能默认关闭;启用后,processor 与模型侧使用同一保留率计算视觉预算,默认保留率为 0.25。

在这里插入图片描述

图 1:processor 提前确定视觉预算,视觉编码、压缩与位置恢复依次完成。动态分段按配置启用。

  FlashVID 的 LLM 前压缩已经进入当前 Qwen-VL 视频路径;语言模型层间的 Inner-LLM/FastV 剪枝没有随之接入。

二、算法如何压缩,又如何守住固定预算

从末层 Attention 得到视觉重要性

当前实现只在启用 FlashVID 时,从视觉编码器最后一个 block 的旋转位置编码后 Q/K 计算分数。按视觉序列边界计算 QK 注意力,经 softmax 后沿 head 与 query 两个维度求平均,得到每个 key token 的重要性。这里虽然沿用 cls_attention 的接口命名,实际并不依赖一个真实的 CLS token。

分数随后映射到 patch merger 之后的 token 空间。Qwen2.5-VL 还要恢复 window 重排前的顺序,使每个分数与对应的视觉 embedding 严格配对。Ascend 上正常视觉推理仍走融合 Attention;分数由模型侧 Q/K 旁路计算,不要求 NPU Attention 算子额外返回注意力矩阵。旁路计算会增加开销,这也是后续必须单独测量的阶段。

选择关键内容,合并时空冗余

压缩过程包含三类操作。DySeg 动态分段按相邻帧特征相似度寻找内容变化点;它是可配置步骤,当前默认关闭。ADTS 关键 token 选择结合注意力分数与特征间的余弦距离,逐步选出既重要又具有多样性的视觉位置。TSTM 时空合并在相邻帧之间匹配相似 token,再对剩余候选做空间聚类;聚类内特征取平均,同时保留一个原始 token 索引作为代表位置。这样输出既包括压缩后的 embedding,也包括与之逐个对应的代表索引。

用同一公式连接 processor 和压缩器

动态分段和聚类会改变中间候选数,而 vLLM 必须在视觉编码前确定最终长度。设视频有 T帧、每帧 patch merger 后有P个视觉 token、配置保留率为r。当前实现先计算每帧预算 b = min(P, max(1, ceil(P × r))),再得到整段视觉预算 B = T × b。因此,它是每帧向上取整再乘帧数,不是先对整段视频统一取整。

预算还会分为 ADTS 与时空合并两部分。默认 alpha = 0.70时,ADTS 每帧目标数为min(b, ceil(b × alpha)),其余名额交给时空合并。以 16 帧、每帧 256 个视觉 token、保留率 25% 为例,b = 64、B = 1024;其中每帧的预算份额是 45 个 ADTS token 与 19 个合并 token。时序合并会改变各帧最终实际保留数,固定的是整段输出 1024 个视觉 token,模型再依据代表索引恢复逐帧分布。

在这里插入图片描述

图 2:示例中的视觉 token 从 4096 个减到 1024 个;图示只描述输入视觉序列长度,不代表时延、吞吐或显存按相同比例变化。

为精确达到预算,时空合并的聚类名额按照各帧候选容量,用整数最大余数法分配;每段与整段结束时再检查 embedding 和代表索引数量。结果数与预算不符就报错,不在末尾截断或复制 token。当前预算公式也不使用早期方案中的 expansion=1.25 系数。

三、如何接回 Qwen-VL,并在 Ascend 上验证

压缩后的一个 embedding 可能来自多个视觉位置,但进入 LLM 时仍需有确定的时间与空间坐标。FlashVID 返回的代表索引承担这一作用:结果按原始全局索引排序,模型再用索引找到对应的原视频位置。两代 Qwen-VL 对这组索引的消费方式不同。

  • Qwen2.5-VL: 按代表索引选取原视频 token 的 M-RoPE 坐标,将位置元数据附在压缩 embedding 上,再沿用 vLLM 的位置重算路径。
  • Qwen3-VL: 主视觉特征与 DeepStack 特征沿特征维拼接后进入当前压缩函数;代表索引用于构造逐帧保留 mask。模型据此恢复每帧视觉 token 数,并重建时间戳、视频结构 token 与 M-RoPE,使主视觉和 DeepStack 位置保持一致。

在这里插入图片描述

图 3:两代模型共享“压缩 embedding + 代表索引”的结果形式,位置和视频结构的恢复路径不同。

当前视频路径还在视觉编码器内部执行 token 剪枝:部分视觉 block 在缩短的 patch 序列上计算,patch merger 前再恢复长度,之后执行 LLM 前的 FlashVID 压缩。前者影响视觉编码器的计算,后者决定 LLM 接收的视觉 token 数;评估时应分别记录两阶段成本。由于分数计算、相似度匹配与聚类也需要 NPU 计算,视觉 token 数量大幅减少 并不能直接推导出端到端提速 4 倍。

适配版本

本文所述实现基于vLLM v0.23.0,以及vLLM Ascend v0.23.0rc1。

启用 FlashVID

以 Qwen2.5-VL-7B 为例,本次接入使用独立开关与保留率参数。下列命令适用于已经安装匹配的 vLLM、vLLM Ascend 和模型权重的环境;基线组移除最后两个 FlashVID 参数,其他条件保持相同。Qwen3-VL 可按相同方式替换模型目录。

vllm serve /path/to/Qwen2.5-VL-7B-Instruct \
  --served-model-name Qwen2.5-VL-7B \
  --max-model-len 16384 \
  --max-num-batched-tokens 16384 \
  --no-enable-prefix-caching \
  --mm-processor-cache-gb 0 \
  --gpu-memory-utilization 0.9 \
  --tensor-parallel-size 1 \
  --mm-encoder-tp-mode weights \
  --enable-flashvid \
  --flashvid-retention-ratio 0.25

上述命令展示 FlashVID 的独立启动方式。下文评测采用不同的视频优化配置,其性能结果应结合相应配置解读。

VideoMME 初步评测:效率与任务得分

VideoMME 评测使用 lmms-eval 测试代码,日志版本为 v0.6-228-g2b8eb1a5。表中加速比由基线与优化后的评测总耗时计算。每组日志的 total_gen_tokens 均为 300,因此结果用于观察该测试设置下的效率与得分变化。

模型测试基线耗时优化后耗时耗时加速比VideoMME perception score
Qwen2.5-VL-7B较长明显缩短明显缩短小幅下降
Qwen3-VL-8B较长明显缩短明显缩短小幅下降

表中数据展示了评测总耗时与任务得分的同步变化。Qwen2.5-VL-7B 的优化配置同时启用了 FlashVID、视觉编码阶段剪枝和视频剪枝,其明显的加速反映的是组合配置的整体效果;Qwen3-VL-8B 的评测总耗时亦有明显缩短。两种模型的 perception score 均有所下降,属于质量与效率之间的权衡;实际部署时,应结合目标视频分布和质量要求选择参数,并在固定硬件与样本条件下复测。

验证应覆盖正确性、质量与净收益

  1. 正确性: 核对 processor 视觉预算、压缩后 embedding 行数和代表索引数。检查代表索引范围与顺序;对 Qwen3-VL,还要核对 DeepStack、逐帧保留数、时间戳及 M-RoPE 是否对齐。
  2. 回答质量: 在相同视频、采样帧和问题下比较开启与关闭 FlashVID 的回答,覆盖事件识别、时间先后、细节定位与长视频跨帧推理。
  3. 性能净收益: 在模型、输入分辨率、输出长度与并发条件一致时,对比未压缩基线,以及输出视觉 token 数相近的 EVS。分别记录视觉编码、末层分数计算、ADTS、时空合并、LLM prefill、首 token 延迟、吞吐与峰值 NPU 显存。

当前验证范围宜先限定为单视频、同分辨率帧、像素视频输入、weights 模式视觉编码器和 TP=1。外部预计算 video_embeds与mm_encoder_tp_mode=data 不在当前适配范围;多视频、混合分辨率和 TP>1 还需要独立验证。FlashVID 与正值的 EVS 视频剪枝率互斥,比较实验应分组进行。

本次适配打通了视频预处理、视觉 token 选择与位置编码对齐的链路。VideoMME 初步结果提供了效率与任务得分权衡的参考,后续可在目标 NPU 上补充首 token 延迟、吞吐和回答质量的同条件测试。

参考资料

Logo

作为“人工智能6S店”的官方数字引擎,为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。

更多推荐