IndexSDK 适配 Milvus 的挑战与 Faiss-NPU 的融合实践
作者:昇腾实战派
知识地图:https://blog.csdn.net/Lumos_Lovegood/article/details/161455142
1 背景概述
在大模型与向量数据库技术快速演进的背景下,海量高维数据的低延迟检索已成为 AI 基础设施的核心诉求。昇腾 NPU 凭借卓越的算力密度与能效比,为向量检索提供了理想的硬件加速底座。然而,如何将 NPU 算力高效、无缝地融入主流开源向量计算生态,并降低开发者的使用门槛,仍是当前异构计算领域面临的关键挑战。
为此,我们基于 Faiss 框架构建了面向 NPU 的异构检索加速框架 IndexSDK,通过集成针对昇腾架构优化的自定义算子,旨在为开发者提供高性能的检索能力。但在推进开源化与工程落地的过程中,我们逐步意识到:仅具备底层性能优势并不足以支撑广泛的社区采纳。工具链的易用性、生态兼容性以及部署流程的轻量化,才是决定开源项目生命力的核心要素。本文将系统分享我们在适配主流向量数据库生态、重构算子调用链路以及推进 Faiss-NPU 原生融合过程中的技术探索与架构演进。
2 生态适配探索:从 Milvus v2.5 集成到架构解耦
为扩大框架的适用范围,我们首先完成了与开源向量数据库 Milvus v2.5 的深度适配,使其支持在 NPU 上高效运行 Flat 与 FlatInt8 索引。在该架构中,Milvus 通过 Knowhere 层进行检索路由,当识别到 NPU 支持的索引类型时,自动将计算任务调度至 NPU 执行,从而实现硬件加速。

图1:IndexSDK 适配 Milvus 架构图
在适配初期,我们遇到了典型的依赖版本冲突问题:Knowhere 组件基于 Faiss v1.8.0 进行了大量定制化修改,而 IndexSDK 基于 Faiss v1.10.0 开发。两者在同一工程编译时产生了符号命名空间冲突。为快速推进项目,我们采用了符号重命名策略,将 Knowhere 中的 faiss 相关符号统一重命名为 knowherefaiss。该方案在本地构建中有效验证了可行性,但我们同时认识到,这种侵入式修改会显著增加维护成本,且难以通过代码审查合入上游社区。这一实践促使我们重新审视架构设计:要实现真正的生态融合,必须从底层解耦依赖,构建具备高兼容性的独立适配层。
3 部署体验优化:突破算子编译与调用的传统瓶颈
在开源生态适配之外,我们进一步聚焦于开发者体验的优化。早期架构中,算子调用高度依赖 ATC(Ascend Tensor Compiler)工具进行离线模型转换。用户安装框架后,需手动执行 Python 脚本触发编译流程,将自定义算子转换为 .om 模型文件方可投入使用。

图2:IndexSDK 部署流程
该流程在实际工程应用中仍有明显的优化空间:ATC 编译耗时较长,不仅打断了开发者的调试节奏,还要求环境预装完整的 CANN Toolkit 开发包。在需要快速迭代或弹性扩容的生产场景中,这种强依赖离线编译的交付模式已成为制约开发效率的关键瓶颈。为此,我们启动了算子调用链路的轻量化重构,旨在实现“开箱即用”的部署体验。
4 核心突破:Faiss-NPU 原生融合与单算子 API 化调用
为兼顾生态兼容性与部署易用性,我们确立了以 Faiss-NPU 原生融合为核心的技术路径,全面摒弃传统的离线模型转换模式,转向轻量高效的“单算子 API 执行”架构。
4.1 架构演进:从离线模型转换到原生 API 执行
在 AI 应用开发中,除大模型推理外,常伴随大量基础线性代数运算与数据类型转换需求。单算子调用机制正是为此类场景设计,允许开发者直接通过 AscendCL 接口加载并执行独立算子,无需构建完整的计算图。
在昇腾 CANN 架构中,单算子调用主要提供两种实现路径:
- 单算子模型执行:依赖计算图 IR,需先通过 ATC 工具将算子编译为
.om文件,运行时再加载执行。 - 单算子 API 执行:基于 C 语言 API,无需 IR 定义,直接通过标准接口调用算子内核。

图3:模型推理/单算子调用流程
IndexSDK 早期版本采用第一种方案以满足基础运行需求。为彻底优化调用体验,本次适配果断转向第二种方案。核心思路是改变算子交付形态:在编译构建阶段,将标准的 aclnn 接口直接生成并封装至 .so 动态库中。用户完成安装后,程序即可直接调用已编译接口,无需任何额外转换步骤,从而实现零等待的流畅调用体验。
4.2 工具链评估:msOpGen 的适用性分析
实现单算子 API 执行的关键,在于如何高效编译出可直接调用的 aclnn 接口及对应的 .so 动态库。我们首先评估了 CANN 官方提供的算子工程工具 msOpGen(MindStudio Ops Generator)。该工具支持根据 Host 与 Kernel 侧代码自动生成 aclnn 接口并完成库编译,理论上可提供标准化的集成路径。

图4:msOpGen 编译算子
初步验证显示,由于 CANN 环境中已包含大部分算子工程代码,仅需编写少量 Shell 脚本即可在构建阶段调用 msOpGen 完成集成。然而,深入评估后发现其难以覆盖当前场景:msOpGen 面向 AICore 算子的接口生成能力,无法满足 IndexSDK 中大量依赖 AICPU 侧 C++ 源码实现的核心检索算子。若强行沿用该方案,需投入大量资源定制工具链。经过技术权衡,我们决定放弃该路径,转而构建一个可内嵌于代码库、独立可控的算子编译工程。
4.3 方案落地:借鉴 ops-math 实现 aclnn 接口封装
在深入调研 CANN 开源社区后,ops-math 算子库为我们提供了关键的技术参考。与 msOpGen 不同,ops-math 不仅支持 AICore 算子的接口自动生成,更提供了 AICPU 算子 aclnn 接口的手动封装与编译规范,高度契合我们的技术诉求。
我们对其编译逻辑进行了深度解构,剥离了图编译等冗余环节,将核心构建机制提炼并集成至 Faiss-NPU 工程中。在具体实现上,我们将算子调用标准化为“两段式”流程:
- 调用
aclnnXxxGetWorkspaceSize接口获取算子执行所需的工作区内存大小,完成动态内存分配。 - 调用
aclnnXxx接口触发算子异步计算。

图5:单算子 aclnn 接口的两段式调用
该原生 API 调用方案彻底绕过了 ATC 编译环节,将算子逻辑直接固化至动态库中。不仅消除了启动前的编译等待,还显著降低了对 CANN Toolkit 的强依赖,使环境部署与版本升级变得更为轻盈可控。
4.4 工程实践:Faiss-NPU 全链路适配与交付
为将上述技术路径转化为可复用的工程能力,我们对 Faiss 进行了系统性的 NPU 适配。该过程涵盖底层资源管理、算法逻辑重构与上层接口绑定,主要包含以下六个关键步骤:
- 架构对标:参考 Faiss 成熟的加速器支持架构(
faiss::gpu),在faiss::npu命名空间下实现设备管理、流管理及内存分配器,为上层算法提供同等级别的资源调度基础设施。 - 工程奠基:将精简版
ops-math编译逻辑集成至 Faiss-NPU 工程,建立统一的构建系统,确保 AICore 与 AICPU 算子均可编译为包含aclnn接口的.so库。 - 算子迁移:将距离计算、TopK 排序等自定义算子解耦并迁移至 Faiss-NPU 算子目录。针对 AICore 算子进行框架适配,针对 AICPU 算子完成
aclnn接口手动封装。 - 算法适配:在 Faiss C++ 算法层植入 NPU 内存拷贝逻辑与
aclnn异步调用接口,打通 Host 与 Device 间的数据流转路径,实现算法逻辑与 NPU 算力的无缝融合。 - 接口绑定:利用 SWIG 工具生成 Python 绑定接口,确保 Python 端调用语法与原生 Faiss 保持一致,降低开发者学习成本。
- 打包交付:配置
setup.py与CMakeLists.txt,将编译产物、Python 接口及依赖项打包为标准 Python Wheel 包,支持通过pip install一键安装。
适配后的核心代码结构如下:
faiss/
├── CMakeLists.txt # 全局构建:集成 NPU 编译逻辑
└── faiss/
├── gpu/ # GPU 相关实现
├── npu/ # NPU 相关实现
│ ├── impl/ # 算法实现:NPU 核心检索逻辑
│ │ ops/
│ │ ├── ops_build.sh # 构建入口脚本(产物输出到 build_out/)
│ │ ├── ops_deploy.sh # 一键部署脚本(构建 + 安装 .run 包到 CANN)
│ │ ├── op_impl/ # 算子实现(每个算子一个目录)
│ │ │ ├── /
│ │ │ │ ├── op_host/ # host 侧:tiling、算子注册
│ │ │ │ ├── op_kernel/ # device 侧:AscendC kernel 实现
│ │ │ │ ├── test/ # 单算子测试(含 test.sh)
│ │ │ │ └── README.md # 算子详细文档
│ │ │ └── common/ # 算子间共享代码(kernel/host 公共头与实现)
│ │ ├── conversion/ # 数据转换类算子(slice、cast、transpose 等)
│ │ ├── common/ # 公共依赖(tiling 工具、aclnn 接口头等)
│ │ └── cmake/ # CMake 构建模块
│ └── utils/ # NPU 通用工具和基础设施
└── python/ # Python 绑定:SWIG 接口定义
5 开源展望:共建异构检索基础设施
目前,Faiss-NPU 模块的合入工作正在稳步推进。这不仅是代码层面的合并,更是昇腾 NPU 检索能力向开源社区的一次深度贡献。通过 aclnn 接口化重构,IndexSDK 正从“专用加速组件”演进为“开箱即用的开源基础设施”。未来,我们将持续聚焦异构计算门槛的降低与开发者体验的优化,推动 NPU 算力在向量检索场景中的规模化落地,与社区共同构建高效、开放的 AI 数据基础设施。
6 参考链接
- Faiss NPU:https://gitcode.com/Ascend/faiss
- Index SDK:https://gitcode.com/Ascend/IndexSDK
- CANN/ops-math:https://gitcode.com/cann/ops-math
- facebookresearch/faiss:https://github.com/facebookresearch/faiss
- milvus-ascend:https://gitcode.com/Ascend/mindsdk-referenceapps/tree/master/IndexSDK/opensource/milvus25-ascend
更多推荐



所有评论(0)