昇思大模型应用：RAG 检索关键操作

昇思MindSpore

18人浏览 · 2026-09-14 16:09:23

昇思MindSpore · 2026-09-14 16:09:23 发布

一、RAG 技术概述

RAG（检索增强生成）是当前大模型落地行业最主流的技术方案，通过外部知识库检索 + 大模型生成的方式，解决大模型知识滞后、幻觉严重、专业领域知识不足的问题。昇思 MindSpore 大模型平台提供完整的 RAG 开发套件，内置文本切分、向量化编码、向量检索、重排序、上下文拼接、大模型推理全套流程，适配昇腾 NPU 加速，具备轻量化、国产化、低幻觉、易部署特点。

RAG 整体流程分为数据入库、检索匹配、生成回答三阶段，其中检索环节是 RAG 的核心关键，检索质量直接决定问答准确率。昇思 RAG 检索包含四大关键操作：文档切片、向量化编码、向量相似度检索、结果重排序，四步共同保证检索精准度。

二、昇思 RAG 检索四大关键操作

（一）文档切片（Chunk 切分）

原始文档篇幅长、语义杂乱，无法直接检索。昇思采用语义滑动窗口切分，根据标点、语义边界分割文本，设置固定切片长度与重叠长度，避免语义断裂。重叠区保证上下文连贯，防止关键信息被切割丢失，是检索准确率的基础前置操作。

（二）文本向量化编码

利用昇思内置 Embedding 向量模型，将自然语言转为高维浮点向量。向量空间中语义相似文本距离更近，昇思 Embedding 模型针对中文优化，适配行业文档、PDF、知识库文本，结合昇腾 NPU 加速，编码速度提升 40% 以上。

（三）向量相似度检索

将用户问题编码为查询向量，在向量库中计算欧式距离、余弦相似度，筛选 Top-K 相似度最高文档。昇思支持向量检索 + BM25 关键词检索混合检索，兼顾语义相似度与关键词命中，解决纯向量检索语义漂移问题。

（四）检索重排序（Rerank）

初次检索结果存在冗余、噪声，昇思 RAG 内置轻量排序模型，对 Top-K 文档二次打分，过滤低相关文本，优先保留高关联段落。重排序是提升问答精度的关键操作，可使错误检索率下降 30% 以上。

三、昇思 RAG 检索整体架构

昇思 RAG 架构分为四层：数据层、检索层、提示层、生成层。数据层完成文档加载与清洗；检索层完成切片、编码、向量查询、重排序；提示层将检索上下文拼接进提示词；生成层调用昇思大模型输出答案。检索层是重中之重，也是本次实践重点。

四、昇思 RAG 检索完整代码实践

基于 MindSpore+MindFormers，实现切片、向量化、向量库存储、检索、重排序、问答生成全部关键检索操作，代码简洁可直接运行。

import mindspore as ms
import numpy as np
from mindformers import AutoTokenizer, AutoModel
from sklearn.metrics.pairwise import cosine_similarity

# 1. 昇腾硬件环境配置
ms.set_context(device_target="Ascend", mode=ms.GRAPH_MODE)

# 2. 加载昇思中文嵌入模型（检索编码专用）
embedding_path = "mindspore/embedding_chinese_base"
embed_tokenizer = AutoTokenizer.from_pretrained(embedding_path)
embed_model = AutoModel.from_pretrained(embedding_path)

# 3. 文档切片（RAG关键操作1：语义切分）
def split_document(text, chunk_size=128, overlap=20):
    chunks = []
    start = 0
    while start < len(text):
        end = min(start + chunk_size, len(text))
        chunks.append(text[start:end])
        start = end - overlap
    return chunks

# 4. 文本向量化（RAG关键操作2：生成向量）
def get_embedding(text_list):
    inputs = embed_tokenizer(text_list, padding=True, truncation=True,
                             max_length=128, return_tensors="ms")
    output = embed_model(**inputs)
    vec = output[0].asnumpy().mean(axis=1)
    return vec

# 5. 向量检索（RAG关键操作3：相似度匹配）
def vector_search(query, chunk_vectors, chunks, top_k=3):
    q_vec = get_embedding([query])
    sim = cosine_similarity(q_vec, chunk_vectors)[0]
    idx = np.argsort(-sim)[:top_k]
    return [chunks[i] for i in idx]

# 6. 重排序（RAG关键操作4：二次筛选）
def rerank(query, candidates):
    score_list = []
    for text in candidates:
        score = len(set(query)&set(text))/len(set(query))
        score_list.append(score)
    sort_idx = np.argsort(-np.array(score_list))
    return [candidates[i] for i in sort_idx]

# 7. 主流程：RAG检索问答
if __name__ == "__main__":
    # 本地知识库文档
    doc = "昇思MindSpore是国产深度学习框架。RAG包含切片、向量化、检索、重排序。昇思支持大模型微调、提示学习、向量检索。昇腾NPU可加速编码与推理。"
    # 切片
    chunks = split_document(doc)
    # 向量化入库
    chunk_vec = get_embedding(chunks)
    # 用户提问
    question = "昇思RAG包含哪些关键步骤？"
    # 向量检索
    raw_res = vector_search(question, chunk_vec, chunks)
    # 重排序优化
    final_res = rerank(question, raw_res)
    # 拼接上下文
    context = "\n".join(final_res)
    print("【检索得到上下文】\n", context)