整体架构坚持单机光电 + 单机边缘算力，分为两大部分：①主流边缘 AI 算力板卡选型（昇腾国产为主，匹配现有 Atlas 存量）；②四层性能优化方案（硬件层→系统层→模型编译层→业务逻辑层），最终实现帧率提升、推理时延降低、复杂场景识别准确率上涨、高温满载不降频。

一、边缘端 AI 推理主流硬件板卡分类（昇腾 Atlas 为主，适配项目国产化要求）

1. 低算力嵌入式模组（存量在用：Atlas200I A2）

硬件型号	核心芯片	INT8 峰值算力	形态	典型功耗	适用场景
Atlas 200I A2（310P）	Ascend310P	16~20TOPS	工业嵌入式模组（插箱内置）	8~12W	常规开阔点位、可见光 + 红外双路视频基础检测、前端粗预警、存量利旧设备
Atlas 200DK	Ascend310	8~16TOPS	开发板	7W	算法调试、原型验证，禁止正式野外部署（散热差易降频）

2. 中高算力边缘整机 / 加速卡

硬件型号	核心配置	INT8 算力	形态	功耗	适配你的业务价值
Atlas 300I 四芯 310P 加速卡	4×310P	≈170TOPS	PCIe 工业卡	72W	嵌入加固工控机，单台设备独占算力，原生满足招标≥170TOPS 指标，本地跑 4K 双路 + 多模型并行推理
Atlas500 Pro 边缘一体机	4×310P	170TOPS	整机边缘节点	80W	一体化加固、宽温车载 / 基站部署，开箱即用

3. 备选国产边缘算力（非昇腾，国产化兜底）

• 瑞芯微 RK3588：6TOPS，低成本小相机边缘；

• 地平线征程 5：120TOPS，车载感知；

• 寒武纪 MLU270：边缘推理卡；
  建议全程沿用昇腾生态，200I 上训练调试的 OM 模型可直接迁移至 300I，无二次算法开发成本。

选型落地原则（贴合边端单机部署）

1. 常规外围值守点：维持 Atlas200I，成本最低，基础预警够用；

1. 城市复杂、要害安防、飞鸟密集点位：直接更换Atlas300I 加固工控整机，实现算力跨越式升级；

1. 全程保持「1 台光电转台对应 1 台边缘算力设备」，保障低时延跟踪、断网独立工作。

二、边缘端推理性能四层优化整体方案（从低成本软优化→硬件升级，阶梯落地）

层级一：整机硬件底层优化（零算法改动，快速释放闲置算力，存量 200I 立刻见效）

1. 散热与功耗锁频（解决高温降频头号问题）

• 改造：密闭控制柜加装导流风扇、导热均热板，将模组工作温度控制在 55℃以内；

• 固件配置：昇腾 npu-smi 工具锁定 NPU 最高功耗档位，禁止智能降频；

• 收益：满载算力稳定性提升 20%，恶劣环境下推理帧率不再剧烈抖动，光电跟踪不漂移。

2. 内存与带宽扩容

Atlas200I 标配 8GB LPDDR，多路视频缓存容易内存溢出：

• 升级至满配 8GB 高速内存，关闭系统 swap 交换分区（磁盘交换会严重拖慢推理速度）；

• 视频输出采用 YUV 硬解码直送 NPU，避免 RGB 格式 CPU 内存拷贝。

3. 视频链路硬件硬加速（卸载 CPU 负载）

两路可见光 + 热成像视频全部使用芯片VPU 硬件硬解码，完全不占用 CPU 做图像解码；
CPU 仅保留串口转台控制、告警存储业务，100% 释放 CPU 资源用于后处理逻辑。

层级二：系统与 AscendCL 运行时优化（CANN 底层调优，时延直接压缩 30%+）

1. 预处理下沉至 NPU（AIPP 硬件预处理，核心优化点）

原有方案：CPU 使用 OpenCV 做 Resize、归一化、色域转换，CPU 开销大、数据来回搬运。
优化手段：模型转换（ATC）阶段开启AIPP 固化预处理，缩放、色域变换、均值归一化全部在 NPU 硬件流水线完成，CPU 零预处理开销。
实测收益：单帧预处理耗时从 15~20ms 降至 2ms 内，整体端到端推理时延大幅降低。

2. 模型内存复用与显存优化

• 开启 CANNdynamic_batch_size动态 batch 适配视频流，减少模型反复加载销毁；

• 固定推理输入尺寸，关闭动态分辨率推理，NPU 缓存可复用；

• 多模型共用特征缓存，检测模型 + 分类模型共享图像特征图。

3. 后处理 NMS 硬件卸载

将 YOLO-NMS、Soft-NMS、目标框过滤逻辑用 TBE 自定义算子编译进 NPU，不再在 CPU 做大量候选框计算，降低 CPU 占用。

层级三：模型编译与量化优化（在现有算力内提升精度 + 速度，不换硬件）

1. 高精度 INT8 量化（精度损失＜1%，速度翻倍）

使用 CANN 校准工具做图像数据集 INT8 精细量化，避免粗暴 PTQ 量化造成小无人机特征丢失；
对比 FP16 推理，INT8 算力吞吐量直接提升 2 倍，是边缘模型标配优化手段。

2. 模型结构适配边缘场景改造（针对无人机检测定制）

1. 主干网络轻量化：YOLOv8-L→YOLOv8s/RTMDet-S，配合深度可分离卷积；

1. 多尺度分支拆分：小目标专用检测分支（裁剪远景画面）+ 常规目标分支，在有限算力下提升小无人机召回率；

1. 模型蒸馏：用云端大模型做教师模型，蒸馏边缘轻量化学生模型，同等算力下 mAP 提升 4%~6%。

3. ATC 模型编译高阶参数调优

Plain Text --precision_mode=force_int8 强制INT8加速 --fusion_mode=all 全部算子融合，减少计算单元切换开销 --op_select_implmode=high_precision 关键检测头高精度算子保留

算子融合消除碎片化计算，NPU 利用率从 60% 提升至 85% 以上。

层级四：业务逻辑调度优化（多模型协同算力调度，匹配你们已验证的多模型方案）

1. 算力分时 / 并行调度（存量 200I 算力极限压榨）

• 主线程：实时检测模型（保障跟踪帧率优先级最高）；

• 空闲时隙：对检测框 ROI 区域调用轻量化分类模型（无人机 / 鸟类 / 风筝二分类）做误报过滤；

• 夜间模式：启动红外图像增强小模型，白天关闭节省算力。

2. 高算力硬件（Atlas300I）多模型并行常驻

富余 170TOPS 算力直接常驻三套模型并行运行：
① 主目标检测模型 ② 小目标增强模型 ③ 精细化分类滤波模型
实现：高分辨率原图推理 + 全尺度目标检出 + 实时虚警过滤，直接达成复杂场景识别提升 5%~10% 的指标。

3. 时序滤波边缘闭环

在边缘端嵌入 ByteTrack 目标跟踪，连续帧过滤瞬时噪点虚警，不依赖后端时序分析，单机完成「检测 - 识别 - 跟踪 - 告警」全闭环。

三、两套落地实施路线（分预算选型）

路线 A：低成本存量改造（零硬件采购，Atlas200I 性能挖潜）

1. 硬件：机箱散热改造、NPU 功耗锁频；

1. 软件：AIPP 预处理下沉 + INT8 量化 + 多模型分时调度；

1. 效果：推理帧率提升 25%，误报数量下降，复杂场景识别准确率从 60% 提升至 63%~65%，满足常规点位升级。

路线 B：重点点位硬件升级

1. 硬件：重点点位替换 Atlas300I 加固边缘算力整机；

1. 算法：直接迁移 200I 验证完成的多模型协同算法，开启多模型并行 + 4K 原图推理；

1. 效果：稳定满足≥170TOPS 算力指标，复杂场景识别准确率 60%→65%（保底）~70%（最优），昼夜、雨雪、遮挡场景跟踪流畅度质变，满足项目验收硬性指标。

四、总结汇报精简话术

边缘推理硬件以昇腾 Atlas 系列为核心，存量 Atlas200I 嵌入式模组适用于常规点位基础预警，算力上限制约复杂场景识别效果；要害复杂点位采用 Atlas300I 四芯 310P 高算力边缘整机，达成 170TOPS 算力指标。
性能优化采用阶梯式方案：先通过散热加固、CANN 预处理下沉、模型量化实现存量设备性能挖潜；重点点位依托高算力硬件部署多模型并行融合推理，全程保持单机光电配套单机边缘算力的架构，保障光电跟踪低时延、断网独立工作的核心优势，同步完成识别准确率提升、虚警抑制、设备全天候稳定运行三大业务目标。