登录社区云，与社区用户共同成长
邀请您加入社区
暂无图片
为遵守国家网络实名制规定，未绑定将限制内容发布与互动
CANN AICPU算子库：昇腾NPU上那些“跑不满芯片”的算子都去了哪里
摘要： 在昇腾芯片上对TVA模型进行量化感知训练（QAT）时，LayerNorm算子的精度选择需权衡精度、硬件适配与部署目标。推荐优先保留FP32计算，因LayerNorm涉及平方、开方等高误差敏感操作，INT8量化易导致输出畸变，而FP32对整体推理速度影响小于5%。仅在高性能边缘场景（如昇腾Atlas200）且模型鲁棒性增强时，可谨慎尝试INT8，需结合SmoothQuant技术平滑激活值并精
摘要：针对TVA模型在昇腾芯片FP16推理时LayerNorm算子精度误差超标问题，提出系统性修复方案。分析硬件计算差异（FP16单元架构、非规格化数处理）、软件实现误差（算子算法差异、eps值不匹配）等根源，给出三方面修复策略：1）采用混合精度保留敏感层FP32计算；2）自定义高精度LayerNorm算子实现数值对齐；3）实施量化感知训练增强模型鲁棒性。通过强制FP32计算可使误差降至1e-5以
摘要：TVA系统在国产昇腾芯片上的部署面临核心挑战，需将Transformer架构的视觉智能体模型高效映射到昇腾AI处理器的异构计算架构。适配工作围绕昇腾计算架构（CANN）的算子库展开，确保模型推理和训练的性能与精度。关键算子包括基础张量运算、激活函数、归一化层、注意力机制等，需针对昇腾硬件特性进行优化。部署流程涉及环境准备、模型转换、算子覆盖度验证、精度验证、性能测试和稳定性测试，需充分利用昇
昇腾310上TVA模型INT8量化后端延迟压测验证方案摘要 本文提出了一套完整的昇腾310平台TVA模型INT8量化后端延迟压测验证方案。方案包含三个核心环节：首先使用msame工具进行纯模型推理基准测试，获取基础性能数据；其次构建端到端测试程序，精确测量预处理、推理、后处理各阶段耗时；最后通过并发压力测试模拟真实业务场景。方案特别设计了延迟分解分析方法，可准确定位性能瓶颈，并提供针对性的优化建议
摘要：本文详细阐述了在昇腾310AI处理器上实现TVA多模态模型INT8量化后200ms内端到端推理延迟的优化方案。通过训练后量化(PTQ)或量化感知训练(QAT)将模型转换为INT8格式，利用硬件加速单元提升计算效率；采用图编译优化技术如算子融合和内存优化；构建异步流水线并启用硬件加速预处理(DVPP)，实现预处理、推理和后处理的重叠执行。实验表明，该方案能有效将纯模型推理时间压缩至100ms左
CANN 通信库 HCCL 实战：昇腾多卡训练时 AllReduce 为什么卡在这个地方？
CANN opbase 仓库拆解：所有昇腾算子的“地基”长什么样
摘要：CANN生态中存在50多个算子仓库，各仓库重复实现公共功能导致代码冗余和维护困难。ascend-boost-comm作为中间件平台，通过五大公共模块实现功能复用：1）数据切片引擎统一处理多维切分和布局转换；2）拓扑发现服务提供NPU间物理连接信息；3）生命周期管理自动化算子执行流程；4）全局状态管理器支持跨算子数据共享；5）内置诊断工具实现分阶段性能分析。该设计将M×N的重复实现转变为M×N
本文介绍了在HarmonyOS 6.0应用中构建支付模块的设计方案，重点解析了"宿舍水电"管理应用的快捷充值选项和缴费记录时间线两个核心功能。充值模块采用2列网格布局展示预设金额选项，通过颜色语义区分不同场景；缴费记录模块使用垂直时间线设计，以颜色和符号直观显示资金流向。文章详细阐述了网格布局、卡片视觉设计、分割线间距控制等关键技术实现，并强调了系统性颜色语义在支付场景中的重要性。该方案通过优化交
