登录社区云,与社区用户共同成长
邀请您加入社区
随着人工智能技术在电力行业的深入应用,行业智能化对 AI 计算性能、效率以及算力适配能力提出了更高要求。为推动 AI 技术与电力行业应用深度融合,本次大赛基于电力行业典型场景的实际需求设计赛题,组织开展昇腾行业算子开发与性能优化实践,探索高效、高质量的行业算力优化方案。赛事将联合产业伙伴,共同推动优秀成果开源、共享、应用,不断产生并积累实用算子、实际开发经验、优秀开发者,基于CANN开源社区电力S
B站预约链接:点击预约
3.**官方技术交流群(微信群)**:昇腾社区官网会发布活动信息,小助手们也会创建微信群聊,进行活动的发布与问题的答疑,在此建立直接联系非常高效。1.**从小处着手,建立信心**:建议**不要**一开始就去挑战大而全的算子重构。2.**先沟通,后动手**:**这是最重要的建议**。3.**缺陷反馈与测试验证**:在日常开发中使用CANN时,将遇到的Bug、崩溃或性能异常通过Issue详细描述(附带
依托昇腾与麒麟NPU同源的达芬奇(DaVinci)架构,以及CANN软件开发能力,开发者在昇腾上完成的部分模型适配与算子实现,可以继续沿用于麒麟端侧,在降低开发投入的同时,也有助于降低云侧推理成本。通过量化与裁剪,形成约0.6B的端侧版本模型,其核心计算模块及相关算子结构与云侧保持一致,面向昇腾的计算设计仍然适用,也为底层代码的端云共用创造了条件。昇腾与麒麟NPU均基于DaVinci架构,底层统一
📲 关注【昇腾CANN】视频号,锁定最新直播信息,干货福利不错过!🎥 视频号、B站、昇腾社区多平台同步直播。🎁 戳链接参与互动,赢惊喜定制好礼。
1、CANN整体技术架构与软件栈2、昇腾AI处理器计算核心概览3、主流算子开发编程语言对比4、 如何选择适合你的开发方式
【昇腾CANN】视频号、B站、昇腾社区多平台直播 ,观看直播,参与互动赢取惊喜定制礼品。扫码关注【昇腾CANN】视频号,掌握最新直播信息。
👉 抢先解锁课前学习资源:2026昇腾CANN训练营-昇腾社区
全新昇腾950系列课程上线,免费算力、多重好礼等你拿!📅 活动时间:即日起至2027年1月11日。
低比特量化是降低大语言模型推理成本和资源需求的重要手段。随着部署场景对显存占用、带宽压力和计算效率提出更高要求,量化研究正逐渐从 8-bit 进一步推进到 4-bit。HiFloat4(HiF4)是昇腾自研的一种 4-bit 数值格式,通过三级缩放机制显著扩展了低精度数值的动态范围,使其更适配大模型权重和激活中常见的动态范围分布。将高精度权重直接转化为 4 比特格式通常会带来量化误差。因此,量化校
下面这张图可以支撑:HiF8和MXFP8在KV cache上均能保持较高量化保真度,KV cache不是HiF8相比MXFP8的主要精度风险来源,在KV cache SQNR上,未观察到HiF8相比 MXFP8的系统性退化,两种格式整体稳定在相近水平。该结果表明,HiF8在KV cache量化中未引入额外的小值置零风险,并可能相比MXFP8更好地保留低幅值cache信息,HiF8在KV cache
大模型量化是推理优化的关键能力之一。通过降低权重和激活的数值精度,量化可以减少模型存储、显存占用和计算开销,是大模型在实际业务中高效部署的重要手段。AMCT 是 CANN 社区提供的模型压缩与量化工具,面向昇腾 AI 处理器支持 LLM 模型高效量化,覆盖 BF16 基线评估、PTQ 离线数据提取、PTQ 参数训练、fake quant 精度评估等典型流程。本文与配套使用,提供一份可参考、可跑通的
是面向生命科学领域、负责建设昇腾原生算子库的开源兴趣小组,算子仓为bio-ops-molecule。SIG聚焦多组学数据处理、生物分子模拟和生物基础模型训练等场景,通过高性能行业算子解决计算效率、显存占用和数据访存等底层性能瓶颈。面向高校学生同时启动5大赛区:京津冀东北赛区、上合赛区、西北赛区、西南赛区、杭厦赛区,荣誉证书 +秋招机考面试绿卡+丰厚奖金 欢迎广大学生报名参加!CANN社区新开发者首
CANNBot-DSL正是基于此考虑:把那些复杂、易错、却又不左右性能的动作逐一建模,沉淀为一层架设在昇腾稳定Ascend C之上的软件抽象,让 CANNBot 彻底从繁冗细节中解放出来,回到算法与数据流的主场,心无旁骛,尽展所长。为突破Agent开发复杂高性能算子的各类难题,CANNBot-DSL方案通过昇腾硬件友好的协程范式、框架自动管理同步、Agent友好的API封装、尾块自动处理、性能优化