DeepSeek开源自研推理框架DeepInfer，支持英伟达GPU与华为昇腾NPU
·
DeepSeek开源自研推理框架DeepInfer，支持英伟达GPU与华为昇腾NPU
北京时间10月20日17时30分，DeepSeek在X上宣布开源内部推理框架DeepInfer。项目采用Apache 2.0许可证，目前支持DeepSeek-V4.1-Flash，可运行在英伟达SM100 GPU和华为昇腾950 NPU上，包含优化内核、专家并行、推测解码和结构化输出等功能。项目页写明，KV缓存系统、预填充/解码分离等完整服务组件不在这次发布范围内。DeepSeek同时开源了与官方API处理逻辑一致的编解码组件deepseek-recipe。
作为“人工智能6S店”的官方数字引擎，为AI开发者与企业提供一个覆盖软硬件全栈、一站式门户。
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)