美团开源1.6万亿参数LongCat-2.5,仅靠194张昇腾芯片跑顺
美团开源1.6万亿参数LongCat-2.5,仅靠194张昇腾芯片跑顺
一个总参数高达 1.6 万亿的庞然大物,如果把它所有的数字原原本本搬进电脑,足足要占掉 3.56 个太字节的存储空间。而手头能拿来跑它的国产加速芯片,单张显存却连 80 吉字节都不到。按照常理,把这么大的大象硬塞进这几个狭窄的抽屉里,机器恐怕连开机都做不到。然而在 2026 年 11 月 10 日,美团把这个名为 LongCat-2.5 的模型彻底开源了,并且拿出了一套让人意想不到的参考方案:他们正好用了 194 张国产昇腾芯片,就把整套系统稳稳当当地跑了起来。

一、体重一口气砍掉大半,它是怎么做到的
面对 3.56 个太字节的原始身材,谁都不可能直接把它塞进有限的芯片显存里。很多人第一反应是,这根本就是不可能完成的任务。美团团队动手的第一刀,落在了模型的体量瘦身上。在原本的数字记录格式下,每一个参数都要占用不少精度空间。他们采用了一套四比特权重与四比特激活的压缩方案,直接把这头巨兽压缩到了 1.34 个太字节。
这相当于让一个原本极其臃肿的大胖子,在保持力气完全不减的前提下,把体重一口气甩掉了 60% 以上。你可能会好奇,把记录数字的精度压缩得这么狠,模型难道不会变笨、算账不会算错吗?秘密就在于他们使用了一种名为平坦量化的可学习等价变换技术,并且在专家网络复制和分发信息之前,就已经把压缩做完了。
更关键的是,他们让国产加速芯片直接用底层的四比特矩阵乘法硬件单元去算。这样一来,同一个压缩后的数字格式贯穿了整个通信和运算过程。在线上实际压力测试中,处理长文本输入时的预填充吞吐量直接提升了 43.3%,后续一个字一个字往外吐内容的解码吞吐量提升了 42.77%,就连吐出第一个字的等待时间也缩短了 15.91%。
不仅如此,这个庞然大物虽然总参数有 1.6 万亿,但它并不是每次干活都全员出动。它采用了一种被称为混合专家的内部架构,每次处理一个信息片段,实际上只有大约 480 亿参数处于激活状态。这种激活比例不仅让它换来了极高的运转效率,也给接下来的精密分工埋下了伏笔。
二、194 张芯片分成了三拨人,各自干什么
光把模型压缩瘦身还不够,1.34 个太字节的体积对于单张显存不足 80 吉字节的芯片来说,依然是个无法一口吞下的天文数字。如果你把模型平均切碎贴在每一张芯片上,芯片之间光是互相递小纸条确认信息,就能把通信线路彻底堵死。美团给出的破局办法,是把 194 张昇腾芯片分成了三拨完全不同工种的流水线工人。
第一拨人最轻松,只有 2 张卡,专门负责把眼睛看到的图像转成机器能读的代号。这个模型在看图时非常特殊,它没有外挂一个笨重的独立视觉看图工具,而是把画面直接拆成很多层离散代号,和文字一视同仁地送进同一个大脑主干里。正因为这 2 张卡能提前把图片里的细节算好并存起来,后面的人就再也不用重复看图了。
真正挑大梁的是后面两拨人。第二拨是由 4 台机器组成的 64 张芯片,专门负责阅读理解,也就是一次性把用户扔进来的长篇大论全部消化掉;第三拨则是 8 台机器组成的 128 张芯片,专门负责顺着思路一步一步往外写代码、吐结果。这就是把输入消化与输出生成彻底隔开的架构。

为了让这两拨人在各自的小团队里不打架,他们把最耗费带宽的数据交换都圈在了单台机器的高速互联范围内。比如在负责输出的 128 张芯片里,设置了 128 份专家并行分工和 16 组数据并行通道。只有在某个芯片任务太重、实在忙不过来的时候,系统才会启动动态专家复制,把忙不过来的活儿临时匀给旁边的闲人。
三、以前动不动卡住走神,现在靠什么熬过长途考验
搭好了硬件的骨架,但如果模型脑子不好使,做复杂的长程任务时走两步就迷路,那么堆再多芯片也是白搭。LongCat-2.5 的目标是面向长程智能体任务,比如写完一个大型软件项目,或者自己浏览网页排查代码故障。它支持高达 100 万字级别的上下文。但在真实世界里,普通的智能体最容易犯的毛病,就是自己把自己绕进去,重复调用同一个工具,或者在原地没完没了地过度思考。
为了根治这个老毛病,团队在训练阶段做了一件非常绝的事:直接给训练环境拔掉网线,清空所有的历史修改记录与文件缓存,彻底封死作弊的可能。他们不仅把真实智能体曾经卡住、走错路的失败路线重新做成考试题,逼着模型从跌倒的地方爬起来,还引入了一个裁判模型,只要发现它出现无意义的反复思考或重复调用工具,就立刻施加严厉的惩罚。
遇到那些特别冗长、一口气跑不完的大工程,他们也不让芯片傻等着。他们采用了一种异步分段推进的机制,这一轮没跑完的长任务先保存存档,留到下一轮继续跑。通过这种精细的调教,在衡量终端操作能力的测试中,上一代模型只有可怜的 3.0 分,而到了这一代直接飙升到了 38.5 分;在真实软件工程修复测试中,分数也从 9.7 分一路蹿到了 64.6 分。
即便在实际使用中偶有反馈说它还会出现循环推理,但很多开发者已经拿它做出了让人惊艳的成品。有人用它搭出了可切换视角的水族馆交互场景,有人用它写出了包含多个打斗场景的武侠游戏,还有人借它建成了汇总多个渠道数据的电商经营分析网站。

这 194 张国产芯片的协同运转,不仅证明了超大模型完全可以在有限显存的条件下一层层拆解、落地,更打破了以往只能依赖海外方案的固有思维。当软硬件之间的隔阂被一道道巧妙的切分与压缩抹平时,算力芯片的物理边界,就已经不再是阻挡技术奔跑的铁壁了。
更多推荐

所有评论(0)