作者 |Don

来源 | 至顶AI实验室

苹果WWDC 2026，大家期待的M5 Ultra 芯片没有出现。身边想用本地AI的朋友都在讨论，倒是是选Nvidia显卡，还是继续等M5 Ultra。刷到一条视频正好解答了这个问题：就算不等新芯片，现在能买到的 Mac Studio，能在本地AI这件事上打过 Nvidia 旗舰显卡 RTX 5090 吗？

Youtube视频博主The Stack给的答案是肯定的，但不靠 Mac 跑得更快，是因为 Nvidia 显卡有个绕不过去的硬伤。结论有点反直觉，所以背后的逻辑，值得仔细拆开讲讲。

内存才是第一道坎，不是算力先说关键词：不是算力，是内存。在自己机器上跑大语言模型，模型必须整个塞进芯片能快速访问的内存里，塞不下要么跑不起来，要么被迫溢出到系统内存，速度断崖式下跌。所以判断一台机器能不能干这活，第一个问题从来不是"这颗芯片有多快"，而是"这个模型装不装得下"。

RTX 5090 恰恰在这道题上撞了墙。这张卡配的是32GB GDDR7显存，硬顶，焊死在卡上，没有升级空间。视频里举了个例子：一个700亿参数的模型用Q4（把每个权重压缩到约4比特的量化方式，本地部署最常用的档位）跑，大概需要40GB才能装下——32GB的5090装不下，只能把部分层卸载到CPU，这时候地表最快的消费级GPU也会被拖得很慢。

苹果走的是另一条路，叫统一内存架构：CPU和GPU共用同一块高速内存池，GPU不再有独立的一小块显存，顶配Mac Studio能把一整块很大的内存池整个交给GPU装模型。视频里提到有人在Hacker News上晒出用一台Mac Studio日常跑一个2350亿参数视觉模型。

要在Nvidia那边实现同等规模，得上一整套多卡集群，成本轻松破3万美元；Mac这边只是桌上一台安静的小机箱。

装得下的话，5090照样碾压不过视频也没回避Nvidia的强项：只要模型能塞进32GB这个框，5090在单token生成速度上碾压式领先，跑小模型能冲到每秒180多个token；两边都能覆盖的模型区间里，5090比Mac快三到四倍。原因是内存带宽——芯片来回搬运数据的速度。5090带宽约1800GB/s，视频对比的是M4 Max版Mac Studio，约550GB/s，差了三倍多。

所以结论很直接：实时语音、高并发这类对延迟极敏感的场景，直接上Nvidia。但陷阱在"只要模型装得下"这个前提——大部分真正有意思的大模型，恰恰装不进32GB。Apple不是靠更快赢的，是靠"这屋子里只有它还能把模型跑起来"赢的。

三年周期算总账，不是一个量级

长期持有成本上，差距不是领先一点，是完全不同量级。跑中等模型的Mac mini功耗大概是同等RTX塔式机的十分之一，社区跑分反复印证：40瓦的Mac mini能打平功耗堪比小型电暖器的双GPU主机。拉到三年周期，视频引用的一份成本核算显示，高配M5 Max MacBook Pro算上更低功耗和更保值的二手价，实际持有成本约2000美元；对应的RTX 5090整机接近4500美元。GPU价格随供需波动大，这个数字更像某个时间点的快照。

软件生态补上了最后一块短板

早些年吐槽Mac跑本地AI的共识是软件生态跟不上，CUDA几乎等于整个生态，苹果长期是局外人。这一点在过去一年多真的变了，也是这条对比现在才成立的原因。核心是苹果自己的MLX机器学习框架，专为统一内存架构设计，现在是Mac上跑模型最快的路径。140亿参数以下的模型，MLX比老牌的llama.cpp后端快出不少；270亿参数以上两者收窄接近，因为瓶颈又回到了内存带宽本身。

标志性的转折点是，本地部署最常用的一键工具Ollama在2026年3月正式把Mac后端切换成了MLX，符合条件的机器解码速度接近翻倍，某个混合专家架构（MoE，只激活部分参数参与计算的模型结构，天然更省带宽）的编程模型提速接近三倍。

不过这次提速只惠及32GB内存及以上的Mac，8GB、16GB配置走的还是老路径；不想碰命令行的话，配合LM Studio这类图形界面工具也能拿到同样收益。

三条硬伤：训练、出图、Ultra迭代慢半拍

视频也很坦诚地列了几条硬伤。训练目前还是Nvidia的地盘——超出小规模微调，整条工具链包括FSDP（把单个模型拆分到多张GPU上分布式训练的标准方法）都是围着CUDA设计的。图像生成也是Apple的短板，像Stable Diffusion 3.5这类扩散模型更依赖原始算力而非内存容量，实测M5 Max比5090慢了约五倍。苹果高端还有个结构性问题：Ultra系列芯片总是比自家最新芯片慢一到两代。视频提到有人用四台Ultra机器组集群、通过雷雳接口跑起了6710亿参数的DeepSeek V3（一款开源大模型），技术上可行，但买的是落后自家最新一代的芯片。

至顶AI实验室洞见

如果你考虑购买，我的建议是：

如果你是独立开发者，做代码辅助、检索增强或agent工作流，模型规模通常在70亿到700亿参数区间，Apple Silicon更合适，性价比最高的是48GB内存的Mac mini M4 Pro，约1800美元，安静省电。需要日常跑千亿参数级大模型，Ultra版Mac Studio是唯一说得过去的单机方案，只是要接受它落后自家最新芯片一两代。

反过来，大规模微调训练、图像生成，或需要在32GB以内追求极致吞吐延迟，那还是老实上Nvidia。

这条视频给我最大的启发，是把"更快"和"更能用"拆开看了。本地AI现在被卡住的是内存能塞下多大的模型，不是芯片算得多快。这个瓶颈还在，容量就比速度更值钱。对预算有限、只想安静跑个大模型的个人开发者来说，这个视角比单纯比拼跑分实用得多。

END本文来自至顶AI实验室，一个专注于对AI计算机、工作站及各类AI相关硬件设备，开展基于真实使用场景评测的研究机构。