scaling law 开始停滞不前，大家逐渐意识到真正重要的是强化学习。过去一年中，绝大多数进展正是由这一方法推动的。然而事实证明，这种判断是错的。就连OpenAI这样的顶尖实验室也被打了个措手不及，并为此付出了代价。下面我将解释为何预训练（pre-training），即通过模仿学习这种经典AI训练的方法，不仅远未消亡，反而正蓄势待发，将在2026年迎来一场“复兴”。耐心看完下面的内容，无论是做AI产品还是投资相关标的都会有帮助。

01

两条AI扩展定律

我们现在都知道，要让AI变得更好主要有两种路径：“更大”（bigger）与“思考更久”（thinking for longer）。但要理解二者，我们先需简要地回顾ChatGPT类模型的构建原理。

“世事变迁愈烈，本质却愈恒常。”

从外部看，AI行业生机勃勃、喧嚣纷呈：技术突破、炒作浪潮、迅猛迭代，堪称人类史上最具活力的产业。但事实上，当前AI模型与近十年前的模型惊人地相似。早年发现的基本原理不仅依然有效，更仍是当今进步的支柱。算法层面的实质性改进，多年以来几乎停滞不前。因此，当前最前沿的模型仍高度趋同，决定谁领先的关键变量，主要仍是训练数据规模与算力。归根结底，一切都取决于算力，不仅在于你拥有多少，更关键的是你如何高效地使用它。

1. 第一条扩展定律：预训练“更大”

第一条扩展定律围绕模仿学习（imitation learning）展开：向模型喂入海量数据，要求其模仿。通过机械式重复，模型从中提炼数据底层规律。这是一种归纳式过程：当模型反复看到“I”后接“am”，下次再遇到“I”，就更可能预测出“am”。如何优化这一方法？是扩大训练预算，具体体现为：

1）扩大数据集规模；

2）扩大模型参数规模。

但这些数据究竟有多大？其规模近乎难以想象。Transformer的训练预算（以FLOPs——浮点运算次数衡量）可近似用公式 6 × D × N 计算。6代表一次前向传播（2×FLOPs）与一次反向传播（4×FLOPs）。D为训练词元（token）总数，N是模型参数量。对当前主流的MOE模型，“N”实为“A”即激活参数量，暂不深究。如今的前沿预训练预算已达约 10²⁷ FLOPs即100亿亿亿次浮点运算（1 octillion FLOPs）。依上述公式，假设模型参数为5万亿（实际尚不及最前沿水平），则对应训练数据量约为 3.33 × 10¹³ tokens。按平均每词0.75词元估算，相当于24万亿单词的训练数据。而这仅是一次训练运行的规模；2025年已出现多次同级甚至更大规模的训练！可见，“大数据”之“大”，名副其实。

过去十年间，我们曾笃信只需将此流程“卷”到极致，甚至一度认为：仅靠扩大模型规模，便能抵达通用人工智能（AGI）。然而，当著名的GPT-4.5训练失败（原计划为GPT-5）后，人们猛然醒悟：这不仅不是实现AGI的充分条件，技术实已陷入停滞。随后，ChatGPT之父 Ilya Sutskever公开宣称：我们熟知的扩展定律已死。

2. 第二条扩展定律：后训练“思考更久”

约两年前，正值预训练狂热高峰之际，包括IIya本人在内的OpenAI少数研究员提出一问：

“如果我们给模型时间思考呢？”

逻辑很简单：人类面对复杂任务时，并非立即作答，而是先在脑内反复推演；我们常将问题拆解为更简单的步骤，这本质上是向任务投入更多‘思考’。于是他们开始测试此构想。方法极其简单：基于一个已完成预训练的LLM，用小型“冷启动”带思维链的数据，然后就可以向其提出中等难度问题，但不直接提供答案供模仿，而是让其通过试错自行推导。这种试错训练法，即强化学习（RL），一项已有三十年历史、如今终被规模化应用的技术—，效果惊人，由此诞生了第二条扩展定律：当模型被赋予思考时间，其表现将大幅提升。“推理模型”（reasoning models）应运而生，以OpenAI的o1为先驱。这种额外训练阶段称为“后训练”（post-training），因发生在预训练之后。它使GPT-4o蜕变为o1，在所有“思考时间越长表现越好”的基准测试中全面跃升。

如今，我们还有“中期训练”（mid-training）即预训练与后训练间的补充训练。虽概念略显拗口，却支持灵活操作，如DeepSeek v3.2在不重训的前提下改良注意力机制。更关键在于：此扩展定律不仅能提升“聪明模型”的智商，还可让小模型凭借inference-time compute媲美大模型。过去一年间，扩大后训练算力成了各家AI实验室的执念。

02

潜在推理的重要性

评判智能，无论对象是模型还是人类，我们既可以看结果（“观其行”），也可以看过程（“察其思”）。多数人倾向前者，但我坚信后者更优。原因如下：前者可概括为著名“鸭子测试”（duck test）：

“若其行如鸭、鸣如鸭，则必为鸭。”

我反对的是：聪明结果等于智能本身，我们应关注过程。评估智能，主要是看如何抵达结论，无论结论是否正确。因为模型看似智能，实则多为复述记忆数据。你能死记硬背一道极难的物理学博士考题答案，但这绝不意味着你具备博士级物理智慧。更何况有大量证据表明：记忆仍在模型能力中扮演重要角色。

评估AI能解决的最复杂问题时，我们常将算力调至极限，观察其能力边界。赋予模型充裕推理算力，测试其上限。METR基准即典型：衡量AI在80%情况下能完成的最长软件工程任务。

但此类基准设计允许模型自由生成token，意味着结果未必具商业可行性。这里我们实质在问：“如果忽略成本，模型能力极限何在？”，因为单次任务可能涉及数十万乃至数百万次token消耗。

这确实是衡量推理算力进步的绝佳方式。但过度聚焦于此，会使人忽视基座模型本身也需要提升。我们应观察单次预测质量的净提升。因这点差异，可能导致一模型需比另一模型多耗100倍算力（生成更多词元），仅因其单次预测质量更低，被迫靠堆砌推理步数抵达答案。

03

单次前向传播

我们真正想评估的，是单次前向传播（forward pass）的质量：即模型仅凭当前输入，预测下一个token的能力。这样我们就能回答：LLM凭借单次预测，在无“外显推理”时，能力边界何在？这里的思考是这样的：人类被要求即兴作答时，成败取决于是否“知道答案”。而对AI而言，“外显推理”本就是记忆序列的一部分，强制其跳过外显推理，便切断其连接问题与答案的关键环节，记忆在此失效。如果模型在无推理轨迹时仍能解决需推理的问题，这便是评估其潜在推理能力（latent reasoning）即内在、非外显的推理智能的绝佳指标。那么，模型在此项测试中表现如何？

好消息是预训练层面仍有进展。通俗地说，模型的“单次预测智能”正在提升，即每预测一次，就更聪明一分。其中尤以Gemini与Claude为甚：如下图（线性/对数尺度）所示，其代际间呈现清晰净提升。

反观OpenAI，则已完全将进步押注于推理算力。其GPT-4到GPT-5代际间仅现中等性能提升，进步主要源于第二条扩展定律：单任务投入更多算力。这也解释了我个人体验：ChatGPT在非推理任务上表现极度糟糕，其非推理版GPT-5.2 Instant堪称对技术进步的侮辱，迫使我永远开启‘Thinking’开关，确保所有答复均经推理生成。

OpenAI首席研究官Mark Chen已公开承认：过去一年其后训练投入“过头”，现已转回重拾“预训练”。DeepMind高管Oriol Vinyals更直言：预训练是Gemini 3 Pro惊艳表现的关键。可见，预训练不仅尚在，并且正深刻影响普通用户的体验。2026年，其研究关注度必将远超2025年“已死”论调。

而这对你我意味着什么？

推理决定服务器规模，训练决定数据中心规模。如果预训练仍是进步核心驱动力，则数据中心扩建压力必将重燃，且证据确凿。原因在于预训练数据规模：如前所述，其体量已极庞大，且只会更大。这意味着训练需集成更多加速器（如GPU）。

同时，随着训练预算增长，我们也将更倾向采用“专家稀疏化”（expert sparsity）。此技术由DeepSeek推广，当前前沿模型已普遍采用细粒度专家混合（MoE）将模型“分割”为更小子模型，以降低单次预测运算量。MoE并非真将模型物理切分，而是划分MLP层（其占FLOPs大头），从而按激活专家数均摊算力需求。鉴于GPU集群扩展难度极高，算法优化将成为容纳更大训练的必要手段。模型将依第一条扩展定律继续增大，但内部结构将趋向“精瘦”。

关键的问题来了，英伟达等硬件厂商是否过度押注“推理”？训练算力占比是否真会被推理完全吞噬？它们已宣布下一代GPU平台Rubin将首推纯推理GPU，Rubin CPX。如果这种趋势叠加“推理向边缘设备迁移”的压力，AI硬件路线图恐怕会过度倾向于推理。当前，“纵向扩展”（scaling-up，即单服务器内增配加速器）因其提升推理性能的主因是当前的主流，在重推理的RL训练中，试错需反复运行推理直至成功，所以同样关键。但随着大规模非RL训练重获重视，“横向扩展”（scaling-out，增服务器数）与“跨域扩展”（scaling-across，数据中心互联）将再度成为进步关键，而纵向扩展重要性显著下降，这显然与硬件演进方向相悖。微妙差异对投资者意味深长。

---

说真的，这两年看着身边一个个搞Java、C++、前端、数据、架构的开始卷大模型，挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis，稳稳当当过日子。

结果GPT、DeepSeek火了之后，整条线上的人都开始有点慌了，大家都在想：“我是不是要学大模型，不然这饭碗还能保多久？”

我先给出最直接的答案：一定要把现有的技术和大模型结合起来，而不是抛弃你们现有技术！掌握AI能力的Java工程师比纯Java岗要吃香的多。

即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地！大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇！

这绝非空谈。数据说话

2025年的最后一个月，脉脉高聘发布了《2025年度人才迁徙报告》，披露了2025年前10个月的招聘市场现状。

AI领域的人才需求呈现出极为迫切的“井喷”态势

2025年前10个月，新发AI岗位量同比增长543%，9月单月同比增幅超11倍。同时，在薪资方面，AI领域也显著领先。其中，月薪排名前20的高薪岗位平均月薪均超过6万元，而这些席位大部分被AI研发岗占据。

与此相对应，市场为AI人才支付了显著的溢价：算法工程师中，专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%；产品经理岗位中，AI方向的产品经理薪资也领先约20%。

当你意识到“技术+AI”是个人突围的最佳路径时，整个就业市场的数据也印证了同一个事实：AI大模型正成为高薪机会的最大源头。

最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包【允许白嫖】：

• ✅从入门到精通的全套视频教程

• ✅AI大模型学习路线图（0基础到项目实战仅需90天）

• ✅大模型书籍与技术文档PDF

• ✅各大厂大模型面试题目详解

• ✅640套AI大模型报告合集

• ✅大模型入门实战训练

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

①从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（0基础到项目实战仅需90天）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤640套AI大模型报告合集

⑥大模型入门实战训练

👉获取方式：
有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓