scaling law 开始停滞不前，大家逐渐意识到真正重要的是强化学习。

过去一年中，绝大多数进展正是由这一方法推动的。然而事实证明，这种判断是错的。就连OpenAI这样的顶尖实验室也被打了个措手不及，并为此付出了代价。

下面我将解释为何预训练（pre-training），即通过模仿学习这种经典AI训练的方法，不仅远未消亡，反而正蓄势待发，将在2026年迎来一场“复兴”。

耐心看完下面的内容，无论是做AI产品还是投资相关标的都会有帮助。

两条AI扩展定律

我们现在都知道，要让AI变得更好主要有两种路径：“更大”（bigger）与“思考更久”（thinking for longer）。但要理解二者，我们先需简要地回顾ChatGPT类模型的构建原理。

“世事变迁愈烈，本质却愈恒常。”

从外部看，AI行业生机勃勃、喧嚣纷呈：技术突破、炒作浪潮、迅猛迭代，堪称人类史上最具活力的产业。但事实上，当前AI模型与近十年前的模型惊人地相似。

早年发现的基本原理不仅依然有效，更仍是当今进步的支柱。算法层面的实质性改进，多年以来几乎停滞不前。

因此，当前最前沿的模型仍高度趋同，决定谁领先的关键变量，主要仍是训练数据规模与算力。归根结底，一切都取决于算力，不仅在于你拥有多少，更关键的是你如何高效地使用它。

第一条扩展定律：预训练“更大”

第一条扩展定律围绕模仿学习（imitation learning）展开：向模型喂入海量数据，要求其模仿。通过机械式重复，模型从中提炼数据底层规律。

这是一种归纳式过程：当模型反复看到“I”后接“am”，下次再遇到“I”，就更可能预测出“am”。如何优化这一方法？是扩大训练预算，具体体现为：

1）扩大数据集规模；
2）扩大模型参数规模。

但这些数据究竟有多大？其规模近乎难以想象。

Transformer的训练预算（以FLOPs——浮点运算次数衡量）可近似用公式 6 × D × N 计算。6代表一次前向传播（2×FLOPs）与一次反向传播（4×FLOPs）。D为训练词元（token）总数，N是模型参数量。

对当前主流的MOE模型，“N”实为“A”即激活参数量，暂不深究。如今的前沿预训练预算已达约 10²⁷ FLOPs即100亿亿亿次浮点运算（1 octillion FLOPs）。

依上述公式，假设模型参数为5万亿（实际尚不及最前沿水平），则对应训练数据量约为 3.33 × 10¹³ tokens。按平均每词0.75词元估算，相当于24万亿单词的训练数据。

而这仅是一次训练运行的规模；2025年已出现多次同级甚至更大规模的训练！可见，“大数据”之“大”，名副其实。

过去十年间，我们曾笃信只需将此流程“卷”到极致，甚至一度认为：仅靠扩大模型规模，便能抵达通用人工智能（AGI）。然而，当著名的GPT-4.5训练失败（原计划为GPT-5）后，人们猛然醒悟：这不仅不是实现AGI的充分条件，技术实已陷入停滞。随后，ChatGPT之父 Ilya Sutskever公开宣称：我们熟知的扩展定律已死。

第二条扩展定律：后训练“思考更久”

约两年前，正值预训练狂热高峰之际，包括IIya本人在内的OpenAI少数研究员提出一问：

“如果我们给模型时间思考呢？”

逻辑很简单：人类面对复杂任务时，并非立即作答，而是先在脑内反复推演；我们常将问题拆解为更简单的步骤，这本质上是向任务投入更多‘思考’。于是他们开始测试此构想。

方法极其简单：基于一个已完成预训练的LLM，用小型“冷启动”带思维链的数据，然后就可以向其提出中等难度问题，但不直接提供答案供模仿，而是让其通过试错自行推导。

这种试错训练法，即强化学习（RL），一项已有三十年历史、如今终被规模化应用的技术—，效果惊人，由此诞生了第二条扩展定律：当模型被赋予思考时间，其表现将大幅提升。

“推理模型”（reasoning models）应运而生，以OpenAI的o1为先驱。这种额外训练阶段称为“后训练”（post-training），因发生在预训练之后。它使GPT-4o蜕变为o1，在所有“思考时间越长表现越好”的基准测试中全面跃升。

如今，我们还有“中期训练”（mid-training）即预训练与后训练间的补充训练。虽概念略显拗口，却支持灵活操作，如DeepSeek v3.2在不重训的前提下改良注意力机制。

更关键在于：此扩展定律不仅能提升“聪明模型”的智商，还可让小模型凭借inference-time compute媲美大模型。过去一年间，扩大后训练算力成了各家AI实验室的执念。

潜在推理（Latent Reasoning）的重要性

评判智能，无论对象是模型还是人类，我们既可以看结果（“观其行”），也可以看过程（“察其思”）。多数人倾向前者，但我坚信后者更优。原因如下：前者可概括为著名“鸭子测试”（duck test）：

“若其行如鸭、鸣如鸭，则必为鸭。”

我反对的是：聪明结果等于智能本身，我们应关注过程。评估智能，主要是看如何抵达结论，无论结论是否正确。因为模型看似智能，实则多为复述记忆数据。

你能死记硬背一道极难的物理学博士考题答案，但这绝不意味着你具备博士级物理智慧。更何况有大量证据表明：记忆仍在模型能力中扮演重要角色。

评估AI能解决的最复杂问题时，我们常将算力调至极限，观察其能力边界。赋予模型充裕推理算力，测试其上限。METR基准即典型：衡量AI在80%情况下能完成的最长软件工程任务。

但此类基准设计允许模型自由生成token，意味着结果未必具商业可行性。这里我们实质在问：“如果忽略成本，模型能力极限何在？”，因为单次任务可能涉及数十万乃至数百万次token消耗。

这确实是衡量推理算力进步的绝佳方式。但过度聚焦于此，会使人忽视基座模型本身也需要提升。我们应观察单次预测质量的净提升。因这点差异，可能导致一模型需比另一模型多耗100倍算力（生成更多词元），仅因其单次预测质量更低，被迫靠堆砌推理步数抵达答案。

单次前向传播（Single Forward Pass）

我们真正想评估的，是单次前向传播（forward pass）的质量：即模型仅凭当前输入，预测下一个token的能力。这样我们就能回答：LLM凭借单次预测，在无“外显推理”时，能力边界何在？这里的思考是这样的：人类被要求即兴作答时，成败取决于是否“知道答案”。

而对AI而言，“外显推理”本就是记忆序列的一部分，强制其跳过外显推理，便切断其连接问题与答案的关键环节，记忆在此失效。如果模型在无推理轨迹时仍能解决需推理的问题，这便是评估其潜在推理能力（latent reasoning）即内在、非外显的推理智能的绝佳指标。那么，模型在此项测试中表现如何？

好消息是预训练层面仍有进展。通俗地说，模型的“单次预测智能”正在提升，即每预测一次，就更聪明一分。其中尤以Gemini与Claude为甚：如下图（线性/对数尺度）所示，其代际间呈现清晰净提升。

反观OpenAI，则已完全将进步押注于推理算力。其GPT-4到GPT-5代际间仅现中等性能提升，进步主要源于第二条扩展定律：单任务投入更多算力。

这也解释了我个人体验：ChatGPT在非推理任务上表现极度糟糕，其非推理版GPT-5.2 Instant堪称对技术进步的侮辱，迫使我永远开启‘Thinking’开关，确保所有答复均经推理生成。

OpenAI首席研究官Mark Chen已公开承认：过去一年其后训练投入“过头”，现已转回重拾“预训练”。DeepMind高管Oriol Vinyals更直言：预训练是Gemini 3 Pro惊艳表现的关键。可见，预训练不仅尚在，并且正深刻影响普通用户的体验。

2026年，其研究关注度必将远超2025年“已死”论调。

而这对你我意味着什么？

推理决定服务器规模，训练决定数据中心规模。如果预训练仍是进步核心驱动力，则数据中心扩建压力必将重燃，且证据确凿。原因在于预训练数据规模：如前所述，其体量已极庞大，且只会更大。这意味着训练需集成更多加速器（如GPU）。

同时，随着训练预算增长，我们也将更倾向采用“专家稀疏化”（expert sparsity）。此技术由DeepSeek推广，当前前沿模型已普遍采用细粒度专家混合（MoE）将模型“分割”为更小子模型，以降低单次预测运算量。

MoE并非真将模型物理切分，而是划分MLP层（其占FLOPs大头），从而按激活专家数均摊算力需求。鉴于GPU集群扩展难度极高，算法优化将成为容纳更大训练的必要手段。模型将依第一条扩展定律继续增大，但内部结构将趋向“精瘦”。

关键的问题来了，英伟达等硬件厂商是否过度押注“推理”？ 训练算力占比是否真会被推理完全吞噬？它们已宣布下一代GPU平台Rubin将首推纯推理GPU，Rubin CPX。如果这种趋势叠加“推理向边缘设备迁移”的压力，AI硬件路线图恐怕会过度倾向于推理。

当前，“纵向扩展”（scaling-up，即单服务器内增配加速器）因其提升推理性能的主因是当前的主流，在重推理的RL训练中，试错需反复运行推理直至成功，所以同样关键。

但随着大规模非RL训练重获重视，“横向扩展”（scaling-out，增服务器数）与“跨域扩展”（scaling-across，数据中心互联）将再度成为进步关键，而纵向扩展重要性显著下降，这显然与硬件演进方向相悖。微妙差异对投资者意味深长。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓