LLM 质量趋同与进步放缓：压缩即理解，还是高级模仿？

我们究竟是不是走在通往 AGI 的路上，取决于一个至今没有定论的问题：LLM 到底是什么？

如果它们只是对人类对话的高级模仿者，那么能力分数走平就完全说得通，AGI 的故事也就是炒作。

如果「把训练数据压缩进权重」这件事，真的是在通过寻找最小柯尔莫哥洛夫复杂度（minimum Kolmogorov complexity）Kolmogorov complexity：描述一个对象所需的最短计算机程序长度，用来衡量该对象的内在复杂度。文中被用作「最优压缩 = 理解」这一论证的理论基础。，还原出人类在吐出那些抖动而又非常人性化的文字之前、脑子里进行的那种深度思考的真实生成结构——那也许我们该开始筹划，怎么迎接我们未来的 AGI 主宰了。

Paul Kedrosky 重新贴出了一张他一直挂在心上的图：

「月之暗面（Moonshot）的 Kimi K3 让一群人过度兴奋，好像某个趋势被打破了——但他们错了……我们已经走出了预训练时代，变得更依赖后训练，比如 RLHF。在后训练时代，一代代新模型带来的能力增益越来越小，能站得住的异常值越来越少，技术差异化也越来越难守住……每一次增量模型发布的价值（先不算 harness）都在下降，即使生产成本并没有下降……模型价格被压缩……推理越来越商品化……前沿研发越来越难变现……价值正在从基座模型身上转移出去……」

— Paul Kedrosky：《Kimi、模型趋同，与后训练时代》

他这套分析里最大的一张「百搭牌」是这个问题：epoch.ai 这些分数的纵轴上，到底放着什么东西？我们为什么要在意它？它究竟带来了什么实质差别？

两派假说速览：模仿说 vs. 压缩说，各自如何解释同一组现象

（下表为编辑基于上文论证整理的结构对照，并非原文图表，也不含任何新增数据——我们手上没有 Kedrosky 那张原图的具体数值，因此不绘制任何曲线或柱状图。）

如果你像我一样相信，LLM 是在兜一个大圈子（going around Robin Hood's barn）——因为它们本质上是「典型互联网水帖怪的模仿品」，然后再被 RLHF 之类的手段慌慌张张地校正回正常人的样子——那么现在这个局面完全符合预期。

你要做的是忠实地模仿「你在扮演其鬼魂的那个人」说过的话，所以你很难变得比他更聪明。过了某个点之后，把「哪些人类对话更接近 LLM 眼下这场对话」这件分类工作做得更好，其实已经值不了多少钱了。

这样一来，剩下的用处就是把 MAMLM 用在超大数据量、超高维度、超灵活函数形式的分类任务上。在编程这件事上，似乎真的出现了某种「深层魔法」——也许吧。而且毫无疑问，还会有别的超级用例冒出来，冒出来的速度和它们的影响力，我预测不了。

不过，也有人说，前沿模型的建造者们正在逼近真正的「AGI」——真正的通用人工智能：把认知的所有子领域拿来做一次普查再平均，达到人类水平，尽管不是人类的样子。

当我问他们「这怎么可能做得到」，他们的回应无非两种：（a）沉默；（b）说一个词——压缩。

他们说，Ted Chiang 那句「网络的模糊 .jpeg」恰恰说反了。LLM 在把训练数据压缩进它那个虚拟神经网络的权重时，做的事情在某种意义上是泛化。它丢掉的不是清晰度，而是个体人类误差的抖动。于是它获得了 Sean Trott 那种意义上的群体智慧：它说出来的，不是在最接近的那场对话里某个人类实际说了什么，而是——如果所有身处相似对话中的人，每一个都知道其他所有人在说什么、在想什么——他们各自会说出来的东西。

这件事产生的结果是结构性还原（structural recovery）：对「到底在发生什么」的真实知识。而在这个语境里，反倒是人类每个人手上只有一张模糊 .jpeg，只看到事物表面的样子，或者顶多是词与词之间的关系。

如果他们说得对，那么这个能力指数就是根本性地错的，而且在把我们带偏。

呃——也许吧？

我该怎么弄明白这个问题？我完全没头绪。下面是一些想法。

据我所知，「压缩带来真知识」这条线，主要由 Ilya Sutskever（访谈、TED 演讲：通往 AGI 的激动人心而又危机四伏的旅程）和 Jack Rae 这样的人在推。尤其是 Rae，他把 LLM 训练看成是在计算这样一个概率分布：它让你能用最少的比特数，把全人类的知识通过一条低带宽信道传输出去——也就是在重建那个生成分布，而不是做一份模糊的拷贝；因此它做的事，远远超过「模仿最接近的那场对话里的互联网水帖怪」。而 Yuzhen Huang、Jinghan Zhang、Zifei Shan 与 Junxian He 则论证说，压缩确实就是 LLM 在做的事情的本质。

接着就出现了那个我始终跟不上的论证跳跃：把对话生成函数做最小比特压缩、并把个体人类的抖动清理干净之后的那个东西，就是 AGI。 因为按 Ted Chiang 自己的说法，这是一个事实——「最大程度的压缩，（只）能通过理解文本来达成……」。

于是核心的这一步棋是：成功的模仿要求最小柯尔莫哥洛夫复杂度，而最小柯尔莫哥洛夫复杂度强迫出一个世界模型。要继续把 LLM 的损失压下去，唯一的办法就是去「学会」，然后在内部模拟并理解那些生成了文本的过程：物理、算术、心智理论、因果结构。按这个说法，把压缩推到足够远，就不是「类比于」智能——它就是智能的操作性定义。模型最终还原出来的对象，不是一个互联网水帖怪，而是认知的潜在结构。

但接下来，据我的理解，Ted Chiang 会说：模型建造者们不敢把 temperature 设成 0——因为一旦不往里加人类那种抖动，压缩后的版本就没办法说服我们「它在思考」。这一点说得有道理。

François Chollet 则从另一边加固了反方论证。他主张：智能是在真正新颖的任务上获取技能的效率。他划出一道很锋利的界线：一类模型在那些落在其训练数据所张成的超平面之内的基准测试上看起来很聪明，但泛化能力几乎为零。

而 Gary Marcus 直接宣布「规模不是你唯一需要的东西」这一派获胜：

「Altman 曾声称『一个 AI 模型的智能，大致等于训练和运行它所用资源的对数』……他把整个公司都押在了这个想法上。他错了……让我们把认知科学家请进来，别再幻想数据和算力能解决我们所有的问题。神经符号 AI、世界模型和因果性，时候到了……」

— Gary Marcus：《Scale Is Not All You Need》

总体上，我对 MAMLM 是看空的，对没有 harness 的裸 LLM 的有用性更是超级看空：随机鹦鹉（stochastic parrot）式的复述让自然语言接口成为可能，而自然语言接口非常美妙。就这样，句号。

而唯一让我没法对自己的看空有信心的，是这一点：真正敞开的前沿不是聊天，而是把 MAMLM 用在别的大数据、高维度、灵活函数形式的分类任务上——比如编程，那里似乎已经从 Claude Code 的 harness 里长出了真正的深层魔法。

是的，写代码是一个「表面预测」和「正确的世界建模」两者非常非常接近的领域——程序要么跑得通，要么跑不通；因为这些咒语在写对了的形式下所指向的，并不存在什么背后的现实。如果压缩真的在某个地方产生了真实的泛化，那这里就是最干净的观察点。

那么，还有别的类似领域，也能出现真正的深层魔法吗？这样的领域有多常见？它们在哪里？还是说，计算机代码是唯一一个「把符号写对就直接召唤出现实」的领域？

所以我猜，底线就是这句话：眼下，「呃——也许吧？」仍然是我们能给出的唯一一个说得通的答案。