AI 与机器学习2024arxiv.org
The Matrix：一种面向 LLM 的贝叶斯学习模型
The Matrix: A Bayesian learning model for LLMs
进阶 · 约 75 分钟读完前置知识：贝叶斯推断、Transformer 基础、概率论
导读
这篇论文提出一个解释大语言模型行为的理论模型：将 LLM 的下一个 token 预测抽象为一个概率矩阵（每行对应一个 prompt 的多项式分布），并论证 LLM 的文本生成可以通过嵌入与贝叶斯学习对该矩阵的紧凑表示来解释。该模型试图解释上下文学习随模型规模涌现、思维链推理以及大上下文窗口的问题等现象。
HN 关注点：是因为帖子标题声称的结论（"无法递归改进"）在论文中找不到，讨论焦点变成了对标题党式编辑的质疑，以及对论文本身新颖性的争论。
HN 评论精选
指出帖子标题与论文内容不符
提醒一下：论文标题其实是《The Matrix: A Bayesian learning model for LLMs》，本帖标题里给出的结论在摘要中根本找不到。
drbig查看英文原文
The title of the paper is actually `The Matrix: A Bayesian learning model for LLMs` and the conclusion presented in the title of this post is not to be found in the abstract... Just a heads up y'all.
引用论文结论，质疑标题中"无法递归改进"的出处
论文的结论是：我们提出一个解释 LLM 行为的新模型，参照系是一个抽象概率矩阵，每行包含特定 prompt 下下一个 token 预测的多项式概率。我们证明 LLM 文本生成与通过嵌入和贝叶斯学习对该矩阵的紧凑表示一致。该模型解释了上下文学习随 LLM 规模的涌现，以及思维链推理和大上下文窗口的问题，最后概述了模型的意义和未来探索方向。"无法递归改进"是从哪来的？
dosinga查看英文原文
Conclusion from the paper is: In this paper we present a new model to explain the behavior of Large Language Models. Our frame of reference is an abstract probability matrix, which contains the multinomial probabilities for next token prediction in each row, where the row represents a specific prompt. We then demonstrate that LLM text generation is consistent with a compact representation of this abstract matrix through a combination of embeddings and Bayesian learning. Our model explains (the emergence of) In-Context learning with scale of the LLMs, as also other phenomena like Chain of Thought reasoning and the problem with large context windows. Finally, we outline implications of our model and some directions for future exploration. Where does the "Cannot Recursively Improve" come from?
质疑论文的新颖性，认为压缩等价于贝叶斯学习早已有之
我没细读论文（只看了摘要），但 KL 散度损失的全部意义不就是为了获得最优压缩，而这等价于贝叶斯学习吗？我不觉得这有多新颖，我敢肯定 90 年代人们就用马尔可夫链做过类似的事。
programjames查看英文原文
I didn't read through the paper (just the abstract), but isn't the whole point of the KL divergence loss to get the best compression, which is equivalent to Bayesian learning? I don't really see how this is novel, like I'm sure people were doing this with Markov chains back in the 90s.
批评标题被编辑篡改，内容与标题不符
完全是编辑过的标题。这篇文章讨论的是 LLM，而不是 transformer。
toxik查看英文原文
Completely editorialized title. The article talks about LLMs, not transformers.
历次讨论
- 2024Hacker News 讨论帖139 分 · 10 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选