AI 与机器学习2024arxiv.org
思维链让 Transformer 能解决本质串行的问题
Chain of Thought empowers transformers to solve inherently serial problems
专业 · 约 80 分钟读完前置知识：Transformer 基础、计算复杂性理论、图灵机基础
导读
论文从计算理论角度分析思维链（CoT）为何能增强 Transformer：没有 CoT 时，固定深度模型受限于并行计算复杂度；允许生成中间推理 token 后，常数深度 Transformer 也能解决本质串行的问题。作者给出理论证明/构造，说明推理 token 相当于扩展了模型的有效计算步数。
HN 关注点：CoT 是否只是提示技巧，还是从根本上扩展了 Transformer 的可计算能力，以及这与图灵机/串行计算的关系。
HN 评论精选
这几条评论里：质疑 2 补充 1
补充作者宣称 CoT 让常数深度 Transformer 具备通用问题求解能力。
用作者的话说：“扩展 LLM 推理时的性能极限是什么？没有上限。我们已数学证明，只要允许 Transformer 生成足够多的中间推理 token，它就能解决任何问题。值得注意的是，常数深度就足够。”并附论文与推文链接。
nopinsight查看英文原文
In the words of an author: "What is the performance limit when scaling LLM inference? Sky's the limit. We have mathematically proven that transformers can solve any problem, provided they are allowed to generate as many intermediate reasoning tokens as needed. Remarkably, constant depth is sufficient. http://arxiv.org/abs/2402.12875 (ICLR 2024)" https://x.com/denny_zhou/status/1835761801453306089
质疑质疑“本质串行问题”的定义与图灵机串行性的关系。
抱歉如果这是个蠢问题，但所有计算不本质上都是串行的吗？因为图灵机就是串行执行操作的？
glial查看英文原文
Apologies if this is a dumb question, but aren't all computations inherently serial? In that a Turing machine performs operations serially?
质疑询问迭代自我改进提示是否有公开评测支持。
这个思路是否已被公开基准测试过：先让 LLM 解任务，然后循环 10 次，把上一轮答案给它并要求检查改进，最后给出改进后的答案，是否能提升？
mg查看英文原文
Has it been publicly benchmarked yet, if this approach: Hello LLM, please solve this task: <task> Can be improved by performing this afterwards? for iteration in range(10): Hello LLM, please solve this task: <task> Here is a possible solution: <last_reply> Please look at it and see if you can improve it. Then tell me your improved solution.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖261 分 · 184 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选