AI 与机器学习2025arxiv.org
通过潜在推理扩展测试时计算：一种循环深度方法
Scaling up test-time compute with latent reasoning: A recurrent depth approach
专业 · 约 50 分钟读完前置知识：Transformer 架构、循环神经网络、BPTT/反向传播
导读
这篇论文研究如何用隐空间推理来扩展测试时计算：不是生成大量显式思维链 token，而是让模型在潜在/嵌入空间中进行多轮递归计算后再输出。作者提出一种带循环深度的架构，但评论指出推理迭代次数仍由外部指定，且训练依赖 BPTT。
HN 关注点：隐空间推理的不透明性、可监督性与训练效率，以及它是否真的优于显式思维链。
HN 评论精选
这几条评论里：质疑 3 补充 1
质疑隐空间推理不透明，可能带来严重风险，应让推理完全可见。
我认为不透明推理是许多最糟糕 AI 结果的前提条件。我们应该让推理在输出空间中完全可见。
ckrapu查看英文原文
My opinion is that opaque reasoning is a prerequisite for many of the worst possible AI outcomes. We should make reasoning fully visible in the output space.
质疑循环训练仍靠 BPTT 且迭代次数外部指定，训练低效且不够自适应。
隐空间/嵌入空间推理似乎是正确方向，但在模型中引入循环的同时仍依赖梯度下降（即 BPTT）来训练，似乎造成的问题（训练低效）比解决的问题更多，尤其是他们仍然要在推理时从外部指定循环迭代次数（r=4、8 等）。理想情况下，模型内部的循环应能让模型自己决定输出前迭代多久。
HarHarVeryFunny查看英文原文
Latent / embedding-space reasoning seems a step in the right direction, but building recurrence into the model while still relying on gradient descent (i.e. BPTT) to train it seems to create more of a problem (training inefficiency) than it solves, especially since they still end up externally specifying the number of recurrent iterations (r=4, 8, etc) for a given inference. Ideally having recurrence internal to the model would allow the model itself to decide how long to iterate for before outputting anything.
质疑隐空间推理难以观察和 SFT，架构超参数多且优势不明显。
与在“潜在”空间思考相比，使用思考 token 的一个好处是你可以直接观察 CoT 的质量。在 R1 中他们发现它混合语言，并用冷启动数据修复了。这很难做 SFT，因为你只能对最终结果做 SFT，不能对潜在空间做 SFT。我还注意到作者只有单次完整训练运行的计算量。他们用这些计算量看到如此好的结果令人印象深刻，但我想知道如果结合最近的效率改进，能否得到更好的结果。我个人不会使用这种架构，因为 1）它增加了很多没有强理论依据的超参数 2）它没有明显优于更简单的方法。
janalsncm查看英文原文
One of the benefits of using thinking tokens compared to “thinking in a latent” space is that you can directly observe the quality of the CoT. In R1 they saw it was mixing languages and fixed it with cold start data. It would be hard to SFT this because you can only SFT the final result not the latent space. I also notice the authors only had compute for a single full training run. It’s impressive they saw such good results from that, but I wonder if they could get better results by incorporating recent efficiency improvements. I would personally not use this architecture because 1) it adds a lot of hyperparameters which don’t have a strong theoretical grounding and 2) it’s not clearly better than simpler methods.
补充提供作者本人的补充讨论。
作者关于此文的 Twitter 讨论串：https://x.com/jonasgeiping/status/1888985929727037514
timbilt查看英文原文
Twitter thread about this by the author: https://x.com/jonasgeiping/status/1888985929727037514
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖149 分 · 44 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选