AI 与机器学习2025arxiv.org
Ladder：通过递归问题分解实现自我改进的 LLM
Ladder: Self-improving LLMs through recursive problem decomposition
进阶 · 约 60 分钟读完前置知识：强化学习基础、LLM 微调与蒸馏、数学推理任务
导读
这篇论文提出 Ladder 方法，让 LLM 通过递归地将难题分解为更简单的子问题来生成训练数据，从而实现自我改进。论文还引入 TTRL（测试时强化学习），在推理时对测试题变体做强化学习，使 Qwen2.5 7B 蒸馏模型在 MIT 积分竞赛资格考试上达到 90% 的 SOTA 成绩，超过 OpenAI o1。
HN 关注点：小模型通过自我课程学习和测试时强化学习竟能超越 o1 的惊人结果，以及本周 ML 领域突破频出的氛围。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
补充引用论文亮点：7B 小模型经 TTRL 在 MIT 积分赛上超越 o1
论文还提出了 TTRL（测试时强化学习），在推理时对测试题的变体进行强化学习。TTRL 使 Qwen2.5 7B Deepseek-R1 蒸馏模型在 MIT 积分竞赛资格考试上取得 90% 的 SOTA 成绩，超过了 OpenAI o1 的表现。
majordroid查看英文原文
> We also introduce TTRL (Test-Time Reinforcement Learning), where we perform reinforcement learning on variants of test problems at inference time. TTRL enables Qwen2.5 7B Deepseek-R1 Distilled to achieve a state-of-the-art score of 90% on the MIT Integration Bee qualifying examination, surpassing OpenAI o1's performance. That's incredible!
亲历亲历者视角：Ladder 是 RL 自我课程学习，验证了多年前的判断
很高兴看到 RL 和课程学习这类方法终于被成功应用到 NLP/LLM 上，大幅提升小模型性能。大约 7 年前我在机器人训练（OpenAI Gym 时代）时就觉得这才是真正自我改进的方向。Ladder 本质上就是一种 RL 自我课程学习方法。
mentalgear查看英文原文
It's exciting to see approaches like RL and curriculum learning, which I always felt were the way to go for real self-improvement ~7y ago when training in robotics (openAI gym days), finally getting successfully applied to NLP/LLM to highly boost small model performance. (Ladder is a sort of RL self curriculum learning approach)
补充感叹本周 ML 突破频出，畅想智能研究的前景
这周到底怎么回事？！（带着笑容正面发问）仅这两天我就看到至少 3 个有趣/有前景的 ML 突破！比如 Google 团队发现可以用数字逻辑门作媒介把神经网络与 CLA 结合，有望把许多非线性问题化归为简单高效的数字电路，今天就上了 HN 首页。我不断看到各种烧脑的神经网络与逻辑/智能相关的东西，忍不住畅想我们离从第一性原理理解智能还有多近。
EMIRELADERO查看英文原文
What the hell is going on this week?!?!? (asking positively, with a smile on my face) I have seen at least 3 interesting/mildly promising breakthroughs on ML just these past two days! I mean, a Google research team just discovered that you can combine NNs with CLAs using digital logic gates as a medium, so you could potentially reduce many kinds of non-linear problems to a simple, efficient digital circuit! And it was on the HN front page, TODAY![1] I keep seeing more mind-bending stuff related to neural nets and logic/intelligence in general, my mind has been running wild with speculation about the future and just how close we could (or could not) be to truly understanding how intelligence works from first principles. [1] https://news.ycombinator.com/item?id=43286161
质疑引用数学家名言，对递归分解能否真正化简问题表示怀疑
这让我想起著名数论数学家 Hendrik Lenstra 的话：对于每个你解不出的问题，总存在一个更简单、但你也解不出的问题。
isaacfrond查看英文原文
Reminds me of a quote by famous number theoretic mathematician Hendrik Lenstra: For every problem you can't solve, there's a simpler problem that you also can't solve.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖370 分 · 110 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选