AI 与机器学习2024arxiv.org
超越 A*：用 Transformer 做更好的规划
Beyond A*: Better Planning with Transformers
进阶 · 约 40 分钟读完前置知识：Transformer 基础、A* 搜索与规划、模仿学习/蒸馏基础
导读
这篇论文（Searchformer）研究能否用 Transformer 替代经典 A* 搜索来做规划问题。作者先训练模仿 A* 搜索轨迹的模型，再通过搜索增强蒸馏（search-augmented il distillation）迭代压缩，最终模型在推箱子等任务上比标准 A* 少用约 26.8% 的搜索步数，且模型规模更小。
HN 关注点：“神经网络能否超越经典符号搜索算法”这一话题，以及该结果与真正的 SOTA 求解器相比是否足够有说服力。
HN 评论精选
这几条评论里：质疑 2 补充 1
质疑质疑结果只对比了 A* 基线，与真正的 SOTA 求解器差距很大
“比标准 A* 少 26.8% 的搜索步数”——但这只比 A* 好一点，而 A* 在推箱子（Sokoban）上远非最先进（参见 festival-solver.site）。这篇论文到底哪里令人印象深刻？为什么能上 Hacker News？
tintor查看英文原文
"26.8% fewer search steps than standard A∗ search" So, slightly better than A* which is far from SOTA on Sokoban (https://festival-solver.site/). What is impressive in this paper? Why is this on Hacker News?
玩笑式建议改名
建议作者把这个新算法从无聊的 Searchformer 改成更有意思的名字，比如 Optimus Prime。
teleforce查看英文原文
To the authors, please rename this new algorithm from the boring Searchformer to more interesting name for example Optimus Prime.
质疑认为训练模型做规划是过度设计，更希望有可解释的算法
专门为此训练一个模型是不是杀鸡用牛刀？我希望有人能提出一个胜过训练模型的算法，这样我们才能真正理解它是怎么工作的。
jan_Sate查看英文原文
Wouldn't that be an overkill to train a model specifically for that? I wish someone could come up with an algorithm that would outperform a trained model. This way we would actually understand how it works.
补充类比机器翻译的历史，展望用模型搜索更好的模型架构
机器翻译过去依赖复杂的语法解码和搜索，现在我们直接用 Transformer，解码简单得多、基本不需要搜索。也许可以形成完整闭环：用当前最强的预测模型去学习神经架构搜索（NAS）的启发式，搜索出比 Transformer 和 Mamba 更好的新神经模块。
bravura查看英文原文
Machine Translation used to involve complicated grammatical decoding, using search. Now we just use transformers for MT, with much simpler decoding that doesn't really need search. Perhaps we can reach full inception. Let's use our current best-of-breed predictive models to learn heuristics for neural architecture search (NAS) and search for new neural blocks (better than transformer and mamba).
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖313 分 · 120 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选