AI 与机器学习2019arxiv.org编辑精选
通过学习模型规划掌握 Atari、围棋、国际象棋和将棋
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
进阶 · 约 120 分钟读完前置知识：强化学习基础、MCTS 蒙特卡洛树搜索、AlphaZero 原理
导读
DeepMind 的 MuZero 论文：提出一种不依赖显式环境规则、仅通过学习到的模型进行规划的算法，在围棋、国际象棋、将棋上达到 AlphaZero 水平，并能高效掌握此前其他 AI 难以处理的 Atari 游戏。核心创新是把模型学习与规划结合，无需事先给定游戏规则。
HN 关注点：这是 AlphaZero 的后续重大突破——不依赖已知规则即可规划，引发关于其实际是否'无规则'以及性能对比的讨论。
后来怎么样
MuZero 成为基于学习模型进行规划的代表性工作，其思路被后续模型基强化学习研究广泛继承，DeepMind 后续将其扩展用于压缩、优化等真实世界问题。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
支持称赞 MuZero 用更少训练量达到 AlphaZero 水平
在围棋、国际象棋和将棋上击败 AlphaZero，并高效掌握其他 AI 一直做不好的多款 Atari 游戏。虽然没有与训练好的 AlphaZero 直接对局，但显然用更少的训练周期达到了相应的 ELO 水平。厉害。
metasj查看英文原文
Beating AlphaZero at Go, Chess, and Shogi, an mastering a suite of Atari video games that other AIs have failed to do efficiently. No explicit heads-up contests with a trained AlphaZero; but apparently hits an ELO threshold w/ fewer training cycles. Yowsa.
质疑质疑'无显式规则'的说法，认为判负规则仍是隐式规则
说'不给显式规则'似乎不可能成立，除非把'非法走子即判负'也算作不给规则——这不过是文字游戏。如果连这一点都不做，网络会有动机靠非法走子取胜；那样的话，它确实能赢很多遵守规则的网络。
Tomminn查看英文原文
It doesn't seem possible to give "no explicit rules", unless you count "making an illegal move equivalent to a loss" as giving no explicit rules. Which doesn't seem like anything but word laundering. If you do any less than this, the net will be incentivized to make an illegal move for a win. In which case, yah, I'd guess that net would win a lot of chess games against other rule-bound nets.
补充补充 MuZero 伪代码解读资料
刚发布了一篇 MuZero 伪代码的逐步讲解：https://link.medium.com/KB3f4RAu51
davidfoster查看英文原文
Just released - walkthrough of the MuZero pseudocode: https://link.medium.com/KB3f4RAu51
补充感叹 DeepMind 进展太快、难以跟上
每次 DeepMind 发论文，我既非常兴奋，又很沮丧——他们一路飞奔，而我连他们第一篇关于 AlphaGo 的论文都还没完全搞懂。
2bitencryption查看英文原文
Every time a Deepmind paper is published, I feel simultaneously very excited, and also very depressed that they keep speeding ahead while I'm not anywhere close to understanding their first paper about AlphaGo.
历次讨论
- 2019Hacker News 讨论帖161 分 · 37 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选