AI 与机器学习2017arxiv.org编辑精选
通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
进阶 · 约 90 分钟读完前置知识：强化学习基础、蒙特卡洛树搜索、深度神经网络
导读
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stockfish 和 Elmo。这证明 AlphaGo Zero 的方法具有通用性，且 AlphaZero 每秒仅评估 8 万个局面（Stockfish 为 7000 万），却凭借神经网络更“类人”地聚焦于最有希望的变例而取胜。
HN 关注点：此前 HN 上很多人质疑神经网络方法能否挑战 Stockfish 这类近乎完美的传统引擎，这篇论文以压倒性结果推翻了这种怀疑，引发对通用强化学习方法的广泛讨论。
后来怎么样
AlphaZero 的自我博弈+MCTS+神经网络方法成为通用棋类 AI 的标准范式，直接催生了 MuZero 等后续工作，并深刻影响了强化学习与搜索结合的研究方向。
HN 评论精选
这几条评论里：支持 2 补充 2
支持专家迭代是通用方法，4 小时训练即胜 Stockfish，将推动更多领域的研究
这是 AG Zero 专家迭代方法通用性的惊人证明。一个月前讨论 AG Zero 时，很多人怀疑神经网络永远无法挑战 Stockfish——传统引擎太接近完美，国际象棋也不适合 MCTS 和神经网络。结果 AG Zero 在国际象棋上不仅可行，而且效果更好：只需 4 小时训练就能击败 Stockfish。这将促使研究者用专家迭代去解决远不止国际象棋和围棋的更多 MDP 问题。（“没有火警警报。”）
gwern查看英文原文
This is an incredible demonstration that the AG Zero expert iteration method is a general method. If you go back to the discussions of AG Zero lo a month ago, there was a lot of skepticism that NNs would ever challenge Stockfish et al - they are just too good, too close to perfection, and chess not well suited for MCTS and NNs. Well, it turns out that AG Zero doesn't work as well in chess: it works better as it only takes 4 hours of training to beat Stockfish. This is going to be an impetus for researchers to explore solving many more MDPs than just chess or Go using expert iteration... ("There is no fire alarm.")
补充提供了论文示例对局的 lichess 链接供读者复盘
论文中的十盘示例对局（附 lichess 链接）。
soveran查看英文原文
The ten sample games: Sample game 1 https://lichess.org/VMe0gfa2 Sample game 2 https://lichess.org/Zqwn4Gzk Sample game 3 https://lichess.org/G2fPHci8 Sample game 4 https://lichess.org/LLt8wyYp Sample game 5 https://lichess.org/3r6CXx3H Sample game 6 https://lichess.org/sbdyUYS4 Sample game 7 https://lichess.org/88vsAftE Sample game 8 https://lichess.org/1uvCwaeB Sample game 9 https://lichess.org/743quCXj Sample game 10 https://lichess.org/SkCjxXkb
支持搜索量少三个数量级仍不败，凸显方法的强大
论文中一个惊人的数据：AlphaZero 每秒分析 8 万个国际象棋局面，而 Stockfish 分析 7000 万个——高出三个数量级。然而 AlphaZero 执白时一半时间击败 Stockfish，执黑执白都从未输过。这确实是通用性的惊人展示。
xianshou查看英文原文
One impressive statistic from the paper: AlphaZero analyzes 80,000 chess positions per second, while Stockfish looks at 70,000,000. Seventy million, three orders of magnitude higher. Yet AG0 beats Stockfish half the time as White and never loses with either color. A stunning demonstration of generality indeed.
补充引用论文原文：神经网络的选择性搜索弥补了评估次数的巨大差距
“AlphaZero 在国际象棋中每秒仅搜索 8 万个局面，在将棋中 4 万个，而 Stockfish 为 7000 万、Elmo 为 3500 万。AlphaZero 通过深度神经网络更有选择性地聚焦最有希望的变例，弥补了评估次数的不足——可以说是一种更‘类人’的搜索方式，正如 Shannon 最初提出的那样。”太惊人了！
magoghm查看英文原文
"We also analysed the relative performance of AlphaZero’s MCTS search compared to the state-of-the-art alpha-beta search engines used by Stockfish and Elmo. AlphaZero searches just 80 thousand positions per second in chess and 40 thousand in shogi, compared to 70 million for Stockfish and 35 million for Elmo. AlphaZero compensates for the lower number of evaluations by using its deep neural network to focus much more selectively on the most promising variations – arguably a more “human-like” approach to search, as originally proposed by Shannon." <- Amazing!
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖539 分 · 270 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选对抗策略击败超人类围棋 AI
Adversarial policies beat superhuman Go AIs (2023)
论文研究顶级围棋 AI KataGo 的对抗性漏洞：训练一个对抗策略与冻结的 KataGo 对弈，不靠更强棋力，而是诱导 KataGo 在有利于对手时提前结束或认输。
AI 与机器学习2022 · 501 分 · 185 评 · 引用 5进阶 · 约 60 分钟编辑精选