AI 与机器学习2021arxiv.org
Player of Games
Player of Games
进阶 · 约 90 分钟读完前置知识：强化学习基础、博弈论、CFR 反事实 regret 最小化
导读
DeepMind 的论文《Player of Games》提出一种统一的博弈算法，旨在同时掌握完美信息游戏（如围棋、国际象棋）和不完美信息游戏（如扑克、德州），并声称随着计算量和近似能力增加可收敛到接近完美玩法。它结合了基于搜索的自我博弈与反事实 regret 最小化等思想，试图打通此前需要针对不同类型游戏分别设计算法的局面。
HN 关注点：是继 AlphaGo/AlphaZero 之后 DeepMind 在游戏 AI 上的又一进展，讨论焦点集中在其实用性（训练成本）以及以《文明》系列小说命名的趣味。
HN 评论精选
这几条评论里：质疑 1 补充 3
质疑质疑算法的实用性：收敛性是理论性的，实际训练成本极高
这是很好的结果，但可以看出它更偏理论：论文称“随着可用计算时间和近似能力增加会收敛到完美玩法”——几乎所有当前的深度强化学习算法都如此。实际问题是：需要多少计算才能得到有用的结果？AlphaGo Zero 数学上很惊艳，但谁愿意每天花一百万美元训练几个月？IMPALA 能学会几乎所有 Atari 游戏，但复现论文中的时间指标需要 256 个 TPU 核心的主节点和 1000 多个评估 worker。
fxtentacle查看英文原文
This is a great result, but you can see that it's more of a theoretical case because of this: "converging to perfect play as available computation time and approximation capacity increases." That is true for pretty much all current deep reinforcement learning algorithms. The practical question is: How much computation do you need to get useful results? Alpha Go Zero is impressive mathematics, but who is willing to spend $1mio daily for months to train it? IMPALA (another Google one) can learn almost all Atari games, but you need a head node with 256 TPU cores and 1000+ evaluation workers to replicate the timings from the paper.
补充补充资料：维护棋类 AI 研究清单，并建议在通用牌类框架上测试该算法
如果你对此感兴趣，我维护了一个棋类求解相关研究的清单 https://github.com/captn3m0/boardgame-research，按具体游戏分类。这个工作看起来很有意思，很适合在通用扑克牌类框架上测试，方便在多种不完美信息游戏中验证。
captn3m0查看英文原文
If you are interested in this, I maintain a list of boardgame-solving related research at https://github.com/captn3m0/boardgame-research, with sections for specific games. This looks really interesting. It would be a good project to test this against a general card-playing framework to easily test it on a variety of imperfect-information games based on playing cards.
补充玩笑式调侃：算法名致敬科幻小说《The Player of Games》
这显然是 DeepMind 通过精通棋盘游戏实现统治世界的长期计划的一部分。用那本书的名字给新算法命名，算是暴露了真实意图……
sdenton4查看英文原文
This is clearly part of DeepMind's long-game plan to achieve world domination through board game mastery. Naming the new algorithm after the book is a real tip of their hand... https://en.wikipedia.org/wiki/The_Player_of_Games
补充欣赏以《文明》系列命名算法的文化趣味
我很喜欢看到用《文明》系列小说的引用来命名东西。
sfkgtbor查看英文原文
I really like seeing references to the Culture series when naming things: https://en.m.wikipedia.org/wiki/The_Player_of_Games
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2021Hacker News 讨论帖364 分 · 231 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选