AI 与机器学习2019arxiv.org
梯度下降：终极优化器
Gradient Descent: The Ultimate Optimizer
进阶 · 约 45 分钟读完前置知识：梯度下降基础、超参数调优、自动微分
导读
这篇论文提出用梯度下降来学习优化器本身的超参数（如学习率），甚至可以递归地用梯度下降学习“超超参数”，如此无限嵌套。作者展示了这种方法可以自动调整超参数，免去手动调参的麻烦。
HN 关注点：超参数调优是机器学习实践中最繁琐的环节之一，用梯度下降自动学习超参数的想法既有趣又实用，引发读者对其实际有效性的讨论。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
质疑质疑：单步最优学习率不等于长程最优，该方法可能存在根本局限
遗憾的是，单步最优的学习率往往与长程最优选择差别巨大（参见 arXiv:1803.02021）。原因在于较大的学习率可能导致短期表现更差，但在低信噪比方向上取得更好的进展。
Straw查看英文原文
Unfortunately, the 1-step optimal learning rate often differs massively from the long-horizon best choice: https://arxiv.org/abs/1803.02021 Due to the fact that larger LRs can result in worse immediate performance but better progress in low signal-to-noise ratio directions.
补充指出该方法的潜在影响：若有效将彻底终结超参数调优
如果这个技术真的有效，那它将永远终结所有超参数调优。论文在这一点上很谦虚，但态度相当明确。
lidHanteyk查看英文原文
Still no comments? Surprising. If this technique works, then it ends all hyperparameter tuning, forever. The paper's humble on this point, but quite clear.
支持觉得想法简单巧妙，惊讶此前无人尝试
“我们提议通过梯度下降学习超参数本身，进而用梯度下降学习超超参数，如此无限递归。”这让我笑了，不敢相信之前没人做过。也许我不该把 ML 研究看得那么高不可攀。
sdan查看英文原文
> We propose to instead learn the hyperparameters themselves by gradient descent, and furthermore to learn the hyper-hyperparameters by gradient descent as well, and so on ad infinitum. Made me laugh. Can't believe this hasn't been done yet. Maybe I should stop looking at ML research upon a pedestal (regardless, OpenAI's PPO and TRPO papers were amazing, not to mention their Learning with Dexterity one)
质疑调侃：递归优化本身可能陷入局部最优
“梯度下降：终极优化器”——他们是不是卡在局部最优了？
jupp0r查看英文原文
“Gradient Descent: The Ultimate Optimizer” Did they get stuck in a local optimum?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2019Hacker News 讨论帖17 分 · 2 评
- 2019Hacker News 讨论帖191 分 · 41 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选