AI 与机器学习2018jmlr.org编辑精选
机器学习中的自动微分：综述
Automatic Differentiation in Machine Learning: A Survey
进阶 · 约 75 分钟读完前置知识：微积分与链式法则、机器学习/神经网络基础、基础编程与数值计算
导读
这篇 JMLR 综述系统梳理了自动微分在机器学习中的概念、主要技术与实现方式，并讨论了它与反向传播的关系、历史脉络以及工具生态。文章旨在为机器学习研究者提供自动微分的整体框架和参考。
HN 关注点：自动微分作为训练与优化核心机制的基础地位，讨论集中在它与反向传播的历史联系、对偶数等数学技巧，以及相关论文和实现。
后来怎么样
这篇综述成为机器学习领域介绍自动微分的标准参考之一，常被用于课程教学、框架文档和后续 AD 工具讨论中，促进了自动微分概念在深度学习社区的普及。
HN 评论精选
这几条评论里：支持 1 补充 3
补充补充 AD 与反向传播联系的历史文献，并希望读者推荐更好的引用来源。
我略读了这篇文章，觉得不错。最近我在找一篇好的参考文献来引用，讨论自动微分和反向传播之间的联系。据我所知，这个领域的人很久以前就知道这种联系，但我很难找到可引用的论文。我找到最好的是 Paul Werbos 的 “Backwards Differentiation in AD and Neural Nets: Past Links and New Opportunities”，收录于 Springer 2006 年出版的 “Automatic Differentiation: Applications, Theory, and Implementations”。该文前面还有 Louis Rall 的 “Perspectives on Automatic Differentiation: Past, Present, and Future?”，也提供了 AD 的一些好历史。总之，如果有人有更好的论文来引用反向传播与 AD 的联系，我很感兴趣。
kxyvr查看英文原文
I skimmed the article and I enjoyed it. Recently, I was looking for a good reference to cite that discussed the link between automatic differentiation and back propagation. From those I know if the field, they knew about the link for a very, very long time, but I had a hard time finding a paper to cite. The best I found was an article titled, "Backwards Differentiation in AD and Neural Nets: Past Links and New Opportunities" by Paul Werbos, which can be found in the book "Automatic Differentiation: Applications, Theory, and Implementations" published in 2006 by Springer. That article is preceded by one written by Louis Rall titled, "Perspectives on Automatic Differentiation: Past, Present, and Future?", which also provides some good history of AD. Anyway, if someone has a better paper to cite linking back propagation and AD, I'd be interested to hear.
补充推荐一篇相关的自动微分论文和视频讲解。
上个月还发布了另一篇与 AD 相关的论文：The Simple Essence of Automatic Differentiation [0]，以及视频演讲 [1]。我觉得非常棒，万一你没看过。
infogulch查看英文原文
Another paper related to AD was posted last month: The Simple Essence of Automatic Differentiation [0]. Video presentation [1]. I found it pretty awesome, just in case you hadn't seen it. [0]: https//news.ycombinator.com/item?id=18306860 [1]: https://www.youtube.com/watch?v=ne99laPUxN4
补充类比密码学中用符号依赖跟踪回答扩散问题，并询问类似技巧。
AD 让我想起另一个想法：在密码学中，你可以通过运行常规代码来确定例如比特依赖性如何通过状态向量传播，只是把“数字”换成会跟踪比特依赖性的对象。细节各有不同，但一个简单想法是：把每个比特表示成关于输入比特符号变量的符号方程向量，作为一个“数字”。这样就能容易地计算感兴趣的问题，例如经过这么多轮后，是否每个输入比特都影响了每个输出比特？所以，用 jets 代替数字来做微分，用布尔方程组代替数字来回答某些密码学问题……有人知道这类其他技巧吗？
edflsafoiewq查看英文原文
AD reminds me of another idea: in cryptography, you can determine eg. how bit dependencies propagate through a state vector by running the regular code for your compression function or whatever, but on "numbers" that actually track the dependencies of bits. Details vary, but a simple idea is to use as a "number" a vector of symbolic equations for each bit in the number in terms of symbolic variables for input bits to the function. You can then easily calculate items of interest eg. at this many rounds, has every input bits affected every output bit? So, jets instead of numbers for differentiation, systems of boolean equations instead of numbers for answering some crypto questions... anyone know of other tricks in this vein?
支持点出对偶数和幂零性在自动微分中的价值。
对偶数（dual numbers）是我最近最喜欢的想法。幂零性（nilpotence）似乎被低估了。
adamnemecek查看英文原文
Dual numbers are favorite idea of late. Nilpotence seems under appreciated.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2018Hacker News 讨论帖127 分 · 20 评
- 2019Hacker News 讨论帖83 分 · 48 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选