AI 与机器学习2021arxiv.org编辑精选
深度学习的现代数学
The Modern Mathematics of Deep Learning
专业 · 约 90 分钟读完前置知识：泛函分析、统计学习理论、深度学习基础
导读
这是一篇综述性论文（据评论是即将由剑桥大学出版社出版的《Deep Learning》一书中的一章），系统梳理深度学习背后的现代数学理论，把泛函分析、统计物理、流形理论等分散领域的结果整合起来，讨论深度网络的可近似性、泛化与优化等问题。作者强调这些数学能提供直觉与部分严格结论，但并不能完整刻画多层 ReLU 网络这类复杂系统。
HN 关注点：HN 读者既惊叹于综述把艰深分散的数学结果整合起来，也争论“深度学习的数学”是否名副其实——数学类比与民间经验、大规模实验并存，尚无完整理论。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
质疑论文的数学只是辅助直觉，不能代表深度学习的完整理论。
这标题容易让读者误解。微积分确实可以说是“牛顿物理的数学”，而这里只是“一些或许能帮你建立深度学习直觉的数学”。深度学习的本质就是让数学上简单、但层次复杂多层的“神经网络”去做事：训练、测试、部署。关于这些有很多直觉，但没有完整理论——有些直觉靠数学类比和简化，有些靠“民间知识”或大规模实验。这并不是说给深度学习做数学的人没证明真东西，只是他们在刻画整个系统、甚至相当一部分系统。像多层 ReLU 网络这样复杂的对象无法被数学完全刻画并不奇怪，任何任意复杂的算法构造都如此；多变量、任意函数的微分方程的解也无法完全刻画。
joe_the_user查看英文原文
It seems like this can leave the reader with the wrong impression. Calculus really is "the mathematics of Newtonian physics". This is just "some mathematics that might help a bit in your intuitions of deep learning". IE, Deep learning is fundamentally just about getting the mathematically simple but complex and multi-layerd "neural networks" to do stuff. Training them, testing them and deploying them. There are many intuitions about these things but there's no complete theory - some intuitions involve mathematical analogies and simplifications while other involve "folk knowledge" or large scale experiments. And that's not saying folks giving math about deep learning aren't proving real things. It's just they characterizing the whole or even a substantial part of such systems. It's not surprising that a complex like a many-layered Relu network can't fully characterized or solved mathematically. You'd expect that of any arbitrarily complex algorithmic construct. Differential equations of many variables and arbitrary functions also can't have their solutions fully characterized.
支持赞赏综述降低了跨领域阅读原始论文的门槛。
哇，这看起来很棒。这个领域最近发展很多，但如果没有泛函分析、统计物理、流形理论等方面的专业知识，直接读原始论文就算不是不可能也极其困难。很高兴有人花时间总结和整合这些不同路线的结果。
r-zip查看英文原文
Wow, this looks amazing. There has been a lot of development in this area recently, but without expertise in various areas (functional analysis, statistical physics, manifold theory), reading the papers themselves is difficult if not impossible. I'm glad someone is taking the time to summarize and integrate the results of these various approaches.
补充指出标题的歧义：讲的是深度学习的现代数学，而非现代数学本身。
略读论文后很明显，标题应读作“The Modern (Mathematics of Deep Learning)”，而不是我最初解析的“The (Modern Mathematics) of Deep Learning”。差别很大。
mathgenius查看英文原文
After skimming through the paper it's clear that the title should be read as "The Modern (Mathematics of Deep Learning)" and not my original parse which was "The (Modern Mathematics) of Deep Learning." Very different things.
补充补充资料：这是剑桥大学出版社新书中的一章。
展示做得相当不错，是即将由 CUP 出版的《Deep Learning》中的一章。
jjgreen查看英文原文
Rather nice presentation, a chapter from the forthcoming "Deep Learning" to be published by CUP.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2021Hacker News 讨论帖23 分 · 2 评
- 2021Hacker News 讨论帖276 分 · 70 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选