AI 与机器学习2017arxiv.org
深度学习的数学
Mathematics of Deep Learning
进阶 · 约 60 分钟读完前置知识:线性代数、优化基础、深度学习基础
导读
这篇 arXiv 论文(以 IEEE 格式排版的讲稿或综述)试图梳理深度学习的数学基础,涉及优化方法(如牛顿法)、线性代数、泛化与"全局最优性"等理论问题。评论者对其定位存在分歧:有人认为其数学内容其实相当基础,也有人质疑论文把深度学习与"全局最优"挂钩的前提是否成立,并指出这似乎还是一份未完成、未经同行评审的稿件。
HN 关注点:论文标题与核心前提——深度学习真能用"全局最优性"这类数学结论来刻画吗,以及这类综述是否只是把本科数学重新包装了一遍。
HN 评论精选
这几条评论里:质疑 2 补充 1
质疑质疑论文标题和"深度学习可实现全局最优"这一核心前提。
这个标题糟糕透顶,而且我未必认同它的前提。我们是从什么时候开始确信深度学习能达到他们所说的"全局最优性"的?
banachtarski查看英文原文
This is a horribly titled paper and I don't even agree with the premise necessarily. Since when did we become convinced deep learning achieves "global optimality" as they put it.
补充从排版细节判断这是未定稿,选择等同行评审版本。
我觉得这还是未完成的工作稿?它看起来是 IEEE 模板格式,页面是金色的,而且一般没人会整页浪费在参考文献(综述)上、又让另一页大半留白。我还是等同行评审版吧。
leecarraher查看英文原文
I'm think this is a work in progress? Seems to be in ieee format, where pages are gold, and one would almost never waste an entire on references(surveys), and leave another mostly blank space. I'll wait for the peer reviewed version.
质疑认为论文的数学内容层次很基础。
牛顿法和线性代数而已,基本上就是高中数学。
msmith10101查看英文原文
Newtons method and linear algebra. High school math, basically.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖220 分 · 38 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选