AI 与机器学习2016arxiv.org
为什么深度且廉价的学习效果如此好？
Why does deep and cheap learning work so well?
进阶 · 约 75 分钟读完前置知识：概率论基础、统计物理/哈密顿量、神经网络基础
导读
这篇论文从物理学和概率论角度解释“深度且廉价”的学习为何有效：真实世界数据常由具有对称性和低阶多项式哈密顿量的物理过程产生，因而高度可压缩，能被参数较少、层级较深的神经网络有效表示；随机数据不具备这种结构，难以学习。论文还讨论了概率论与深度学习的联系，并尝试说明某些低阶多项式/哈密顿量族可由小型神经电路表示。
HN 关注点：用物理和信息论解释深度学习成功，讨论焦点是其理论假设与真实生产网络之间的距离，以及物理对称性带来的可压缩性。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
质疑肯定其概率论部分，但质疑哈密顿量构造与现实网络脱节、适用性论证不足。
一年前，我们 UMD 一群人花了几周读这篇论文。它有一些有意思的洞见，但和当下所有理论论文一样，仍有缺口。他们给出的学习低阶多项式哈密顿量的构造，看起来不太像任何常见的生产神经网络模块；而为什么实践中只会处理这个哈密顿量族的理由，在我看来不够有说服力。尽管如此，整体值得细读。第2节 A、B 部分是我见过的关于概率论与深度学习联系的最佳总结。
heyitsguay查看英文原文
A year ago, a group of us at UMD took a couple weeks to go through this paper. It's got some interesting insights, but like all theory papers right now, gaps remain. The construction they present for learning Hamiltonians of low polynomial order doesn't look a ton like any common production neural network modules, and the justification for why we would only be dealing with that Hamiltonian family in practice is unconvincing to me. That said, overall it's worth a close read. Section 2' parts A and B are the best summary of the connection between probability theory and deep learning that i have come across.
补充补充 Tegmark 演讲，核心是物理数据对称性带来可压缩性，随机数据难学。
这是 Max Tegmark（第二作者）2016 年一个相关演讲，讲深度学习与物理的联系：https://www.youtube.com/watch?v=5MdSE-N0bxs 大意是物理数据往往具有对称性，这些对称性使数据描述可压缩成相对较小的神经电路；随机数据没有这种性质，难以学习。非常迷人。
tedsanders查看英文原文
Here's a related 2016 talk by Max Tegmark (second author) on connections between deep learning and physics: https://www.youtube.com/watch?v=5MdSE-N0bxs The gist of it is that physical data tends to have symmetries, and these symmetries make descriptions of the data very compressible into relatively small neural circuits. Random data does not have this property, and cannot be learned easily. Super fascinating.
支持赞赏跨学科迁移，认为不同领域方程共享数学性质，可能错过跨领域洞见。
我很喜欢这种跨学科研究和知识迁移，应该更常发生。有趣的是，不同领域不同定律的许多方程实际上共享不少性质，深入分析后可由单一数学性质解释。这让我想：有多少洞见只是因为在另一个领域以不同名字、为不同目的被发现，而被我们错过？
chatmasta查看英文原文
I really like this kind of cross-disciplinary research and knowledge transfer. It should happen more often. It’s interesting that so many equations governing different laws in different fields actually share quite a few properties, and on deeper analysis, can be explained by a single mathematical property. It makes me wonder how many insights we are missing simply because they were discovered in another field, under a different name, for a different purpose.
补充用随机变换/查找表论证一般函数需要巨大复杂度，深度不足除非高度非随机，呼应论文对随机数据不可学的观点。
从完整变换半群学习变换是最一般的情形。考虑 64 位寄存器上一个神秘的一元 CPU 操作 M：要计算任意这样的变换 M 需要多深的电路？按 Kolmogorov，随机写一个变换函数要 (2^64)*(64) 位查找表；取对数才能高效出结果。这里的结果信息论早已证明。若深度小于查找表的对数，除非函数极度非随机，否则没戏。
crb002查看英文原文
Learning a transformation from the full transformation semigroup is the most general case. Consider a mystery unary CPU operation M on a 64 bit register. How deep of a circuit do you need to calculate any such transformation M? According to Kolmogorov just writing out a random transformation function takes (2^64)*(64) bits to make the lookup table. log of that to get a result out efficiently. Results here were already proved in information theory. If you use a depth less than log of the lookup table you are screwed unless your function is extremely non-random.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2016Hacker News 讨论帖38 分 · 0 评
- 2018Hacker News 讨论帖434 分 · 49 评
- 2019Hacker News 讨论帖16 分 · 1 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选