AI 与机器学习2020arxiv.org编辑精选
证明彩票假说：剪枝就是全部所需
Proving the Lottery Ticket Hypothesis: Pruning is All You Need
进阶 · 约 90 分钟读完前置知识：神经网络训练基础、彩票假设原始论文、过参数化与剪枝
导读
这篇论文研究彩票假设——即密集网络中存在可单独训练出优异性能的稀疏子网络（中奖彩票）。论文从理论上证明了剪枝足以找到这些子网络，为该假设提供了形式化的证明支持。
HN 关注点：彩票假设是深度学习领域最受关注的理论发现之一，这篇论文给出了理论证明，引发读者讨论其对理解神经网络训练和模型压缩的意义。
后来怎么样
该证明是彩票假设方向的重要理论工作，推动了稀疏网络训练与剪枝理论的后续研究，但证明依赖较强假设，后续工作对其适用范围有所修正。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
支持彩票假设是深度学习最重要的理论发现，推荐原始论文和相关后续研究
在我看来，彩票假设是深度学习领域最有趣的发现。它解释了为什么深度学习有效（相比浅层网络）、为什么初始过参数化往往有用、为什么更深通常优于更浅等等。推荐阅读：原始论文《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》，以及 Uber 的《Deconstructing Lottery Tickets》——后者表明如果在训练前就移除“未中奖”的连接，训练后的网络依然表现良好。
stared查看英文原文
The lottery ticket hypothesis is IMHO the single most interesting finding for deep learning. It explains why does deep learning works (vs shallow neural nets), why is initial over-parametrization is often useful, why deeper is often better than shallow, etc. I recommend for an overview: - the original paper "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks", https://arxiv.org/abs/1803.03635 - "Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask" https://eng.uber.com/deconstructing-lottery-tickets/ showing that if we remove "non-winning tickets" before the training, the trained network still works well
补充猜测剪枝机制或可类比大脑中智能涌现的过程
如果“剪枝就是一切”，这感觉像是解释了智能如何从大脑这样的一团神经元中涌现出来。大致思路是：相对随机地添加大量连接，然后慢慢剪枝，直到系统发生质变……在懂行的人出来解释之前，我先继续这样模糊地类比吧。
xt00查看英文原文
If “pruning is all you need” that does feel like a way of explaining how intelligence could come out of a mass of neurons such as our brain. Or at least that sounds like a thing that makes it understandable to me. Basically add a bunch of connections relatively randomly, start pruning slowly until you hit a point where the system changes... I’ll keep hand waving until somebody who knows this stuff can chime in.. :)
补充对模型压缩有实用意义，但需先训练大网络，训练中途剪枝或可突破
这个结果很棒，对把大模型移植到移动端等受限平台有很大意义。可惜你仍然需要先训练那个更大的网络，所以收益有限。我读过的其他论文显示，也许可以在训练中途进行剪枝，这会让大模型更实用。
IX-103查看英文原文
This is really neat and has a lot of implications for porting larger models to limited platforms like mobile. Unfortunately you still have to train the larger network, so the gains are somewhat limited. Some other papers I read show that you might be able to prune the network in the middle of training, which would make larger models more practical to work with.
质疑质疑：过参数化后剪枝得到小模型，与经典统计优化思路并无本质区别
我理解得对吗？在我看来，这似乎是：往模型里不断加入更多“废话”（过参数化），同时保持精度提升，最终反而能得到一个更小、废话更少的模型？如果是这样，这算什么新闻？这不就是大多数统计和优化问题的基本过程吗？就像增加数据本来就是解决多重共线性的基本方法一样？
rubyn00bie查看英文原文
Am I understanding this right? Surely, I must be missing the entire point because... This looks like to me, adding more and more bullshit to a model while managing to increase its accuracy, eventually leads to a "smaller" model with less bullshit? That is to say, adding correlated or endogenous variables to a model (over-parameterization), so long as it increases its accuracy, will one day yield, a smaller, more optimized, model with less variables? If so; why is this news? Isn't this like the fundamental process of most statistics and optimization problems? Or like isn't adding more data (when available) a fundamental method of solving/fixing with multicolinearity?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2020Hacker News 讨论帖174 分 · 61 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选