AI 与机器学习2018arxiv.org编辑精选
彩票假说：寻找小型、可训练的神经网络
The Lottery Ticket Hypothesis: Finding Small, Trainable Neural Networks
进阶 · 约 45 分钟读完前置知识：神经网络基础、反向传播与训练、模型剪枝
导读
这篇论文研究的是：随机初始化的稠密神经网络中是否藏着很小的可训练子网络。核心做法是先正常训练、剪掉不重要的连接，再把剩余权重回退到最初初始化并单独重训；作者发现这些“中奖彩票”子网络能在参数量远小于原网络的情况下达到相近准确率。
HN 关注点：因为它把模型压缩、剪枝和随机初始化/可训练性联系起来，也引出了“深度学习是否只是大海捞针/随机搜索”的争论。
后来怎么样
彩票假说成为网络剪枝与稀疏训练的重要框架，催生了一系列寻找、训练和解释“中奖彩票”子网络的后续工作，并推动了对初始化与稀疏网络可训练性的研究。
HN 评论精选
这几条评论里：质疑 2 补充 2
补充训练 DNN 类似赌博：高失败率、偶有大回报，且难以解释成败原因。
搞 DNN 更像是在老虎机上赌博，而不是传统编程。我收集训练数据，写 Python 脚本，然后花大约 1 美元 GPU 时间看它是不是赢家。别人看转轮，我看 loss 曲线。95% 的情况都失败，但偶尔会有大回报。赢的时候我感觉很聪明，但深入调查总揭示我根本不知道 A 为什么有效而 B 无效。
opwieurposiu查看英文原文
Working on DNNs is more similar to gambling on the slot machines then it is to traditional programming. I gather training data, write a python script, and then pay around $1 for GPU time to see if it's a winner. Instead of watching spinning reels I watch loss function graphs. 95% of the time it is a bust, but every once in a while you get a big payoff. I feel very smart when I win, but deeper investigation inevitably reveals I have no idea why A works and B does not.
质疑若假说成立，DNN 可能只是随机集成/搜索，初始化问题仍未解决，所谓深度学习革命被高估。
如果这个假说成立，一个很犬儒且挑衅的推论是：DNN 不过是一大堆 NN 的集合，其中至少有一个碰巧能解决你的问题，而 DNN 负责找出是哪一个。那它的做法本质上和带 bagging 的随机森林一样，只是决策树换成了神经网络。这又意味着：1. “Deep <你的算法>”革命其实不是革命，只是把很多模型（以及资源）扔向同一个问题，同时掩盖了你不知道哪一个会有效，因为 DNN 会替你找出来。2. 神经网络初始化这个老问题根本没有解决；如果最终能解决它，可能会带来显著更好的结果。
dmichulke查看英文原文
A very cynic and provocative follow-up to this hypothesis (if it turns out to be true) would be: DNNs are nothing more than a huge set of NNs where at least one happens to solve your problem and the DNN finds out which one. The approach is then essentially the same as a Random Forest with bagging but with the decision trees substituted by Neural Networks. This in turn would mean that: 1. The "Deep <Your Algorithm here>" revolution is in fact not a revolution but just throwing many models (and thereby resources) at the same problem while obscuring that you don't have any idea which one will work because the DNN will do it for you. 2. The age old problem of initializing the neural network is not at all solved and can lead to drastically better results if finally somehow addressed.
补充补充 Reddit 上关于该论文的讨论链接。
Reddit 上的讨论：https://www.reddit.com/r/MachineLearning/comments/85eo8v/r_the_lottery_ticket_hypothesis_training_pruned/
Mathnerd314查看英文原文
Discussion on Reddit: https://www.reddit.com/r/MachineLearning/comments/85eo8v/r_the_lottery_ticket_hypothesis_training_pruned/
质疑认为剪枝不是发现子网络，而是移除冗余连接、显露功能回路；可类比基因调控网络。
我认为作者们对这里发生的事情有误解。这并不是揭示了一个子网络，你其实是在移除全连接 ANN 中的虚假交互，从而在视觉上揭示驱动行为的“功能回路拓扑”。理解剪枝对人工基因调控网络（另一类 ANN，但数学上遵循相同规则）的影响会有帮助：https://www.researchgate.net/publication/23151688_Survival_of_the_sparsest_Robust_gene_networks_are_parsimonious
rdlecler1查看英文原文
I think the authors are confused about what’s happening here. It’s not revealing a subnetwork, you’re removing spurious interactions in the fully connected ANN thereby visually revealing the functional circuit topology that’s driving the behavior. It’s helpful to understand the effect of pruning on artificial gene regulatory network, another class of ANN but mathematically they follow the same rules: https://www.researchgate.net/publication/23151688_Survival_of_the_sparsest_Robust_gene_networks_are_parsimonious
历次讨论
- 2018Hacker News 讨论帖137 分 · 14 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选