AI 与机器学习2017arxiv.org编辑精选
超大规模神经网络：稀疏门控的混合专家层（MoE）
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-Of-Experts Layer
进阶 · 约 60 分钟读完前置知识：深度学习基础、反向传播、语言模型与机器翻译
导读
论文提出稀疏门控的 Mixture-of-Experts（MoE）层：通过可学习的门控为每个输入只激活少数专家，从而在不按比例增加计算量的前提下大幅提升模型容量。作者将其用于语言建模和机器翻译，验证了超大容量模型可以带来更好的效果。
HN 关注点：用条件计算/MoE 把模型容量扩到极大而控制计算量，并由此讨论路由机制、可解释性以及医学影像等应用。
后来怎么样
这篇论文提出的稀疏门控 MoE 层成为后续大规模模型扩展的核心组件之一，直接启发了 GShard、Switch Transformer 等工作，并被广泛用于现代大语言模型。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
补充引用论文的宏大目标，强调万亿参数/万亿词规模当时尚未实现但可随硬件扩展。
“我们的目标是在万亿词语料上训练万亿参数模型。写作本文时我们尚未把系统扩展到这一规模，但增加硬件后应该可行。”
jamesk_au查看英文原文
"It is our goal to train a trillion-parameter model on a trillion-word corpus. We have not scaled our systems this far as of the writing of this paper, but it should be possible by adding more hardware."
支持称赞 MoE 在翻译任务上提升质量且降低计算/训练成本，并看好其作为通用组件用于大数据场景。
很 impressive！这项工作在大多数语言对上都提升了质量，同时把运行时计算成本减半并缩短训练时间。由于它是通用组件，我预计它会被用于各种有大量数据的问题。尤其有意思的是，大多数 Kaggle 竞赛是靠 mixture-of-experts 模型赢的。
ben_mann查看英文原文
Impressive! With this work they managed to increase quality for most language pairs while halving runtime computational cost and decreasing training time. Since it's a gerneric component, I can see it getting used on all sorts of problems with lots of data. Especially interesting given that most Kaggle competitions are won with mixture of experts models.
质疑关注条件计算带来的可解释性挑战，并提出反向用途：用条件计算帮助理解规模合理的网络。
这项工作用条件计算来支持“大得离谱”的网络；这类网络在实践中可能效果更好，但会更难理解。我很有兴趣用同样的条件计算思路，让规模合理的神经网络更容易理解。有人见过这类论文吗？
sgillen查看英文原文
This work uses conditional computation to allow for "Outrageously large" networks which may work better in practice but which will be even harder to understand. I'm very interested in working on using this same sort of conditional computation to make reasonably sized neural networks easier to understand. Has anyone seen papers on this sort of work?
质疑医学影像读者问 MoE 门控能否同时激活多个专家处理同图多病理，还是只走一条路径。
我对深度学习在放射科的应用很期待。我过几年就要开始放射科住院医师培训（先做实习年）。有人能解释这是否解决了在同一张图像中识别多种病理的问题吗？例如，如果患者同时有肺炎和胸腔积液，这种方法能否激活两个子网络，并基于这两个网络给出综合诊断？还是说一次只激活一条路径？
aabajian查看英文原文
I'm excited for the applications of deep learning in radiology. I'll be starting radiology residency in a couple years (intern year first). Can someone explain whether this solves the problem of identifying multiple pathologies within the same image? For example, if a patient has pneumonia and a pleural effusion, could this method activate two subnetworks and come up with a consensus diagnosis based on both those networks? Or does only one pathway get activated at a time?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖200 分 · 81 评
- 2019Hacker News 讨论帖65 分 · 33 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选