专题阅读路线9 篇约 11 小时读完
开放大模型编年
从 MoE 到推理模型，开放大模型的演进之路
这条路线按时间梳理开放大模型的关键节点：从 MoE 与 GPT-3 的规模探索，到 OPT 开源、小模型与稀疏专家的效率路线，再到 DeepSeek 的推理突破。适合想系统了解开放模型技术脉络的研究者与工程师，读完能看清开放模型如何一步步逼近前沿。
阅读顺序
- 01
超大规模神经网络：稀疏门控的混合专家层（MoE）
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-Of-Experts Layer
开山之作：MoE 稀疏门控奠定'大容量低成本'的技术底座
AI 与机器学习2017 · 265 分 · 114 评 · 引用 16进阶 · 约 60 分钟编辑精选 - 02
GPT-3：语言模型是少样本学习者
GPT-3: Language Models Are Few-Shot Learners
规模路线的里程碑：GPT-3 证明大模型具备少样本能力
AI 与机器学习2020 · 431 分 · 201 评 · 引用 92入门 · 约 90 分钟编辑精选 - 03
OPT：开放预训练 Transformer 语言模型
OPT: Open Pre-trained Transformer Language Models
开放转折点：OPT 首次公开对标 GPT-3 规模的权重
AI 与机器学习2022 · 461 分 · 224 评进阶 · 约 75 分钟 - 04
Phi-3 技术报告
Phi-3 Technical Report
效率路线代表：Phi-3 展示高质量数据让小模型以小博大
AI 与机器学习2024 · 411 分 · 130 评 · 引用 2进阶 · 约 60 分钟 - 05
Mixtral 8x7B：稀疏混合专家语言模型
Mixtral 8x7B: A sparse Mixture of Experts language model
MoE 复兴：Mixtral 把 2017 年的稀疏专家思想落地为开放模型
AI 与机器学习2024 · 359 分 · 150 评 · 引用 6进阶 · 约 50 分钟编辑精选 - 06
Gemma 2：以实用规模改进开放语言模型
Gemma 2: Improving Open Language Models at a Practical Size
实用规模打磨：Gemma 2 说明开放模型如何在中等规模上精进
AI 与机器学习2024 · 328 分 · 172 评进阶 · 约 75 分钟 - 07
Gemma 3 技术报告
Gemma 3 Technical Report
持续迭代样本：Gemma 3 展现开源系列的代际演进
AI 与机器学习2025 · 488 分 · 245 评进阶 · 约 90 分钟 - 08
DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
收官之作：DeepSeek-V3.2 表明开放模型已逼近闭源前沿
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选 - 09
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
能力跃迁：DeepSeek-R1 用 RL 激励推理，开放模型新范式
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选