AI 与机器学习2022arxiv.org编辑精选
DeepNet：将 Transformer 扩展到 1000 层
DeepNet: Scaling Transformers to 1k Layers
进阶 · 约 45 分钟读完前置知识：Transformer 架构、残差连接与 LayerNorm、深度学习初始化
导读
DeepNet 研究如何把 Transformer 稳定地扩展到极深（1k 层），核心做法是改进残差连接与初始化（DeepNorm）来缓解深层训练的不稳定。评论提到它在翻译任务上以约 1/4 的参数取得约高 5 BLEU 的结果，且层更窄使训练和评估更快。
HN 关注点：可能成为 Transformer 的“ResNet 时刻”，并讨论极深模型在参数效率与算力门槛上的影响。
HN 评论精选
这几条评论里：支持 2 质疑 1 补充 1
支持性能提升显著且计算更省。
参数少 4 倍还能高 5 个 BLEU，这非常可观。层本身更窄也意味着神经网络的训练和评估都快得多。
cleancoder0查看英文原文
5 BLEU points more is massive with 4 times less params. The fact that layers themselves are narrower means that training and evaluation of the NN is also much faster.
质疑深度训练成本高，担忧算力资源集中。
很多此前的 Transformer 模型深度上不去，是因为“浅层”Transformer 训练就已经要花很久。我担心我们正走向一个只有拥有大量 GPU 资源的大公司和大研究组才能训练下一代模型的时代。
mrintellectual查看英文原文
A lot of previous transformer-based models did not have great depth simply because "shallow" transformers already took forever to train. I am concerned that we are approaching an age where only massive companies and research groups with tons of GPU resources will be able to train next-gen models.
支持将其类比为 ResNet 突破深度瓶颈。
哇，这听起来很像 Transformer 的 ResNet 时刻。
lysecret查看英文原文
Wow. This sounds a lot like the Resnet moment for Transformers.
补充关注降低参数并能否用于 retrieval transformer。
任何能减少 Transformer 所需参数量的方法都是好消息。想知道这个方法能否容易地接入最近的 retrieval transformer。
rdedev查看英文原文
Anything that can reduce the number of parameters required for a transformer is good news. Wonder if this approach can be easily plugged into the recent retrieval transformer.
历次讨论
- 2022Hacker News 讨论帖194 分 · 38 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选