AI 与机器学习2015arxiv.org编辑精选
Batch Normalization：加速深度网络训练
Batch Normalization: Accelerating Deep Network Training
进阶 · 约 60 分钟读完前置知识：神经网络基础、反向传播与随机梯度下降、卷积网络基础
导读
这篇论文提出 Batch Normalization（批归一化）：在小批量上对各层输入做归一化，以减轻内部协变量偏移，从而加速深度网络训练，并允许使用更大的学习率。作者在 ImageNet 上报告了当时领先的结果，并称其准确率超过人类评分者。
HN 关注点：深度学习在 ImageNet 上超越人类评分者的结果，以及 BN 与 PReLU 等技巧能否叠加刷新 SOTA，并讨论“超越人类”这一指标的含义。
后来怎么样
Batch Normalization 成为深度学习中的标准组件，被广泛用于卷积网络及后续各类网络架构，并催生了 LayerNorm、GroupNorm 等一系列归一化方法。
HN 评论精选
这几条评论里：质疑 1 补充 3
补充提出将 Batch Normalization 与 PReLU 结合以冲击新 SOTA 的设想。
既然这篇论文和另一篇 PReLU 论文用看似无关的技术都在 ImageNet 上超过了人类水平，那似乎有一条明确路径可以达到下一个 SOTA：实现并训练一个同时使用 Batch Normalization 和 PReLU 的网络。对吧？
lars查看英文原文
Since this paper along with [1] both beat human level performance on ImageNet, using seemingly unrelated techniques, it seems like there's a clear path to achieve the next state of the art result: Implement and train a network that uses both Batch Normalization and PReLU's at the same time. Right? 1: http://arxiv.org/pdf/1502.01852v1.pdf
质疑质疑“超越人类”比较中真值标签由人类确定所带来的循环问题。
“超过人类评分者的准确率”这个说法有点令人困惑——如果一个人把某个样本误分类，而该样本的真实类别是由另一个人确定的，那到底是谁错了？
hyperbovine查看英文原文
The phrase "exceeding the accuracy of human raters" is a bit puzzling--if a human misclassifies something whose true class was determined by another human, who is in error?
补充补充“超越人类”的背景，并指出微软同期结果和论文第 7 页图表才是关键。
PS：被超越的人是斯坦福的一位研究者，他早前为这个特定图像识别任务制作了验证集（他某处说过，再给他一次机会能把错误率降到 3%）。同一周微软发布了类似结果，但没有这么重要的新网络方法。真正重要的图其实在第 7 页。
singularity2001查看英文原文
PS: The human being beaten was a guy from Stanford who did the validation set for this specific image recognition task a while ago (he somewhere said that he could reduce the error rate to 3% given a second chance ;) This same week Microsoft released a similar result, but without such an important new approach for networks. The important chart really is on page number seven.
补充观察到深度学习在 HN 热度快速上升，视其为机器智能常态化的信号。
我觉得深度学习研究在 HN 上排第一很迷人。不到 6 个月前，它还几乎进不了前 3-4 页。这是否说明机器智能已成为新常态？
freddealmeida查看英文原文
I find it fascinating that deep learning research is no.1 on HN. Not even 6months ago it was nearly unheard of on the top 3-4 pages. Is this an indicator that machine intelligence is the new normal?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2015Hacker News 讨论帖134 分 · 38 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选