AI 与机器学习2017arxiv.org编辑精选
自归一化神经网络（Self-Normalizing Neural Networks）
Self-Normalizing Neural Networks
进阶 · 约 50 分钟读完前置知识：神经网络基础、反向传播、概率统计
导读
论文研究深度前馈神经网络难以训练的问题，提出自归一化神经网络。核心是引入SELU激活函数（正区间线性、负区间指数）和alpha dropout，使网络各层的激活值均值和方差在传播中保持稳定，从而避免梯度消失或爆炸，让深层前馈网络也能有效学习。
HN 关注点：因为SELU提供了一种简单而理论优雅的激活函数，能直接训练深层前馈网络，并引发了关于其原理、实现及与其他激活函数（如tanh）对比的讨论。
后来怎么样
SELU 被 TensorFlow/Keras 等主流框架收录为常用激活函数之一，但自归一化网络整体未取代批归一化等主流训练方法。
HN 评论精选
这几条评论里：质疑 1 补充 3
补充详细总结了自归一化网络的动机、SELU的设计原理以及方差有界的两条定理。
问题：深度网络在循环结构中表现良好，但前馈网络的深度似乎不起作用。归一化（每单元零均值单位方差）对学习有益，可以是批归一化、层归一化或权重归一化。通过随机梯度下降和随机正则化（dropout）的扰动不会破坏CNN的归一化特性，但会破坏前馈网络的。自归一化网络使用映射g: O -> O，将每个观测的均值和方差映射到下一层，迭代应用该映射会达到固定点。实现这一点的激活函数不是sigmoid或ReLU等，而是一个正x线性、负x指数的函数：缩放指数线性单元（SELU）。直观上：负的网络输入使方差减小，正的网络输入使方差增大；非常负的值方差减小更强，接近零的输入方差增大更强。若某层方差很大，下一层方差会减小更多，反之亦然。定理2说明方差有上界，因此梯度不会爆炸；定理3说明方差有下界，不会消失。随机性通过一种叫alpha dropout的dropout变体引入。
MrQuincle查看英文原文
+ Problem: deep nets working fine if they are recurrent, but for forward nets, depth doesn't seem to do the job. + Normalization is beneficial for learning (per unit zero means and unit variance). It can be batch normalization, layer normalization, or weight normalization (if trained layer for layer and previous layer normalized). + Perturbations through stochastic gradient descent, stochastic regularization (dropout) does not destroy the normalized properties for CNNs, but it does so for forward nets. + Self-normalizing net uses a mapping g: O -> O that maps mean and variance to the next layer for each observation. Iteratively applying this mapping leads to a fixed point. + The activation function to do so is not a sigmoid, ReLU, etc. but a function that is linear for positive x and exponential in x for negative x; the scaled exponential linear unit. + Intuitively: for negative net inputs the variance is decreased, for positive net inputs the variance is increased. + For very negative values the variance decrease is stronger. For inputs close to zero the variance increase is stronger. + For large invariance in one layer, the variance gets decreased more in the next layer, and vice versa. + Theorem 2 states that the variance can be bounded from above and hence there are not exploding gradients. + Theorem 3 states that the variance can be bounded from below and does not vanish. + Stochasticity is introduced by a variant on dropout called alpha dropout. This is a type of dropout that leaves mean and variance invariant. I think the paper gives a nice view on handling gradients in deep nets.
补充补充了Reddit上的相关讨论链接。
Reddit讨论链接：https://www.reddit.com/r/MachineLearning/comments/6g5tg1/r_selfnormalizing_neural_networks_improved_elu/
gwern查看英文原文
Reddit discussion: https://www.reddit.com/r/MachineLearning/comments/6g5tg1/r_selfnormalizing_neural_networks_improved_elu/
补充指出论文作者已提供TensorFlow实现代码。
他们已经有SELU的TensorFlow实现：https://github.com/bioinf-jku/SNNs
return0查看英文原文
They already have a tensorflow implementation of SELU https://github.com/bioinf-jku/SNNs
质疑质疑SELU的唯一性，提出缩放tanh也可能有类似的自归一化效果。
我不确定为什么tanh不能达到同样的效果。如果用1.6*tanh(x)作为激活函数，它会把小方差推高、大方差压低，经过多层后方差达到约1。显然不如论文严谨，只是一个观察。
unixpickle查看英文原文
I'm not sure I see why tanh couldn't be used to the same effect. If you use 1.6*tanh(x) as your activation function, it pushes small variances higher and high variances lower and gets you to a variance of ~1 after many layers. Obviously not as rigorous, just an observation.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖219 分 · 12 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选