AI 与机器学习2025arxiv.org
NoProp：无需反向传播或前向传播训练神经网络
NoProp: Training neural networks without back-propagation or forward-propagation
进阶 · 约 90 分钟读完前置知识：反向传播原理、扩散模型基础、深度学习优化基础
导读
这篇论文提出 NoProp，一种不依赖反向传播（back-propagation）甚至前向传播来训练神经网络的方法。其思路与扩散模型的去噪过程相关，各层可独立学习局部目标，无需端到端传递梯度。
HN 关注点：反向传播是否是神经网络训练的必需品是 HN 上长盛不衰的话题，任何声称摆脱 backprop 的方法都会引发“是否真的没用梯度”的质疑。
HN 评论精选
这几条评论里：质疑 1 补充 3
质疑质疑论文标题名不副实，伪代码中仍使用了基于梯度的优化
每当这类论文出现，我都会快速浏览看它们到底在哪里偷偷用了反向传播。看看他们算法的伪代码——里面写着“使用基于梯度的优化方法进行更新”。
itsthecourier查看英文原文
"Whenever these kind of papers come out I skim it looking for where they actually do backprop. Check the pseudo code of their algorithms. "Update using gradient based optimizations""
补充认为该方法的机制类似展开扩散模型，相当于 RNN 的 BPTT
（附 Reddit 讨论链接）我还是不太确定该怎么理解这个方法。也许可以把它看作是扩散模型的展开（unrolling），类似于 RNN 的 BPTT？
gwern查看英文原文
https://www.reddit.com/r/MachineLearning/comments/1jsft3c/r_noprop_training_neural_networks_without/ I'm still not quite sure how to think of this. Maybe as being like unrolling a diffusion model, the equivalent of BPTT for RNNs?
补充指出无梯度学习并非新事物，Hebbian 学习早已存在
我们本来就有无梯度的算法：赫布学习（Hebbian learning），从 1949 年就有了？
erikerikson查看英文原文
We have gradient free algorithms: Hebbian learning. Since 1949?
补充认为真正的生物大脑学习机制仍未被理解，这才是关键
如果我们能弄清楚真实大脑到底在做什么（持续反馈？酶释放？），这或许才有可能实现。
DrFalkyn查看英文原文
If we could ever figure out what wet brains actually do (continuous feedback, ? enzyme release ? ) this might be possible
历次讨论
- 2025Hacker News 讨论帖161 分 · 49 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选