AI 与机器学习2022arxiv.org
一种能学习修改自身的现代自指权重矩阵
A modern self-referential weight matrix that learns to modify itself
进阶 · 约 90 分钟读完前置知识：元学习基础、梯度下降优化、循环神经网络
导读
这篇论文（Schmidhuber 团队）提出一种现代版自指权重矩阵（self-referential weight matrix），让神经网络学习修改自身的权重，而不仅依赖固定的梯度下降更新规则。这是对 Schmidhuber 早年自指网络思想的延续与现代化。
HN 关注点：是因为出自深度学习先驱 Schmidhuber 之手，且'让网络学会修改自己'挑战了以梯度下降为核心的主流训练范式；讨论焦点是该方法缺乏与 SOTA 的严肃基准对比。
HN 评论精选
这几条评论里：质疑 1 补充 1 亲历 1
质疑质疑论文基准测试敷衍，缺乏与 SOTA 的严肃对比，让人怀疑方法实力
我知道 Schmidhuber 对错过 AI 革命的风头一直耿耿于怀，而且他领导着一个资源充足的知名团队。如果这篇论文真的展示了某种新的基础性技术，他们本应投入人力和算力，在一系列高知名度基准上与现有 SOTA 方法做全面对比，而不是像论文里那样敷衍地跑几个基准。虽然麻烦，但要让社区关注这类工作，就得像其他大型研究机构那样清晰证明其可行性。他们没把这种对比放在核心位置，让我怀疑方法到底有多强——毕竟团队里肯定有人试过更多基准。不过，'学出比梯度下降更好的更新规则'这个想法很吸引人，也许会有好东西出现。
heyitsguay查看英文原文
I know Schmidhuber is famously miffed for missing out on the AI revolution limelight, and despite that he runs a pretty famous and well-resourced group. So with a paper like this demonstrating a new fundamental technique, you'd think they would eat the labor and compute costs of getting this up and running on a full gauntlet of high-profile benchmarks, in comparison with existing SOTA methods, vs the sort of half-hearted benchmarking that happens in this paper. It's a hassle, but all it would take for something like this to catch the community's attention would be a clear demonstration of viability in line with what groups at any of the other large research institutions do. The failure to put something like that front and center makes me wonder how strong the method is, because you have to assume that someone on the team has tried more benchmarks. Still, the idea of learning a better update rule than gradient descent is intriguing, so maybe something cool will come from this :)
补充认为 Schmidhuber 团队的工作即使不实用也有思想影响力
我还需要时间消化这篇论文，但可以肯定的是，只要是 Schmidhuber 团队的工作，即使只是在思想层面，也会产生一定影响。
goodmattg查看英文原文
Need time to digest this paper, but you can assume if it's from Schmidhuber's group it will have some impact, even if only intellectual.
亲历分享自己研究另类 ML 方法的经历，询问如何判断其价值
我断断续续玩了好几年非主流的机器学习方法，有些实验效果非常好。但我一直不确定这是浪费时间还是有价值。如果你们掌握了一种与所有人都不同的独特 ML 技术，你们会拿它做什么？
TekMol查看英文原文
I have been playing with alternative ways to do machine learning on and off for a few years now. Some experiments went very well. I am never sure if it is a waste of time or has some value. If you guys had some unique ML technology that is different to what all the others do, what would you do with it?
历次讨论
- 2022Hacker News 讨论帖166 分 · 46 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选