AI 与机器学习2016arxiv.org
神经发生深度学习
Neurogenesis Deep Learning
进阶 · 约 30 分钟读完前置知识：深度学习基础、反向传播、海马体与神经发生
导读
这篇论文提出一种受成人神经发生启发的深度学习方法，尝试通过动态增加神经元/网络结构来提升深度网络的可塑性，使其适应新信息。评论者主要讨论它是否真正体现了海马齿状回与 CA3 的生物机制，以及该工作的方法新颖性和发表档次。
HN 关注点：把神经科学中的“神经发生”引入深度学习是否合理，讨论焦点包括生物机制是否被正确模拟、能否用神经元死亡/剪枝替代，以及论文发表在 IJCNN 所反映的学术影响力。
HN 评论精选
这几条评论里：质疑 2 补充 2
质疑批评论文没有体现齿状回的模式分离和 CA3 的模式补全等关键生物机制。
他们大概模拟了神经发生，但没有纳入其中最有意思的部分：新神经元诞生于齿状回，而该区域被认为特别能把相似的特征表征正交化（即模式分离），从而让相似事件形成不同记忆。齿状回输出到 CA3，CA3 高度递归，被认为能从部分输入补全完整表征，也就是编码和检索两个或多个特征/对象之间的关系。可参考 Rolls (2013) 的数学模型和综述，还有很多其他文献；手机打字太难受就不多写了。
SubiculumCode查看英文原文
They simulate neurogenesis, I guess, but they do not incorporate the most interesting part of that neurogenesis: That is the new neurons are born into the dentate gyrus, a region thought to have a particular capacity to orthoganalize feature representations that are similar (e.g. pattern separate) allowing distinct memories to be formed for similar events. The dentate gyrus outputs to a region called Cornu ammonis 3 (CA3) which is heavily recurrent, and thought to br able to pattern complete a full representation from partial inputs. That is, CA3 can encode and retrieve the relations between 2 or more features or objects. For a mathematical model and review one might read: Rolls (2013) https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3812781/ but many others exist. I'd write more but typing in my phone is driving me to distraction.
补充建议用类似神经元死亡的剪枝方法来压缩大型神经网络。
神经发生？不如研究“神经死亡”，把大型神经网络剪枝成更紧凑的网络——这才是个研究点子！
jostmey查看英文原文
Neurogensis? How about neural death as a way to prune large neural networks into more compact ones--now that is a research idea!
补充概括论文动机：借成人神经发生提升深度网络可塑性。
基本上是在受成人神经发生启发，尝试让深度神经网络获得一定程度可塑性。
groar查看英文原文
Basically trying to achieve a certain level of plasticity in deep neural nets by getting inspiration from https://en.wikipedia.org/wiki/Adult_neurogenesis
质疑质疑论文的会议档次和学术影响力。
抱歉如果显得势利，但我确实疑惑这篇论文为何只投 IJCNN 这个二线机器学习会议。我知道有本科生研究工作坊的录取率比 IJCNN 还低。我一时想不出近年 IJCNN 发表过什么重要的机器学习论文。
argonaut查看英文原文
Sorry if I'm being snobbish, but I do wonder why this paper is only being submitted to IJCNN, a 2nd tier machine learning conference. I know students who publish undergrad research at workshops with lower acceptance rates than IJCNN. I can't think of any important machine learning papers published in IJCNN in the recent past.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2016Hacker News 讨论帖197 分 · 97 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选