AI 与机器学习2015research.microsoft.com
深度神经决策森林
Deep Neural Decision Forests
进阶 · 约 35 分钟读完前置知识:决策树与随机森林、反向传播、卷积神经网络基础
导读
这篇论文提出“深度神经决策森林”,尝试把决策森林的树状决策结构与深度网络的特征学习结合起来,让森林的节点划分和叶节点预测能够随网络一起训练。其核心贡献在于将原本离散的森林模型做成可端到端学习的深度模型,并在图像分类任务上验证这一思路。
HN 关注点:HN 读者一方面想用通俗语言弄清这篇论文的定性贡献,另一方面质疑其对比实验只选 GoogLeNet 而未与当时更强的 VGG 比较。
后来怎么样
这篇论文将决策森林的节点划分与叶节点预测可微化,并与 CNN 端到端联合训练,推动了可微决策树/森林这一支后续研究;但它并未成为主流视觉模型,影响主要局限在相关子领域。
HN 评论精选
这几条评论里:质疑 1 补充 2
补充请求通俗解释论文的贡献与意义。
能否用通俗的话解释这篇论文的定性贡献是什么,以及为什么重要?
pjf查看英文原文
Could someone explain in layman words what is the qualitative contribution of the paper and why it is important?
质疑质疑基线选择,认为应和更强的 VGG 比较。
为什么他们只拿自己的方法和 GoogLeNet 比较?VGG 是 2014 年的赢家,大多数论文似乎都用 VGG,而我团队的观察是它总是比 GoogLeNet 准确率更高。
strebler查看英文原文
Why do they only compare their method against GoogLeNet? VGG was the winner in 2014, most papers seem to use VGG and my team has observed it to always gets higher accuracy than GoogLeNet.
补充补充作者信息并给出 Criminisi 关于森林的综述链接。
供参考,Criminisi 也是这篇论文的作者之一:http://research.microsoft.com/pubs/158806/CriminisiForests_FoundTrends_2011.pdf
themichaellai查看英文原文
fwiw, Criminisi also was an author on this: http://research.microsoft.com/pubs/158806/CriminisiForests_FoundTrends_2011.pdf
历次讨论
- 2015Hacker News 讨论帖145 分 · 35 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选