AI 与机器学习2017arxiv.org
Deep Forest：迈向深度神经网络的替代方案
Deep Forest: Towards an Alternative to Deep Neural Networks
进阶 · 约 50 分钟读完前置知识：随机森林、集成学习、深度学习基础
导读
这篇论文提出 Deep Forest（gcForest）：用多层随机森林级联代替神经网络来做深度学习，每一层把森林输出的类别分布拼接到原始特征上再传给下一层。作者称它在小数据集上表现可与 CNN/DNN 竞争，而且超参数更少、训练更容易，试图给出深度神经网络之外的一种选择。
HN 关注点：“不用神经网络也能深度学习”这一主张是否成立，讨论焦点很快转到深度网络的调参是否真的困难、以及论文的对比是否公平。
HN 评论精选
这几条评论里：质疑 2 补充 2
质疑深度网络的默认超参数已经足够好用，“更易训练”并不构成明显优势。
原文说“与需要大量超参数调优的深度神经网络相比，gcForest 训练容易得多”。但如今深度网络的调参已不再是多大问题：得益于 BatchNorm 和更稳健的优化算法，大多数时候直接用 Adam、默认学习率 0.001 就能取得不错的效果；很多用 BatchNorm 的模型连 Dropout 都不需要，这方面也不用调。多层 3x3、步长 1 的卷积仍然很神奇。基本上，如今深度网络几乎不用调参也能工作得很好，默认值就够了。
rkaplan查看英文原文
"In contrast to deep neural networks which require great effort in hyper-parameter tuning, gcForest is much easier to train." Hyperparameter tuning is not as much of an issue with deep neural networks anymore. Thanks to BatchNorm and more robust optimization algorithms, most of the time you can simply use Adam with a default learning rate of 0.001 and do pretty well. Dropout is not even necessary with many models that use BatchNorm nowadays, so generally tuning there is not an issue either. Many layers of 3x3 conv with stride 1 is still magical. Basically: deep NNs can work pretty well with little to no tuning these days. The defaults just work.
补充梯度提升树在许多任务上优于神经网络且更易实现，NN 的热度与实际表现并不完全匹配。
我一直觉得奇怪：神经网络这么受追捧，可在大多数 Kaggle 竞赛中，最流行、最准确的算法其实是 xgboost（梯度提升决策树）。神经网络更适合图像处理类问题，但在很多机器学习问题上，决策树方法表现更好、实现也容易得多。
throw_away_777查看英文原文
I've always found it curious that Neural Networks get so much hype when xgboost (gradient boosted decision trees) is by far the most popular and accurate algorithm for most Kaggle competitions. While neural networks are better for image processing types of problems, there are a wide variety of machine learning problems where decision tree methods perform better and are much easier to implement.
质疑对比基准偏弱、数据集偏小，且逐层拼接类别分布缺乏真正的特征层级。
其他数据集我不了解，但他们对比的两个视觉数据集（MNIST 和人脸识别那个）都很小，用来对比的 CNN 似乎也不是最先进的。而且每一层随机森林似乎只是把类别分布拼接到原始特征向量上，所以它看起来并不能获得大规模 CNN/DNN 那种“特征层级”带来的好处。
jre查看英文原文
I don't know about the others, but the two visions dataset they compare to (MNIST and the face recognition one) are small datasets and the CNN they compare to doesn't seem very state of the art. It also seems each layer of random forest just concatenates a class distribution to the original feature vector. So this doesn't seem to get the same "hierarchy of features" benefit that you get in large-scale CNN and DNN.
补充补充已有的 CNN+随机森林结合工作，作为相关文献参考。
相关研究：Deep neural decision forests（把卷积网络与随机森林结合）：http://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Kontschieder_Deep_Neural_Decision_ICCV_2015_paper.pdf 以及 http://matthewalunbrown.com/papers/1603.01250v1.pdf、https://topos-theory.github.io/deep-neural-decision-forests/
FrozenVoid查看英文原文
Related: Deep neural decision forests (ConvNets+Random Forests) http://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Kontschieder_Deep_Neural_Decision_ICCV_2015_paper.pdf http://matthewalunbrown.com/papers/1603.01250v1.pdf https://topos-theory.github.io/deep-neural-decision-forests/
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖350 分 · 92 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选