AI 与机器学习2024arxiv.org
随机森林为何有效？它们是自正则的自适应平滑器
Why do random forests work? They are self-regularizing adaptive smoothers
进阶 · 约 60 分钟读完前置知识：随机森林基础、回归树与过拟合、统计学习基础
导读
论文研究随机森林为何有效，核心论点是它们可被视为自正则化的自适应平滑器。通过对大量随机化树做平均，单棵树过拟合产生的噪声尖峰被削弱，整体预测因此更平滑、泛化更好。
HN 关注点：如何直观理解随机森林的有效性，并把它与样条/GAM、ReLU 网络等自适应平滑方法联系起来。
HN 评论精选
这几条评论里：补充 2
补充用回归树平均的几何直觉解释随机森林：平均多棵树的噪声尖峰，得到更平滑的预测。
文章不错，但同时不熟悉机器学习和数学的人会觉得有点复杂。我补充一个几何直觉：以回归为例，要预测 y，已知 y 依赖 x，观测有噪声：y=f(x)，y_observed=f(x)+noise，可想象 f(x)=sin(x)。一棵过拟合回归树就是阶梯函数，x 处的值取观测 y。无噪声时更多测量可逼近 y；有噪声时会过拟合，产生人为尖峰。为避免过拟合，可多次采样 X，每次建一棵回归树再平均。平均时每棵树有自己的尖峰，噪声尖峰不会在多数树中出现，因此被削弱，形成文章所说的更平滑行为。
youoy查看英文原文
Nice article, although I find it's a bit overly complex if your are not familiar with ML and mathematics at the same time. I will leave here a geometrical intuition of why they work in case it can help someone: To simplify things, I will talk about regression, and say we want to predict some value y, that we know depends on x, and we have some noisy measurements of y. y = f(x) y_observed = f(x) + noise If you want some mental image, think about f(x)=sin(x). Now, a (over fitted) regression tree in this case is just a step function where the value at x is y_observed. If there is no noise, we now that by doing more measurements, we can approximate y with as much precision as we want. But if there is noise, the regression tree will over fit the noisy values, creating some artificial spikes. If you want to avoid this over fitting, you sample a lot of times the values of X, and for each sample you build a regression tree, and then average them. When you average them, every tree will contain its own particular artificial spikes, and if they are noise, they won't appear in the majority of the other trees. So when you average them, the spikes will attenuate, creating the smoother behaviour that the article talks about. I hope it helps!
补充指出随机森林/提升树与自适应样条平滑的既有理论联系，并推测 ReLU 网络也属于同类自适应平滑器。
很高兴看到更多研究探索树、集成与平滑之间的联系。早在 Trevor Hastie 的 ESL 书里就有一节讲：使用“树桩”（只有一次分裂的树）的梯度提升等价于加性样条模型（严格说是 GAM），以阶梯函数为样条基并自适应放置节点。我一直认为 ReLU 神经网络与正则化自适应平滑器之间也应有深层联系，因为 ReLU 本身就是一种样条基（所谓截断线性样条），且恰好张成与同阶 B 样条相同的函数基。
levocardia查看英文原文
Good to see more research exploring the connection between trees, ensembles, and smoothing. Way back in Trevor Hastie's ESL book there's a section on how gradient boosting using "stumps" (trees with only one split) is equivalent to an additive spline model (GAM, technically) with a step function as a spline basis and adaptive knot placement. I've always thought there should be a deep connection between ReLU neural nets and regularized adaptive smoothers as well, since the ReLU function is itself a spline basis (a so-called truncated linear spline) and happens to span the same functional basis as B-splines of the same degree.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖295 分 · 41 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选