数学2017arxiv.org编辑精选
Hamiltonian Monte Carlo 的概念性介绍
A Conceptual Introduction to Hamiltonian Monte Carlo
进阶 · 约 90 分钟读完前置知识：MCMC 基础、贝叶斯推断、微积分/梯度
导读
这篇论文是对哈密顿蒙特卡洛（HMC）的概念性导论：它借助哈密顿动力学和统计物理的直觉，把目标分布视为势能景观，引入辅助动量并利用梯度信息沿能量等高线高效采样。文章重点在于建立直觉，并讨论数值实现与诊断中的关键概念，而非给出新的实验结论。
HN 关注点：HMC 是 Stan 等概率编程系统的核心采样器，HN 读者围绕其直观解释、对梯度的依赖以及替代采样器展开讨论。
后来怎么样
作为 HMC 的经典概念性导论，它成为贝叶斯计算与概率编程社区常用的教学参考，帮助传播 HMC 的几何直觉、调参与诊断实践。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1
支持用“冰球在能量景观中无摩擦滑动”的统计物理直觉解释 HMC：引入辅助动量使总能量守恒，可长距离移动且无需拒绝，并说明梯度为何必要。
Radford Neal 关于 HMC 的综述论文非常漂亮，老实说是我读过最有启发性的论文之一。概念上 HMC 并不难：借用统计物理，可以把能量和概率联系起来，E(x)=exp(-P(x))，于是 MCMC 的目标分布可看作一个“能量景观”——高处对应低概率，低谷对应高概率区域。再加入一个动能来源（辅助概率分布），把采样器想象成在能量景观中无摩擦滑动的冰球；由于动能加势能守恒，它会沿着联合（目标×辅助）分布的等高线移动，因此无论冰球滑多远都不必拒绝样本。这个解释也说明了为何要用梯度信息：要知道冰球下一步往哪走，就得知道能量景观的“墙”有多陡，也就是梯度。
soVeryTired查看英文原文
Radford Neal's expository paper [1] on HMC is a beautiful overview of the area, and honestly one of the most enlightening papers I've ever read. Conceptually, HMC really isn't that difficult. The broad idea is as follows: Borrowing from statistical physics, it's possible to link energy and probability as E(x) = exp(-P(x)). So you can interpret your MCMC target as an "energy landscape". Highpoints in the landscape correspond to low probabilities in the target distribution, and valleys to high-probability regions. Now add a source of kinetic energy (an auxiliary probability distribution), and think of your MCMC sampler as a hockey puck sliding frictionlessly through the energy landscape. Since kinetic + potential energy is conserved, it follows that you move through contours of your joint (target, auxiliary) distribution. That means you never have to reject a sample, regardless of how far the hockey puck travels. This interpretation also shows why you need to use gradient information. To know where the hockey puck is going to move next, you need to know how steep the walls of your energy landscape are: that is, you need the gradient! [1] https://arxiv.org/pdf/1206.1901.pdf
补充补充作者在 StanCon 的 MCMC 讲座资源。
也值得看看作者在当年 StanCon 的演讲：https://youtu.be/DJ0c7Bm5Djk?t=16810 ，题目是“你本应学过的马尔可夫链蒙特卡洛（MCMC）一切”。
tmalsburg2查看英文原文
Also worth checking out is the author's talk at this year's StanCon: https://youtu.be/DJ0c7Bm5Djk?t=16810 Title: Everything you should have learned about Markov Chain Monte Carlo.
质疑询问 HMC 对梯度的依赖，并分享复杂似然下使用 emcee 的经验。
据我所知，使用这个方法需要能够计算被探索函数的梯度，对吗？我常用的大多数似然函数都很讨厌且复杂。我主要用仿射不变采样器 emcee（http://dan.iel.fm/emcee/current/），它在很多问题上效果不错。
xioxox查看英文原文
As far as I know, you need to be able to compute the gradient of the function being explored to use this method. Is that correct? Most of my likelihood functions I use are nasty and complex. I've mostly been using an affine-invariant sampler, emcee, http://dan.iel.fm/emcee/current/, which works well on many problems.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖155 分 · 33 评
同领域还值得读
一种新的相关系数
A New Coefficient of Correlation
提出了一种新的相关性系数（由 Sourav Chatterjee 提出），能够检测变量之间任意形式（不限于线性）的相关关系，且计算简单高效，主要基于排序和距离计算。
数学2021 · 682 分 · 158 评 · 引用 1进阶 · 约 60 分钟编辑精选数学的两种文化
The Two Cultures of Mathematics (2000)
这是数学家 Timothy Gowers 于 2000 年发表的一篇随笔，他把数学研究大致分成两种文化：一类是“解题者”，热衷于攻克具体难题、发展技巧（如组合数学）；另一类是“理…
数学2009 · 307 分 · 102 评入门 · 约 35 分钟编辑精选重新定义统计显著性
Redefine statistical significance
提议将统计显著性阈值从常用的 p<0.05 收紧到 p<0.005，以降低假阳性率、缓解可重复性危机。
数学2017 · 303 分 · 114 评入门 · 约 45 分钟编辑精选统计建模：两种文化（2001）
Statistical Modeling: The Two Cultures (2001)
讨论统计学中两种建模文化：一种假设数据由某种随机模型生成，侧重推断与系数解释；另一种把数据生成机制视为未知，侧重预测精度，主张使用算法建模。
数学2015 · 254 分 · 36 评进阶 · 约 60 分钟编辑精选通信的数学理论 (1948)
A Mathematical Theory of Communication (1948)
这是香农 1948 年的经典论文《通信的数学理论》，奠定了信息论的基础。
数学2016 · 169 分 · 53 评入门 · 约 90 分钟编辑精选