数学2016worrydream.com编辑精选
通信的数学理论 (1948)
A Mathematical Theory of Communication (1948)
入门 · 约 90 分钟读完前置知识：概率论基础、对数运算
导读
这是香农 1948 年的经典论文《通信的数学理论》，奠定了信息论的基础。论文将通信过程抽象为数学模型，引入熵、信道容量等概念，量化了信息传输的极限。
HN 关注点：HN 读者在重温这篇开创信息论的经典论文，讨论焦点集中在信息论与其他理论框架（如控制论）的关系，以及香农思想的来源。
后来怎么样
这篇论文创立了信息论，引入比特、熵和信道容量等概念，成为现代通信、编码和数字存储技术的理论基石，是二十世纪最有影响力的科学论文之一。
HN 评论精选
这几条评论里：补充 4
补充主张控制论比信息论更适合建模真实系统，两者视角互补
无意贬低香农和信息论，但我也建议大家研究控制论。信息论可以理解为让现实世界的现象表现得像数字符号，而控制论则相反，试图让数字符号表现得像现实世界的现象。在逻辑中，“A = 非A”是会让系统卡死的矛盾，但在控制论里它只是一个振荡器。我们的系统用控制论的形式化方法建模，可能比用信息论更贴切。
carapace查看英文原文
Meaning no disparagement of Shannon and Information Theory, I would urge you to study Cybernetics as well. Information Theory can be understood as an attempt to make real world phenomenon act like digital symbols. Cybernetics, in contrast, attempts to make digital symbols act like real world phenomenon. In logic, "A = not A" is a contradiction that jams the works, but in cybernetics it's just an oscillator. Our systems are more properly modelled by the formalisms of Cybernetics than Information Theory. (You can get a PDF copy of "Introduction to Cybernetics" from http://pespmc1.vub.ac.be/ASHBBOOK.html)
补充补充资料：信息论的许多思想源自香农 1945 年的密码学工作
在三年之前，香农已经在密码学工作中解决了其信息理论的许多问题：香农《密码学的数学理论》，贝尔实验室，1945 年 9 月 1 日。
quinndupont查看英文原文
Three years prior, Shannon worked out many of the issues for his theory of information in his work on cryptography: Shannon, Claude. “A Mathematical Theory of Cryptography.” Murray Hill, NJ: Bell Labs, September 1, 1945. http://www.cs.bell-labs.com/who/dmr/pdfs/shannoncryptshrt.pdf.
补充期待 Bret Victor 风格的交互式讲解，而非原始 PDF
很高兴看到这篇经典。但看到链接是 worrydream.com 时，我还抱有希望，以为会是 Bret Victor 做的交互式讲解网页……
epistasis查看英文原文
Great to see this classic. But when I saw it was on worrydream.com I got my hopes up that it would be a link to a Bret Victor explanatory web experiment...
补充推荐一篇从哲学角度探讨信息与计算本质的文章
对信息的本质及其与计算的关系感兴趣的人，可能会觉得 E. Feser 的《From Aristotle to John Searle and Back Again: Formal Causes, Teleology, and Computation in Nature》很有意思。
danielam查看英文原文
For those interested in the nature of information as such and as it relates to computation, you might find "From Aristotle to John Searle and Back Again: Formal Causes, Teleology, and Computation in Nature" by E. Feser interesting.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2016Hacker News 讨论帖169 分 · 53 评
同领域还值得读
一种新的相关系数
A New Coefficient of Correlation
提出了一种新的相关性系数（由 Sourav Chatterjee 提出），能够检测变量之间任意形式（不限于线性）的相关关系，且计算简单高效，主要基于排序和距离计算。
数学2021 · 682 分 · 158 评 · 引用 1进阶 · 约 60 分钟编辑精选数学的两种文化
The Two Cultures of Mathematics (2000)
这是数学家 Timothy Gowers 于 2000 年发表的一篇随笔，他把数学研究大致分成两种文化：一类是“解题者”，热衷于攻克具体难题、发展技巧（如组合数学）；另一类是“理…
数学2009 · 307 分 · 102 评入门 · 约 35 分钟编辑精选重新定义统计显著性
Redefine statistical significance
提议将统计显著性阈值从常用的 p<0.05 收紧到 p<0.005，以降低假阳性率、缓解可重复性危机。
数学2017 · 303 分 · 114 评入门 · 约 45 分钟编辑精选统计建模：两种文化（2001）
Statistical Modeling: The Two Cultures (2001)
讨论统计学中两种建模文化：一种假设数据由某种随机模型生成，侧重推断与系数解释；另一种把数据生成机制视为未知，侧重预测精度，主张使用算法建模。
数学2015 · 254 分 · 36 评进阶 · 约 60 分钟编辑精选Hamiltonian Monte Carlo 的概念性介绍
A Conceptual Introduction to Hamiltonian Monte Carlo
是对哈密顿蒙特卡洛（HMC）的概念性导论：它借助哈密顿动力学和统计物理的直觉，把目标分布视为势能景观，引入辅助动量并利用梯度信息沿能量等高线高效采样。
数学2017 · 155 分 · 33 评 · 引用 8进阶 · 约 90 分钟编辑精选