数学2021arxiv.org
信息论：教程式导引
Information Theory: A Tutorial Introduction
入门 · 约 90 分钟读完前置知识：概率论基础、对数运算、基础微积分
导读
这是一篇信息论导论/教程，旨在用较为通俗的方式介绍信息论的基础概念和思想，适合初学者入门。它更像教材式导引，而非报告新的研究结果。
HN 关注点：如何入门信息论，讨论焦点是这篇教程的价值以及评论区补充的经典教材和免费资源。
HN 评论精选
这几条评论里：支持 1 补充 3
补充Shannon 的原始论文通俗易读，本身就可作为信息论教程。
Shannon 那篇开创信息论的原始论文《A Mathematical Theory of Communication》本身就非常易懂，几乎可以直接当教程使用：http://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
chrispeel查看英文原文
Shannon's original paper "A Mathematical Theory of Communication" which introduced information theory is so accessible as to be useful as a tutorial itself: http://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
补充强烈推荐 MacKay 的免费教材，它兼顾贝叶斯统计与机器学习，且很有个人风格。
另一份极好（而且免费！）的信息论资源是 David MacKay 的书，它还涉及贝叶斯统计和机器学习的一些方面：http://www.inference.org.uk/mackay/itila/。这是我最喜欢的教材之一：透过书页能感受到他的热情和个性。没有他在，世界变得更贫瘠。
phonebucket查看英文原文
Another fantastic (and free!) Information Theory resource is David MacKay’s book, which also addresses aspects of Bayesian Statistics and Machine Learning: http://www.inference.org.uk/mackay/itila/ It’s among my favourite textbooks: you can feel his enthusiasm and personality through the pages. The world is a poorer place without him around.
补充推荐 Abramson 的经典教材，并指出还有一本更完整的研究生标准教材。
写于约 60 年前，Norman Abramson 的《Information Theory and Coding》对想入门信息论的人来说绝对是珍宝。另一本更完整的资源（[2]）某种程度上是研究生层面的事实标准教材。
elromulous查看英文原文
Written some 60 years ago, Information Theory and Coding by Abramson[1] is an absolute gem for those looking to get into info theory. The cover book [2] being the more complete resource (and somewhat of a grad level defacto standard text). [1] https://www.amazon.com/Information-Theory-Coding-Norman-Abramson/dp/B0000CHBOA [2] https://www.amazon.com/Elements-Information-Theory-Telecommunications-Processing/dp/0471241954
支持赞赏书中用生动比喻区分 binary digit 与 bit 的表述。
“把二进制数字（binary digit）误当成比特（bit）是一种范畴错误。这里的范畴错误虽然不像把杏仁糖误当成正义那么严重，但类似于把一品脱容量的瓶子误当成一品脱牛奶。”这话说得很好。
mcguire查看英文原文
"To mistake a binary digit for a bit is a category error. In this case, the category error is not as bad as mistaking marzipan for justice, but it is analogous to mistaking a pint-sized bottle for a pint of milk." That's well put.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2021Hacker News 讨论帖297 分 · 26 评
同领域还值得读
一种新的相关系数
A New Coefficient of Correlation
提出了一种新的相关性系数（由 Sourav Chatterjee 提出），能够检测变量之间任意形式（不限于线性）的相关关系，且计算简单高效，主要基于排序和距离计算。
数学2021 · 682 分 · 158 评 · 引用 1进阶 · 约 60 分钟编辑精选数学的两种文化
The Two Cultures of Mathematics (2000)
这是数学家 Timothy Gowers 于 2000 年发表的一篇随笔，他把数学研究大致分成两种文化：一类是“解题者”，热衷于攻克具体难题、发展技巧（如组合数学）；另一类是“理…
数学2009 · 307 分 · 102 评入门 · 约 35 分钟编辑精选重新定义统计显著性
Redefine statistical significance
提议将统计显著性阈值从常用的 p<0.05 收紧到 p<0.005，以降低假阳性率、缓解可重复性危机。
数学2017 · 303 分 · 114 评入门 · 约 45 分钟编辑精选统计建模：两种文化（2001）
Statistical Modeling: The Two Cultures (2001)
讨论统计学中两种建模文化：一种假设数据由某种随机模型生成，侧重推断与系数解释；另一种把数据生成机制视为未知，侧重预测精度，主张使用算法建模。
数学2015 · 254 分 · 36 评进阶 · 约 60 分钟编辑精选通信的数学理论 (1948)
A Mathematical Theory of Communication (1948)
这是香农 1948 年的经典论文《通信的数学理论》，奠定了信息论的基础。
数学2016 · 169 分 · 53 评入门 · 约 90 分钟编辑精选