AI 与机器学习2020arxiv.org
可解释深度学习：面向初学者的领域指南
Explainable Deep Learning: A Field Guide for the Uninitiated
进阶 · 约 80 分钟读完前置知识：深度学习基础、机器学习基本概念、模型评估概念
导读
这是一篇面向初学者的可解释深度学习综述（field guide），系统梳理了该领域的概念框架、常见方法与使用场景，帮助不熟悉该方向的研究者快速建立整体认识。作者强调解释要"在对的时间、以对的方式、向对的人解释对的东西"，即解释应结合受众与具体情境，而非单纯追求技术指标。
HN 关注点：一是因为这是一篇条理清晰、可快速通读的入门综述；二是讨论延伸到"explainable 与 interpretable 的区别"、胶囊网络等未被覆盖的方向，以及可直接上手的工具库。
HN 评论精选
这几条评论里：补充 4
补充综述可读性好，但漏掉了 Shapley；其"对的人、对的时间"的结论是值得重视的视角。
这是一篇综述，篇幅很长。除第一句外，我觉得它读起来顺畅、结构也组织得很好。它提到了我预期会出现的一些可解释性工作，比如 Finale-Velez、Rudin、Wallach 和 LIME，但似乎没有提到 Shapley。它的核心结论是："归根结底，重要的是在对的时间、以对的方式、向对的人解释对的东西。"这既是一个显而易见的事实，也是以研究为先的领域里一种有区分度的思维方式。值得快速浏览一遍。
troelsSteegin查看英文原文
This is a review paper. It's long. Past the first sentence I find it readable and well organized. It mentions some of the work on interpretability I'd expect to see, Finale-Velez, Rudin, Wallach, and LIME, but does not appear to mention Shapley. The bottom line conclusion is "In the end, the important thing is to explain the right thing to the right person in the right way at the right time." That's both an obvious truth and a differentiating mindset in research-first space. It's worth a skim.
补充应明确区分事后解释（explainable）与基于参数本身的诠释（interpretable）。
我认为应当区分 explainable（这个神经元对什么激活最强？）模型和 interpretable（模型的参数告诉了我关于数据的什么？）模型。区别在于：解释只能是事后的，针对具体输入说明模型为何如此行动；而诠释可以直接基于模型参数本身，比如"特征 X 很重要、特征 Y 几乎总被忽略，因为我的网络只有一层，特征 X 的权重都很大、特征 Y 的权重都很小"。后者不需要喂入具体输入再研究具体输出，所以是另一个概念，这也是我建议把这一区分明确化的原因。
uoaei查看英文原文
I think there ought to be a distinction between explainable (what does this neuron activate most strongly on?) models and interpretable (what do the model's parameters tell me about the data?) models. The distinction is this: explanations can only be made ex post facto, about why the model acted a certain way based on specific inputs; interpretations can be made based on the model's parameters themselves, i.e., "feature X is very important and feature Y is almost always ignored and I know this because my NN is one layer deep and all the weights for feature X are large in magnitude and all the weights for feature Y are small in magnitude." This does not require specific inputs to be fed, and specific outputs to be studied, so is a different concept and why I am suggesting we make the distinction explicit.
补充胶囊与胶囊路由通过"哪些胶囊激活"提供可解释性，是综述遗漏的有前景方向。
我很意外文中没有提到胶囊（capsules）和胶囊路由算法。胶囊是表示不同语境下离散实体的一组神经元，例如一个 4x4 姿态矩阵就是表示某物体在不同朝向、不同视角下的胶囊；类似地，子词嵌入可看作形状为向量的胶囊，表示某子词在不同自然语言语境中的形态。更一般地，胶囊可以有任意形状，但始终只表示某一语境下的一个实体。在一些新的胶囊路由算法中（如 EM routing、Heinsen routing、dynamic routing 等），每个胶囊可根据其代表的实体是否在输入语境中被检测到来决定是否激活。因此使用这些算法的模型可以让人以胶囊激活来解释模型行为，例如"最终层预测标签 2，是因为最后隐层路由中胶囊 7、23、41 激活最强"。这些新路由算法尚未广泛使用，但我认为它们是构建可解释模型、或在高层功能组合上赋予因果性的有前途的研究方向。
cs702查看英文原文
I'm surprised there is no mention of capsules and capsule-routing algorithms. Capsules are groups of neurons that represent discrete entities in different contexts. For example, a 4x4 pose matrix is a capsule representing a particular object in different orientations seen from different viewpoints. Similarly, a subword embedding can be seen as a capsule with vector shape representing a particular subword in different natural language contexts. More generally, a capsule can have any shape, but it always represents only one entity in some context. In certain new capsule-routing algorithms -- e.g., EM routing[a], Heinsen routing[b], dynamic routing[c], to name a few off the top of my head[d] -- each capsule can activate or not depending on whether the entity it represents is detected or not in the context of input data. Models using these algorithms therefore make it possible for human beings to interpret model behavior in terms of capsule activations -- e.g., "the final layer predicts label 2 because capsules 7, 23, and 41 activated the most in the last hidden routing layer." While these new routing algorithms are not yet widely used, in my humble opinion they present a promising avenue of research for building models that are explainable and/or enable assignment of causality at high levels of function composition. -- [a] https://research.google/pubs/pub46653/ [b] https://arxiv.org/abs/1911.00792 [c] https://arxiv.org/abs/1710.09829 [d] If you're aware of other routing algorithms that can similarly activate/deactivate capsules, please post a link to the paper or code here.
补充Captum 库实现了文中多种算法，可直接用于 PyTorch 模型并欢迎社区贡献。
对 PyTorch 模型感兴趣的人可以看看 Captum（https://captum.ai/）。还有很多工作要做，但我们已经在这个库里实现了本 field guide 中描述的若干算法。我们一直欢迎合作者和贡献。披露：我支持开发 Captum 的团队。
orionr查看英文原文
For those interested in this area for PyTorch models, take a look at Captum (https://captum.ai/). Still a lot of work to do, but we’ve provided a number of algorithms described in this field guide in the library. Always looking for collaborators and contribution of others. Disclosure: I support the team that developed Captum.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2020Hacker News 讨论帖321 分 · 25 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选