AI 与机器学习2022arxiv.org编辑精选
Transformer 的形式化算法
Formal Algorithms for Transformers
进阶 · 约 120 分钟读完前置知识：Transformer 基础、线性代数、机器学习基础
导读
这篇论文用形式化的数学记号系统梳理了 Transformer 的各类算法，明确区分了 encoder-decoder、encoder-only 和 decoder-only 三种架构，并附有符号表，内容自洽完整。它填补了许多机器学习文章在严格数学描述方面的空白。
HN 关注点：是因为它以清晰、自洽的数学形式化方式讲透 Transformer 架构，是理解各类模型的有用参考资料。
HN 评论精选
这几条评论里：支持 3 质疑 1
支持论文的三分法对理解架构很有帮助
我觉得论文中对 encoder-decoder、encoder-only 和 decoder-only 三类 Transformer 的区分非常有用，帮助我更清晰地理解不同架构。感谢如此清楚的澄清。
lynguist查看英文原文
I find the distinction introduced in this paper into encoder-decoder Transformers, encoder-only Transformers and decoder-only Transformers very useful for my informal understanding of the different architectures. Thank you for this clear clarification.
支持论文自洽完整，附符号表
我喜欢这篇论文看起来是真正自洽的，结尾甚至附有符号表。
sva_查看英文原文
I like how this seems to actually be self-contained. They even have a list of notations in the end.
支持填补了机器学习文章的空白
这是一个极好的资源，是许多机器学习文章缺失的那一环。
geysersam查看英文原文
This is a fantastic resource. It's the missing piece of many machine learning articles.
质疑质疑零图示是否合适
全文没有一张图，不过图也许对澄清概念没什么帮助？这可能取决于学习者的类型，我不确定。
tartakovsky查看英文原文
Zero diagrams, but maybe they wouldn’t be helpful to clarify the concept? Guess it depends on the types of learners, I’m not sure.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2022Hacker News 讨论帖106 分 · 13 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选