专题阅读路线9 篇约 9 小时读完
注意力之后的新架构
从质疑注意力到替代注意力，重构序列建模
这条路线从 Transformer 的原点出发，先看单头注意力与循环网络的复辟如何质疑“多头+大算力”的默认设定，再逐步走向对注意力本身乃至矩阵乘法的替换尝试。适合已熟悉 Transformer 基本结构、想了解 2024—2025 年架构反思与效率探索的读者。读完后你能理清“后注意力”研究的几条主要分支：循环回归、注意力变体、信号变换与算术简化。
阅读顺序
- 01
Attention Is All You Need（注意力机制就是你所需要的一切）
Attention Is All You Need
路线起点：确立纯注意力范式的基线，后文所有质疑都以此为参照。
AI 与机器学习2017 · 225 分 · 30 评进阶 · 约 90 分钟编辑精选 - 02
单头注意力 RNN
Single Headed Attention RNN
首次泼冷水：单头注意力加单 GPU 挑战多头与大算力的必要性。
AI 与机器学习2019 · 212 分 · 37 评 · 引用 1进阶 · 约 60 分钟 - 03
xLSTM：扩展长短期记忆
xLSTM: Extended Long Short-Term Memory
转向循环路线，由 LSTM 原作者出面让 RNN 重新具备与 Transformer 竞争的可能。
AI 与机器学习2024 · 197 分 · 73 评 · 引用 6进阶 · 约 90 分钟编辑精选 - 04
RNN 就是我们所需要的一切吗？
Were RNNs all we needed?
把循环路线推到极致：简化门控，追问 RNN 是否真能取代 Transformer。
AI 与机器学习2024 · 520 分 · 260 评 · 引用 7进阶 · 约 60 分钟 - 05
超越标准多头注意力的新注意力机制
New attention mechanisms that outperform standard multi-head attention
回到注意力内部做改良，从参数与头数入手优化而非推翻。
AI 与机器学习2024 · 233 分 · 49 评 · 引用 2入门 · 约 45 分钟 - 06
Differential Transformer
Differential Transformer
另一条注意力改良思路：用差分注意力抑制无关上下文的注意力噪声。
AI 与机器学习2024 · 562 分 · 177 评 · 引用 1进阶 · 约 60 分钟 - 07
FFT 反击：自注意力的一种高效替代方案
The FFT Strikes Back: An Efficient Alternative to Self-Attention
跳出注意力机制本身，用 FFT 作为序列建模的高效替代方案。
AI 与机器学习2025 · 456 分 · 168 评进阶 · 约 60 分钟 - 08
仅需加法：面向高能效语言模型
Addition is all you need for energy-efficient language models
从算子层面动刀：以加法替代乘法，把讨论引向能效而非结构。
AI 与机器学习2024 · 334 分 · 126 评 · 引用 4进阶 · 约 35 分钟 - 09
可扩展的无矩阵乘法语言建模
Scalable MatMul-Free Language Modeling
收尾于最激进的省思：能否彻底去掉矩阵乘法，重新审视算力成本。
AI 与机器学习2024 · 205 分 · 30 评 · 引用 5进阶 · 约 60 分钟编辑精选