AI 与机器学习2025arxiv.org
Tensor Product Attention 就是你需要的一切
Tensor Product Attention Is All You Need
进阶 · 约 35 分钟读完前置知识：Transformer 基础、注意力机制、张量分解
导读
论文提出 TPA（Tensor Product Attention）：把 Query/Key/Value 表示为低秩张量乘积的形式，从而在推理时大幅压缩 KV cache 的显存占用，并用配套的融合算子（fused kernel）维持计算效率。按作者说法，在相同显存预算下它的效果优于现有注意力变体（这一点我无法从讨论中核实，只能依据标题与摘要式描述）。
HN 关注点：几乎完全集中在标题上——「X Is All You Need」的命名套路和「novel」一词的滥用已让 HN 读者厌烦；少数人则追问张量分解传统上计算复杂度高，在这里是否仍是瓶颈。
HN 评论精选
质疑张量分解的高计算开销是否被真正解决。
张量分解传统上计算复杂度很高，这个问题在这篇论文里解决了吗？
esafak查看英文原文
Tensor decomposition has traditionally suffered from high computational complexity. Is it an issue here?
对论文标题套路化的吐槽，代表整条讨论的主流情绪。
我真的受不了这些论文标题了，老兄。
whymauri查看英文原文
I really can't with these paper titles anymore, man.
吐槽「novel」滥用与标题越来越夸张。
摘要里写「一种新颖的注意力机制」——为什么每篇论文都非要用「novel」这个词？而且标题一天比一天离谱。
cute_boi查看英文原文
> a novel attention mechanism Why do every paper has to mention this word "novel" and these titles are getting crazier day by day.
呼吁停止套用「X is all you need」标题模板。
不好意思，能不能请大家别再给论文起「X is all you need」这种名字了？真的很烦。
joshdavham查看英文原文
I'm sorry but can people please stop naming their papers "X is all you need"? It's super annoying.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖160 分 · 104 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选