AI 与机器学习2017papers.nips.cc编辑精选
Attention Is All You Need（注意力机制就是你所需要的一切）
Attention Is All You Need
进阶 · 约 90 分钟读完前置知识：序列建模基础、注意力机制、机器翻译基础
导读
这篇论文提出了 Transformer 架构，完全摒弃 CNN 和 RNN，仅依靠注意力机制来处理序列建模与机器翻译任务。它简化了模型结构，同时取得了更好的翻译效果，成为后续深度学习模型的基础架构。
HN 关注点：是因为 Transformer 颠覆了当时以 CNN/RNN 为主流的神经网络架构惯例，可能引发领域内的重大变革。
后来怎么样
Transformer 架构成为深度学习的基础架构，BERT、GPT 等一系列大模型均基于它构建，彻底取代 RNN 在序列建模中的主流地位。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
补充推荐先读前置论文以降低理解难度
这篇论文理解门槛较高，建议先读它一年前的前置论文（arXiv:1606.01933）会更容易上手。
eggie5查看英文原文
This paper has a lot of prerequisites to understand. A good paper to read is precursor to this paper released a year ago: https://arxiv.org/abs/1606.01933
支持预测主流 NN 架构将被颠覆
预计未来几年，CNN 和 RNN 这些（或许过早地）已成为定式的神经网络架构会迎来许多颠覆。能活在当下真是太好了！
bthornbury查看英文原文
I expect we'll be seeing many shakeups on what has (perhaps prematurely) become the established norms for NN architectures (CNN and RNN) throughout the next few years. Its a great time to be alive!
补充补充官方博客资料
可以看 Google 去年夏天的博客文章，介绍了这种用于序列和翻译的新型简化架构。
pilooch查看英文原文
See the Google blog post from last summer, https://research.googleblog.com/2017/08/transformer-novel-neural-network.html A novel simplified architecture for sequences and translation.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2017Hacker News 讨论帖225 分 · 30 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选