AI 与机器学习2016arxiv.org编辑精选
Google 的神经机器翻译系统
Google’s Neural Machine Translation System
进阶 · 约 40 分钟读完前置知识：神经网络基础、序列到序列模型、机器翻译基础
导读
这篇论文介绍 Google 的神经机器翻译系统（GNMT）：用深层 LSTM 编码器-解码器、注意力机制和 subword 单元（wordpiece）来处理开放词表，并在 WMT 英德/英法任务上显著超越此前的系统。论文还讨论了推理阶段的工程优化，包括低精度算术和 Google 自研的神经网络专用硬件，使这类大模型具备上线部署的可能。
HN 关注点：焦点有两层：一是机器翻译质量是否真的够用（不少人拿 Google 翻译的实际烂译文说事），二是现代 NLP 研究只谈数学与架构、不碰语言学现象，以及超大模型只有 Google 这类公司才玩得起的资源集中问题。
后来怎么样
该系统随后上线 Google Translate，官方称将翻译错误减少约 60%，并推动了注意力式 seq2seq、subword 建模和专用推理硬件在工业机器翻译中的普及。
HN 评论精选
这几条评论里：质疑 3 补充 1
质疑批评论文只谈数学和算法，完全脱离真实语言学现象。
这篇论文很好地说明了我认为现代 NLP 研究的一个关键缺陷：全是数学和算法，完全不涉及真实的语言。论文里有大量关于神经网络架构、参数更新方程、学习规则和推理算法的内容，却没有关于词性类别、关系从句、形态学、词缀或复合词、theta 准则、内容词与功能词的区分、动词时态、一致性，或任何其他实际语言现象的内容。在我看来，这有点像亚里士多德式的思想家，试图仅凭纯数学分析来推理物理，而不做任何实证工作。
d_burfoot查看英文原文
This paper is a good illustration of what I see as a critical shortcoming of modern NLP work: it is all about math and algorithms, there is nothing about actual language. The paper has lots of information about: neural network architectures, parameter update equations, learning rules, and inference algorithms. There is nothing about: part of speech categories, relative clauses, morphology, affixes or compound words, the theta criterion, the content/function distinction, verb tenses, agreement, or anything else related to actual linguistic phenomena. To me this seems a bit like the Aristotelian thinkers who tried to reason about physics based on pure mathematical analysis, without any empirical work.
质疑不该用 Google 翻译代表前沿水平；模型规模与成本让个人研究者难以企及。
我很讨厌人们通过看 Google 翻译来判断机器翻译的进展。Google 翻译已经很老了，不再是业界最先进的。但像这样的最佳神经网络系统用于生产太昂贵，至少免费服务用不起。他们说新的神经网络 ASIC 会让它更实用，至少如此。总之这些神经网络的规模相当惊人，Google 已经远远领先于任何只有几块消费级 GPU 的个人研究者所能做到的。
Houshalter查看英文原文
I hate when people judge machine translation progress by looking at Google translate. Google translate is really old and is no longer state of the art. But the best neural network based systems like this are much too expensive to use in production, at least for free. They say their new neural network ASICs will make it more practical, at least. Anyway the scale of these neural nets is quite incredible. Google is getting far ahead of what any individual researcher with a few consumer GPUs can do.
补充补充 Google 官方关于该系统的博客文章链接。
相关博客文章：https://research.googleblog.com/2016/09/a-neural-network-for-machine.html
runesoerensen查看英文原文
Related blog post: https://research.googleblog.com/2016/09/a-neural-network-for-machine.html
质疑质疑实际质量：提升 60% 仍远不够好，并用德语实例证明 Google 翻译产出大量不可读的句子。
比 Google 翻译好 60%，最多也还是小学水平的流利度。这是必要的进步，但还远谈不上好。Google 翻译差得离谱，拿任何德语文本去试，你会得到 90% 看不懂的垃圾。编辑：说这个还被点踩？试试这个链接……（原文引用的烂译文，如“If you look at Ursula von der Leyen and Jean-Yves Le Drian before the meeting... one might think that Berlin and Paris would never prefer liked.” 以及“Individual states can not prevent the European Council may decide by a qualified majority, the SSZ.”）这些到底想表达什么？
kuschku查看英文原文
60% better than Google translate still is at best elementary school level fluency in a language. It’s a needed improvement, but still far from good. It’s crazy how bad Google translate is, try it with any German text, and you’ll get 90% ununderstandable garbage out. EDIT: Seriously, downvotes for this? Try this: https://translate.google.com/translate?sl=auto&tl=en&js=y&prev=_t&hl=en&ie=UTF-8&u=http://www.spiegel.de/politik/ausland/bratislava-eu-verteidigungsminister-wollen-enger-zusammenarbeiten-a-1114151.html What’s " If you look at Ursula von der Leyen and Jean-Yves Le Drian before the meeting of defense ministers in Bratislava, one might think that Berlin and Paris would never prefer liked." supposed to mean? Or "Individual states can not prevent the European Council may decide by a qualified majority, the SSZ."
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2016Hacker News 讨论帖236 分 · 97 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选