AI 与机器学习2014arxiv.org编辑精选
神经图灵机
Neural Turing Machines
进阶 · 约 50 分钟读完前置知识：神经网络基础、RNN/LSTM、梯度下降
导读
这篇论文提出 Neural Turing Machine（NTM）：在神经网络之外加入可读写的外部记忆，让网络能学习复制、排序等算法式任务，并与 LSTM 等循环网络进行对比。评论者一方面看到用数据训练网络替代手工编程的潜力，另一方面也质疑其基准选择和所需训练样本量。
HN 关注点：可能意味着从“写程序”转向“训练网络”、进而冲击白领工作，同时讨论其基准是否公平、训练数据量是否过大。
后来怎么样
这篇论文开创了可微分外部记忆与记忆增强神经网络方向，直接启发了后续 Differentiable Neural Computer 等工作；但 NTM 本身并未成为广泛部署的标准模型。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
质疑质疑论文意义和基准合理性：未测试 LSTM 擅长的长序列/延迟场景，且训练样本量过大、学习很慢。
我冒着当众犯傻的风险，希望有人纠正我。1. 我不清楚这篇论文的意义。文中有很多流行术语和极其庞杂的参考文献。核心似乎是比较 LSTM 循环网络和 NTM。但他们没有让网络处理很长的序列，也没有处理被任意长延迟打断的序列——而这正是 LSTM 特别擅长的。他们似乎从“LSTM 网络理论上图灵完备”跳到“LSTM 网络是任何计算任务的好基准”。2. 训练样本数量似乎巨大。许多任务训练了数十万条序列。这看起来学习非常慢。如果要把结果解释为网络学会了计算规则（复制、排序等），需要 20 万样本才学会，真的那么令人印象深刻吗？（不是讽刺，我真不知道。）
iandanforth查看英文原文
I'm going to be stupid in public on the hope that someone will correct me. 1. I'm not clear on the point of this paper. There are a lot of buzzwords and an extremely diverse set of references. The heart of the paper seems to be a comparison between Long-Short-Term-Memory (LSTM) recurrent nets and their NTM nets. But they don't expose the network to very long sequences, or sequences broken by arbitrarily long delays which are what LSTM nets are particularly good at. They seem to make the jump from "LSTM nets are theoretically turing complete" to "LSTM nets are a good benchmark for any computational task." 2. The number of training examples seems huge For many of the tasks they trained over hundreds of thousands of sequences. This seems like very very slow learning. If I'm meant to interpret these results as a network learning a computational rule (copying, sorting etc) is it really that impressive if it takes 200k examples before it gets it right? (Not sarcasm, I really don't know.)
质疑追问普通网络的内部状态是否已可视为存储，从而质疑外部记忆的必要性。
一个“典型”神经网络难道没有任何存储可言吗？我看神经网络工作示例时，觉得它们似乎以某种循环方式运作，每个“神经元”的状态会影响其他神经元状态。这难道不算潜在存储吗？
macrael查看英文原文
Does a "typical" neural network not have any storage to speak of? When I've seen examples of neural networks working, it's seemed like they work in cycles in some way, with the states of each "neuron" affecting the state of others. Is that not potentially storage?
支持从复制、排序任务外推，未来工程师可能训练网络而非写程序，并期待硬件落地能很快实现。
读起来很有意思。从网络学会复制和排序数据的方式外推，这有点指向一个未来：软件工程师不再编写程序完成任务，而是用合适的数据训练网络。那基本上会终结语言战争。:) 我希望落地到硅片的时间是个位数年。
noiv查看英文原文
Interesting read. Extrapolating from how the network learned to copy and sort data it points a bit to a future with software engineers not coding programs to do the job but training networks with the right data instead. That would basically end the language war. :) I hope time to silicon is a single digit year.
补充担忧公开论文只是冰山一角，技术已被用于更复杂问题，并预示白领工作受冲击。
哇，如果他们都在发表这个了，你可以打赌他们已经在用这些技术处理复杂得多的问题了。这可能是未来一波白领岗位消失的又一早期信号。
blackkettle查看英文原文
Wow, if they are publishing this, you can bet they are applying these techniques to much more sophisticated problems already. This might be another preliminary signal for a future wave of white-collar job destruction.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2014Hacker News 讨论帖75 分 · 11 评
- 2014Hacker News 讨论帖60 分 · 7 评
- 2016Hacker News 讨论帖55 分 · 27 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选