AI 与机器学习2018arxiv.org
使用记忆增强神经网络的文本规范化
Text Normalization using Memory Augmented Neural Networks
进阶 · 约 30 分钟读完前置知识：神经网络基础、LSTM/序列建模、文本规范化任务
导读
这篇论文把记忆增强神经网络（Memory Augmented Neural Networks / DNC）用在文本规范化任务上，即把数字、日期、缩写等非标准写法转成可朗读的标准形式，并与 LSTM 基线在 Kaggle 文本规范化竞赛的数据上做对比。作者声称 DNC 能避免 LSTM 那类"低级错误"，但从准确率表看，LSTM 在 14 个类别中的 10 类上表现持平或更好，而"不可接受错误"这一指标缺乏量化分析支撑。
HN 关注点：HN 读者既关心用 DNC 做文本规范化的思路本身，也在质疑论文的结论是否被数据支持，以及它与 Kaggle 竞赛结果的关系。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
补充指出论文源自 Kaggle 竞赛，并推荐 Google 官方的竞赛总结。
我觉得论文没有充分说明这其实是 Kaggle 竞赛的参赛作品。Google 作为竞赛组织方和数据提供方写的那篇总结非常有意思：http://blog.kaggle.com/2018/02/07/a-brief-summary-of-the-kaggle-text-normalization-challenge/
nl查看英文原文
I don't think the paper highlighted enough that this was a Kaggle competition entry. The write up on that (from Google, who organized it and provided the data) was really interesting: http://blog.kaggle.com/2018/02/07/a-brief-summary-of-the-kaggle-text-normalization-challenge/
质疑质疑结论：LSTM 在多数类别上更好，"不可接受错误"指标缺乏定量分析。
你从给出的结果中得出的结论有点牵强。从准确率表看，LSTM 模型在大多数类别上明显优于你的 DNC 模型（两个数据集上，14 个类别中有 10 个 LSTM 的准确率持平或更高）。你随后主张"不可接受错误"的数量是更好的性能度量，这看起来合理，但除了一个手工挑选例子的表格外，你并没有对这些错误做任何真正的分析。我建议你花点时间量化这些错误，用合适的图表客观地总结结果。我认为这项工作很有意思，但展示结果时要谨慎一些：要么补充更多图表来客观支撑你的论断，要么把结论说得保守一些。这是建设性批评，不是攻击 :-) 再做一些工作就可以进入正式同行评审了。
Analog24查看英文原文
The conclusions you draw from the results that are presented seem to be a bit of a stretch. From the accuracy table it is pretty clear that the LSTM model outperforms your DNC model in most classes (for both datasets the LSTM achieves the same or better accuracy in 10 out of the 14 classes). You then argue that the number of "unacceptable errors" is a better measure of model performance, which seems reasonable. However, you don't really show any analysis of these errors other than a table with some hand-picked examples. I would spend some time trying to actually quantify these errors so you can analyze them and show a proper plot or table that summarizes the results. I think the work is interesting but I would be careful how you present the results. I would suggest adding more plots/tables to back up your claims in a more objective manner or tone down the conclusions a bit. This is meant to be constructive criticism btw, it's not an attack :-) I think with a bit more work you'll be ready for a proper peer review.
支持调侃论文对 LSTM 的措辞不严谨，并追问上下文窗口大小对训练时间的影响。
"……同时避免了基于 LSTM 的循环神经网络架构犯的那类低级错误。"——这种措辞大概只有在 arXiv 上才混得过去 :)。不过论文不错，赞一个！另外你提到"下一步可以在数据预处理阶段扩大上下文窗口，给模型喂更多上下文信息"，能否谈谈训练时间随上下文窗口增大会如何增长？存在最优值吗？
cuddlypsycho查看英文原文
"...while avoiding the kind of silly errors made by the LSTM based recurrent neural architectures." Only in arXiv you could get away with that kind of language :). Good paper though! Kudos. "Another direction to go from here would be to increase the size of the context window during the data preprocessing stage to feed even more contextual information into the model." Could you comment on how the training time would scale with increasing the size of the context window? Is there a sweet spot?
补充询问分词、词形还原、词性标注上神经网络方法的 SOTA，指出形态学方法仍占主导。
论文不错。我想知道在文本分词（Text Segmentation）、词形还原（Lemmatisation）、词性标注（POS Tagging）这些任务上，神经网络方法的当前最优水平如何？目前这个领域还是形态学方法占主导。
__bee查看英文原文
Good paper, I was wondering what is the state-of-art of using Neural Networks for Text Segmentation, Text Lemmatisation, Part-of-speech Tagging. Morphological approaches is dominant in this space.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 代码
- 评论区提到的论文
- arxiv.org/abs/1611.00068被提到 3 次
历次讨论
- 2018Hacker News 讨论帖152 分 · 16 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选