AI 与机器学习2024arxiv.org
自动检测大语言模型中训练不足的 token
Automatically Detecting Under-Trained Tokens in Large Language Models
进阶 · 约 45 分钟读完前置知识：Transformer 基础、tokenizer 原理
导读
这篇论文研究大语言模型中的“训练不足 token”（under-trained tokens）问题：某些 token 在训练数据中出现极少，导致模型在其上行为异常（如 glitch token）。论文提出自动检测这类 token 的方法，帮助识别和规避模型输出异常。
HN 关注点：tokenizer 与模型训练数据不匹配导致的异常行为，以及如何系统性地检测这类问题。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
质疑质疑为何不针对模型语料重新训练 tokenizer，而是复用现成的
解决方案不就是直接在与 LLM 相同的语料上训练 tokenizer 吗？我不明白为什么复用 tokenizer 这么普遍，有人知道原因吗？
anewhnaccount3查看英文原文
Isn't the solution to just train the tokeniser on the same corpus as the LLM? I'm not sure why reusing tokenisers is so common. Anybody know?
补充提出应把检测范围扩展到所有层的权重不均衡，并建议剪枝
我们不应该只盯着训练不足的 token。token 实际上相当于网络的第一层，我们应该在每一层的每个权重上都寻找训练数据的不均衡。发现之后，最好删除几乎没有数据流经的权重，这可能让模型更小或有助于泛化。
londons_explore查看英文原文
We shouldn't just be looking for under trained tokens. Tokens are effectively the first layer of the network, but we should also be looking for training data imbalances at every weight at every other layer of the network. When we find them, it might be best to delete weights with hardly any data flowing through them (which might make the model smaller or help generalisation).
补充补充相关背景资料
一年前 Computerphile 有一个关于 glitch token 的好视频：https://www.youtube.com/watch?v=WO2X3oZEJOA
helsinkiandrew查看英文原文
Good Computerphile video on glitch tokens a year ago: https://www.youtube.com/watch?v=WO2X3oZEJOA
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖182 分 · 26 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选