AI 与机器学习2025arxiv.org编辑精选
TinyStories：语言模型能有多小，却仍能说出连贯的英语？（2023）
TinyStories: How Small Can Language Models Be and Still Speak Coherent English? (2023)
进阶 · 约 40 分钟读完前置知识：语言模型基础、Transformer、文本生成评估
导读
这篇论文构建了由 GPT-3.5/GPT-4 生成的简单短故事数据集 TinyStories，并训练参数量很小的语言模型，追问模型最小可以小到什么程度仍能说出连贯英文。核心结论是：在受控、简化的语料上，远小于常见大模型的小模型也能获得连贯的文本生成能力。
HN 关注点：小模型的能力边界、用大模型生成数据再训练小模型的新循环，以及论文中 2023 年的基线模型是否已经过时。
后来怎么样
TinyStories 已成为小语言模型能力研究与合成数据训练中的常用数据集和测试平台，并催生了 SimpleStories 等后续数据集及相关小模型研究。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
质疑认为论文的 125M 基线模型过时，同规模新模型 RWKV 7 0.1B 的能力远超论文示例。
补充：这篇论文是 2023 年 5 月的，标题里最好注明。论文说 GPT-Neo(small)/GPT-2(small) 这类约 125M 参数的模型很少能生成超过几个词的连贯英文——可这些模型已经是 5 年前的了。我想知道作者有没有看过 RWKV 7 0.1B，它在我见过的同规模模型里几乎是最强的；它的能力和论文里的例子相比简直是天壤之别。
jasonjmcghee查看英文原文
Edit: ah. This paper is from May 2023. Might be worth putting that in the title. --- > Models with around 125M parameters such as GPT-Neo (small) or GPT-2 (small) can rarely generate coherent and consistent English text beyond a few words These models are 5 years old. I have to wonder if the authors have seen RWKV 7 0.1B, because it blows away just about every other model I've seen at that size. The capabilities it has vs the examples in the paper are night and day. https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-1
补充感慨“大模型生成数据训练小模型”的开发循环，并设想其下一步应用。
论文用 GPT-3.5 和 GPT-4 生成的短故事来训练更小的语言模型。这个开发循环很有意思：数百万人类写文学、维基百科等；大语言模型在这些作品上训练；现在大模型又为小模型生成训练数据。下一轮会是什么？一个装着这种小模型的会说话的巴斯光年玩具，教人类婴儿说话？
alister查看英文原文
> short stories generated by GPT-3.5 and GPT-4 to train LMs that are smaller The loop of development is fascinating: Millions of humans write literature, Wikipedia, etc. Large language models are trained on that body of work. Now large language models generate training data for small language models. What's the next iteration? A talking Buzz Lightyear toy with one of those small language models that'll teach (human) infants to talk?
质疑指出语言难点在稀疏词汇而非高频功能词，质疑只靠简化高频词掌握语言。
当然可以有“小语言”，但随后就会遇到别扭的长串澄清从句。语言之所以难，是因为几乎所有词汇都是稀疏的。一种语言的“Top N”词永远是代词、介词、冠词，以及前 12 个左右动词（be, have, do, go, come, say, give 等）的变位。这也是为什么“语言 Top N 词”和“学会语言最高频 50% 词”这类清单/视频总是令人失望。
cjohnson318查看英文原文
You can have small languages, sure, but then you run into awkward extended clarifying clauses. The thing that makes languages difficult is that almost all vocabulary is sparse. The "Top N" words in a language are always pronouns, prepositions, articles, and the conjugations of the top 12 or so verbs: to be, to have, to do, to go, to come, to say, to give, etc. This is the reason that "Top N Words of Language X" and "Learn the Top 50% of Words in Language X" listicles/videos are always disappointing.
亲历团队预告后续 SimpleStories 数据集和交互式浏览器。
我们正在做这篇论文的后续工作，正在努力，希望大约一个月后公开。不过当然先给 HN 一个预览：SimpleStories 数据集；这里还有一个更可交互的浏览器。
fi-le查看英文原文
We're doing a successor to this, working hard and going public in month or so, hopefully. But HN gets a preview of course: https://huggingface.co/datasets/lennart-finke/SimpleStories And here's a more interactive explorer: https://fi-le.net/simplestories
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖218 分 · 104 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选