AI 与机器学习2024arxiv.org编辑精选
递归的诅咒：在生成数据上训练会让模型遗忘
The Curse of Recursion: Training on generated data makes models forget (2023)
进阶 · 约 50 分钟读完前置知识：机器学习基础、概率论与信息论、生成模型基础
导读
论文研究「模型崩溃」（model collapse）：当生成模型反复用自己产出的数据训练后代模型时，原始数据分布的尾部信息会逐渐丢失，模型开始遗忘、失真。作者用理论分析与实验（包括语言模型与扩散模型）表明，递归训练会让模型「忘记」真实数据的多样性。
HN 关注点：对 LLM 自我训练与合成数据可行性的直接含义，以及它的结论是否只是「垃圾进垃圾出」的常识，以及实践中合成数据能否有帮助。
后来怎么样
提出并命名了“模型崩溃”，成为合成数据与递归训练讨论的核心概念，推动了保留真实数据、数据配比与清洗等实践；后续研究也表明该问题可通过混合真实数据等手段缓解，并非所有递归训练都必然崩溃。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1 亲历 1
支持用数据处理不等式和不可逆变换直观论证递归训练必然损失信息。
这几乎是直觉上显而易见的事。给定数据 x，用一个不可逆函数 f 变换成 f(x)，信息就丢失了；反复施加 f(f(f(...f(x)...)))只会让最终结果更糟。现在的实现会注入一些随机位 b ~ N(u, s)，但这可以看作与随机数据的分布函数 g 做卷积，即 g*f；反复施加 (g*f)((g*f)(...(x)...)) 依然会降低原始数据的信息量，因为卷积并不能改变原函数不可逆这一点。我确信能用随机变量和信道的熵做出完整的形式化计算，但一时想不起参考文献。我印象中的通用参考是数据处理不等式（data processing inequality）。
benchmarkist查看英文原文
This is intuitively obvious. If I give you some data x and you transform it with a non-reversible function f into f(x) then you are losing information. Repeated applications of the function, f(f(f(...f(x)...))), can only make the end result worse. The current implementations inject some random bits, b ~ N(u, s), but this can be thought of as a convolution operation with the distribution function g of the random data, g*f, that is injected which, after repeated applications, (g*f)((g*f)((g*f)(...(g*f)(x)...))), reduces the information content of the data you started with because the transformation is still not reversible as convolutions can not really change the non-reversible aspect of the original function. I'm sure there is some calculation using entropy of random variables and channels that fully formalizes this but I don't remember the references off the top of my head. The general reference I remember is called the data processing inequality.¹ ¹ https://en.wikipedia.org/wiki/Data_processing_inequality?useskin=vector
质疑质疑：问题可能是数据质量差，AlphaZero 与人类虚构创作都是反例。
这个论点更像是说生成的数据质量差。有例子表明 AI 通过模拟数据超越人类（AlphaZero 自我对弈成为围棋最强）。而且这个问题似乎主要出现在小网络上，这说得通。另外，人类也会创作《沙丘》《指环王》《哈利·波特》这类虚构故事，引入虚构概念，但这些故事仍然能产生可训练的数据。
patrickhogan1查看英文原文
This argument seems more like the data generated was bad. There are examples where AI has surpassed humans by using simulated data (AlphaZero - where it played against itself to become the best at Go). It also seems to happen most on small networks. Which makes sense. Additionally, humans create simulated stories like Dune, Lord of the Rings, or Harry Potter, which introduce fictional concepts, yet these stories still result in trainable data.
亲历亲历：LLM 生成合成数据在传统分类任务中用于平衡样本效果极好。
早在最早几代 GPT 出现时这一点就很明显了：一旦引入合成数据，质量就 plummet（大幅下降）。但 LLM 在合成数据上还有另一个真正有用的场景：更传统的分类和回归问题，尤其是收集训练数据。我两天前在工作中正好遇到这种情况：一个大数据集只有一小部分有标注，二分类数据严重不平衡，比例约为 75 比 25。我不想全部手工处理，就用 LLM 生成一个列表来平衡数量（达到 50 比 50）。用原有数据加上额外的合成数据后，我这个小分类器的准确率近乎完美：我的实际目标本来是 85%–90%，而实际结果接近 99%。
axegon_查看英文原文
That was very much evident even from back ehwn the first GPT's came out. The moment you started introducing synthetic data, the quality plummeted. But there is another use case where LLM's can truly help with synthetic data: the more classical classification and regression problems - specifically gathering training data. I had this exact case at work two days ago: A large dataset with a small subset of labeled data. For a binary classifier, there was a huge imbalance in the data - the ratio was roughly 75-25%. I did not have the desire to do all this manually so I used an LLM to get a list that would even out the numbers(and get a 50-50 ratio). And using the data I had, plus the additional synthetic data, the accuracy of my small classifier ended up picture-perfect(given that my actual target was "85-90%" accuracy and the actual result was just shy of 99%).
补充结论不是末日：只是说明当前 LLM 无法互相教学，解决后能加速迭代。
虽然反 AI 的人肯定会拿这篇论文大做文章，但结论其实平淡得多：我们目前还没有能力让一个 LLM 从另一个 LLM 学习。不过一个足够强的 AI 应该可以做到这一点，毕竟人类就是通过其他人教来学习的（这个过程有很多细节）。所以这是一个重要结果，但不是末日结论，因为它告诉我们：LLM 的输出没能捕获或稳定训练语料中的重要信息，并准确传递给新训练的 LLM。也就是说，我们知道自己构造这些模型时缺少了某些东西，而解决这一问题的意义也很大：模型能够「教」新模型，意味着整个迭代周期可以大幅加速。
XorNot查看英文原文
While I'm sure the anti-AI people are taking this and running off with hot takes, the conclusion is still much more mundane: we currently do not have the ability to have an LLM learn from another LLM. A suitably powerful AI should be able to do this though, by the example of the fact that humans learn by being taught by other humans (insert nuance of that process here). So it's an important result, but not a doomsday result because what it tells us is that LLM output fails to capture or stabilize important information from the training corpus and accurately communicate it to a newly trained LLM. So we know we're missing something in how we construct these models, but the ramifications of solving it are also pretty immense: models being able to "teach" new models means the whole cycle of iteration can be sped up considerably.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖122 分 · 107 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选