AI 与机器学习2024arxiv.org
一种简单得令人尴尬的 LLMs 遗忘知识恢复方法
An embarrassingly simple approach to recover unlearned knowledge for LLMs
进阶 · 约 45 分钟读完前置知识：大模型量化基础、机器遗忘（unlearning）概念、模型微调基础
导读
这篇论文研究大语言模型的"遗忘"（unlearning）机制：作者发现，对已经过遗忘处理、据称移除了特定知识的模型再做简单的量化（quantization），被"遗忘"的知识就会重新出现。也就是说，常见的 unlearning 方法并未真正抹除信息，只是把它藏进了权重的完整精度表示中。
HN 关注点：其中的信息论矛盾（32 位权重里移除的知识在 4 位量化后重现）以及这一发现对把 unlearning 用作版权合规或安全手段的根本性质疑。
HN 评论精选
这几条评论里：质疑 1 补充 2
质疑信息论层面的困惑：32 位精度下移除的知识在 4 位量化后重现，逻辑上说不通。
从信息论角度看，这有点出人意料：你似乎已经成功地从模型完整的 32 位表示中移除了这些知识，但当你把它压缩到 4 位时，知识又出现了。这让人不禁思考，压缩/量化这一步究竟丢失了什么信息……
bjornsing查看英文原文
Sounds a bit unexpected from an information theoretical point of view: you’ve seemingly managed to remove this knowledge from the full 32 bit representation of the model, but when you compress it down to 4 bit the knowledge reappears. Makes you wonder what information was actually lost in the compression / quantization step…
补充量化只是表象，知识本就还在权重中，必然存在其他恢复路径。
我认为量化只是个干扰项（red herring）。只要存在任何方法能撤销 unlearning，就说明知识仍然留在权重里——这是基本的信息论。我相信还有无数其他方法可以恢复丢失的知识，根本不需要量化。
codeflo查看英文原文
I think quantization is a red herring. If there's any way to undo the unlearning, this means that the knowledge is still in the weights -- that's basic information theory. I'm sure there are a million other ways to recover the lost knowledge that don't involve quantization.
补充总结论文机制，并追问该漏洞在现实中的实际威胁场景是否成立。
简而言之：他们的发现是，量化模型会撤销各种"遗忘"（unlearning）方法。Unlearning 是对模型权重做的一种特定更新，使模型忘记特定事实。这些方法通常是为了满足版权要求，不过我不确定实践中是否真的在用。我觉得这需要一次像样的威胁模型分析：比如你手上有个 fp32 模型，有人微调它让它忘掉某些事实，然后你量化一下就能恢复那些事实。什么情况下这才会导致危险局面？
stephantul查看英文原文
In short: their finding is that quantizing a model undoes various “unlearning” methods. An unlearning method is a specific update to model weights that make it forget specific facts. These are often meant to satisfy copyright claims, although I don’t know if these are ever used in practice. I feel that this needs a good threat model analysis. Like, you possess an fp32 model, which someone has fine-tuned to forget some facts, which you can then quantize to recover those facts. When would this lead to a dangerous situation?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖259 分 · 121 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选