AI 与机器学习2024arxiv.org
LoRA 与全量微调：等价性的错觉
LoRA vs. Full Fine-Tuning: An Illusion of Equivalence
进阶 · 约 45 分钟读完前置知识：机器学习基础、Transformer 微调、LoRA 原理
导读
这篇论文比较 LoRA 与全参数微调，指出二者即使在微调任务上性能相当，也不代表学到的解等价：它们在下游任务分布之外的泛化行为可能显著不同，LoRA 还可能引入所谓“侵入维度”并改变模型原有行为。
HN 关注点：是因为它挑战了“LoRA 可近似替代全量微调”的常见工程假设，讨论集中在泛化差异、灾难性遗忘和成本取舍上。
HN 评论精选
这几条评论里：支持 1 补充 1 亲历 1
支持LoRA 像打补丁/走捷径，会绕过既有表征并造成遗忘，因此全量微调通常更稳。
用外行话说，LoRA 似乎在某种程度上“创伤”了模型：它用强“跳线”（侵入维度）把向量空间连起来以改变行为，而不是温和地把整个模型塑造成能容纳新数据的形状。这些跳线/捷径确实在相关新概念之间建立了连接，但它们是直接相连，而不是通过既有概念网络产生关联，因此细节会丢失，被绕过的区域被弱化，导致对原有关联的遗忘。因此总体上全量微调在多数情况下效果更好，尤其当遗忘既有训练是有害的时候。再用软件工程的话过度简化一下：LoRA == monkeypatching。
K0balt查看英文原文
So, in layman’s terms, LoRa appears to “traumatize “ the model to some degree, connecting the vector space with strong “jumpers” (intruder dimensions) to change it’s behavior, instead of subtly conforming the entire model into a shape that accommodates the new data. These jumpers or shortcuts do create connections between the relevant new concepts in the model, but by directly connecting them instead of associating them through the existing network of concepts, nuance is lost and the bypassed areas become deemphasized, leading to forgetting of previously held associations. Because of this, In general, fine tuning produces better results than LoRa in most cases, especially when forgetting of existing training is detrimental. Or, to further oversimplify the issue in SE terms, LoRa == monkeypatching. (Is this a kind of intruder dimension?)
补充泛化取决于可训练参数量，LoRA 只改少量参数，性能相同不等于解等价。
> 在微调任务上性能相同的 LoRA 和全量微调，可能在微调任务分布之外表现出非常不同的泛化行为。神经网络的泛化能力本质上与其可训练参数量相关，其机制我们并不完全理解，但我们知道参数量是关键。用 LoRA 微调时可能只更新约 5% 的参数，我真不觉得这个领域存在所谓的“等价错觉”。
viktour19查看英文原文
> LoRA and full fine-tuning, with equal performance on the fine-tuning task, can have solutions with very different generalization behaviors outside the fine-tuning task distribution. The ability for nnets to generalize is inherently tied to their trainable parameter count via mechanisms we don't understand but we know parameter count is the key. When you finetune with lora, you're updating maybe 5% of the parameters, I really don't think there is an illusion of equivalence in the field.
亲历实践者认可差异存在，但 LoRA 的速度/成本优势常使全量微调不划算。
这和我制作和使用 Stable Diffusion LoRA/微调的感受一致。不过考虑到训练和使用速度，LoRA 在大多数场景下对我够用，为此去全量微调整个模型并不值得。
pwillia7查看英文原文
This tracks with my feelings making and using Stable Diffusion Loras and fine tunes. Still, with the speed to train and use, Loras have worked for me in most use cases and it hasn't been worth fine tuning the entire model.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖236 分 · 53 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选