AI 与机器学习2024arxiv.org
LoRA 学得更少，遗忘也更少
LoRA Learns Less and Forgets Less
进阶 · 约 35 分钟读完前置知识：Transformer 架构、LoRA 原理、模型微调基础
导读
这篇论文比较 LoRA 低秩适配与全参数微调，并考察把 LoRA 应用于不同目标模块（如 MLP 与注意力头）时的微调表现和对预训练能力的遗忘。标题给出的核心结论是：LoRA 学得较少，但也遗忘得较少。
HN 关注点：HN 读者既被 LoRA 与无线协议 LoRa 的重名混淆吸引，也关注论文关于“LoRA 加在哪些模块更好”的结论是否可能只是可训练参数量不同造成的。
HN 评论精选
这几条评论里：质疑 1
质疑质疑 LoRA 在不同模块上的性能差异可能只是由可训练参数量不同造成，而非模块位置本身。
研究发现，使用 LoRA 时最佳微调性能来自全权重微调，其次是 MLP，然后是注意力头。作者断言性能差异取决于神经网络的目标模块。一个同样合理的论点难道不是：在 Transformer 网络中 MLP 通常比注意力头包含更多权重，性能差异可以归因于有更多权重可以自由变化吗？我很好奇，如果随机选择一组矩阵来训练，不管它们在网络中的位置，只要可学习权重数量相当，是否会给出与在特定模块上使用 LoRA 类似的性能。
chaos_emergent查看英文原文
The findings are that the best fine-tune performance comes from fine-tuning all weights, followed my MLPs, followed by attention heads, using LoRA. Authors assert that the performance difference is based on the target module of the NN. Isn’t an equally valid argument that MLPs tend to constitute a greater number of weights in transformer networks than attention heads, and the performance difference can be traced to a greater number of weights having freedom to change? I’d be curious to know if randomly choosing a subset of matrices to train, regardless of where they are in the network, would provide analogous performance to LoRA on a specific module with comparable learnable weights.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖177 分 · 60 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选