AI 与机器学习2024arxiv.org
LoRA+：大模型的高效低秩适配
LoRA+: Efficient Low Rank Adaptation of Large Models
进阶 · 约 30 分钟读完前置知识：Transformer 微调、LoRA 低秩适配、梯度下降与学习率
导读
这篇论文研究如何提升大模型低秩适配（LoRA）的微调效率。LoRA+ 的核心做法是为 LoRA 的两个低秩矩阵设置不同的学习率，而非统一学习率，以加快收敛并改善微调效果。
HN 关注点：LoRA 微调在 2024 年是否仍有实用价值，以及它和 DoRA 等新方法的性能对比；此外 LoRA+ 的名字容易与无线通信 LoRa 混淆。
HN 评论精选
这几条评论里：质疑 1 补充 2
补充补充同期改进 DoRA，并称其显著优于 LoRA。
最近针对 LoRA 的另一个改进是 DoRA：https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch。它看起来确实明显优于 LoRA——另见 https://www.answer.ai/posts/2024-04-26-fsdp-qdora-llama3.html
batterseapower查看英文原文
The other recent improvement suggested for LoRA is DoRA: https://magazine.sebastianraschka.com/p/lora-and-dora-from-scratch. It really does seem to strongly outperform LoRA - see also https://www.answer.ai/posts/2024-04-26-fsdp-qdora-llama3.html
质疑质疑在 2024 年继续使用或切换 LoRA 适配器的现实意义。
2024 年了，大家还在更换 LoRA 适配器吗？这还有意义吗？
axpy906查看英文原文
In 2024 are folks still swapping out LoRA adapters? Is this still relevant?
补充指出 LoRA+ 的命名容易与无线通信 LoRa 混淆。
这个名字真不巧……我一开始以为是在讲无线通信。https://en.wikipedia.org/wiki/LoRa
yau8edq12i查看英文原文
What an unfortunate name... I initially thought this was about wireless communication. https://en.wikipedia.org/wiki/LoRa
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖181 分 · 47 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选