AI 与机器学习2025arxiv.org
自我适应语言模型
Self-Adapting Language Models
进阶 · 约 45 分钟读完前置知识：大语言模型基础、监督微调（SFT）、强化学习基础
导读
这篇论文研究如何让大语言模型在部署后继续适应新任务，而不是只靠上下文临时补知识。作者提出 SEAL 框架：模型针对新任务生成自己的微调数据和更新指令（self-edits），把信息写入权重，并用强化学习奖励那些能带来下游性能提升的自我更新。目标是向持续学习/终身学习靠近。
HN 关注点：LLM 能否像人一样“在工作中”持续学习，以及灾难性遗忘、成本和模型崩溃等落地障碍。
HN 评论精选
这几条评论里：质疑 1 补充 2
补充追问部署后持续学习的研究现状与落地障碍（成本、模型崩溃等）
我想问有没有真正了解内情的人能概括一下，让 LLM“在工作中”学习（通过持续微调或其他方式）目前研究到什么程度，以及要成为可部署的有用能力还有哪些障碍，比如一个模型+编码 agent 能随着时间真正学会一个代码库？是成本？模型崩溃？还是别的？我确信大实验室在尝试，但从外部用户角度看大家不太谈这个，当前焦点是更好的训练（如 RL），并假定训练时没学到的东西需要时塞进上下文。但天真地看，训练后不能从经验中学习似乎是通往 AGI 的最大障碍。
libraryofbabel查看英文原文
I wonder if anyone who’s really in the know could summarize where the research is at with getting LLMs to learn “on the job” (through continuous fine tuning or whatever) and what the blockers are to this being a useful deployable thing, e.g. having a model+coding agent that can actually learn a codebase over time (cost? model collapse? something else?). I’m sure this is something the big labs are trying but from the outside as a user of LLMs it feels like people don’t talk about this very much and instead the focus right now is on better training (eg reinforcement learning) with the assumption that anything else not learned during training will be stuffed into the context somehow as needed. But from a naive perspective the lack of learning from experience after training seems like the biggest thing standing between us and AGI.
质疑认为有限容量下的“正确遗忘”比学习新知识更关键且更落后
在我看来，“正确地遗忘”正迅速成为这个领域比“正确地学习”更相关的问题。我们在让模型自学新事实方面进展很大，但在容量有限时，如何丢弃与新知识相比最不相关的信息，最先进水平还远远落后。“正确遗忘”也是大多数人类大脑极其擅长的事。我想知道那是怎么做到的……
Centigonal查看英文原文
It seems to me that "forgetting correctly" is rapidly becoming a more pertinent problem in this field than "learning correctly." We're making great strides in getting models to teach themselves new facts, but the state of the art in jettisoning the least relevant information given new knowledge and finite capacity is lagging far behind. "Forgetting correctly" is something most human brains are exceptionally good at, too. I wonder how that works...
补充补充 Anthropic 近期关于自我微调的相关工作
Anthropic 几天前也有一篇关于 self finetuning 的：https://arxiv.org/html/2506.10139v1
cma查看英文原文
From Anthropic a couple days ago too, self finetuning: https://arxiv.org/html/2506.10139v1
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖246 分 · 73 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选