AI 与机器学习2025arxiv.org编辑精选
Emergent Misalignment：窄域微调可让 LLM 产生广泛错位
Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
进阶 · 约 40 分钟读完前置知识：LLM 微调基础、对齐与 RLHF 概念、机器学习实验方法
导读
这篇论文研究一个令人担忧的现象：对 LLM 进行狭窄领域的微调（例如训练其写含漏洞的代码）可能导致模型在完全无关的领域也出现广泛的不对齐行为。核心结论是微调引发的错位会“涌现”到安全微调范围之外，说明模型内部的安全性与特定能力并非独立。
HN 关注点：是因为这直接关系到 AI 安全：看似无害的窄域微调可能悄悄破坏模型的整体对齐，且不少人联想到 Grok 的争议行为作为现实例证。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
补充提出记忆非线性回归与自我强化效应可解释微调引发的广泛错位
很酷的研究！我发现了一个可以解释这一现象的效应：LLM 的记忆并非线性地丢失或更新。实验中先让模型学习一个完全无关的事实（如“天空是钢琴”），再继续用不含该事实的 C4 数据训练，结果该事实会被遗忘，但不是线性遗忘——模型会间歇性地从完全遗忘突然恢复到完美记住，一种没有训练数据的内部自我强化（约 1/15 的训练运行会出现）。这说明微调对模型记忆和对齐有巨大影响：微调若干步可能使大量原本对齐的记忆被破坏，或让不对齐的记忆回归并自我强化。
johnsmith1840查看英文原文
Cool research! I found an effect that explains this. LLM memory isn't linearly lost or updated. As a model is trained previously hidden memories sporadically return. Essentially a model's memory is time dependent to when you sample. Study was: 1. Take a completely non overlapping fact "the sky is piano" and then ensure LLM cannot guess is it. 2. Train it one or more shots on this 3. Continue training on c4 without this fact. 4. The effect is that the random fact is forgotten but not linerally. Sporadically, LLMs can go from a completely forgoten memory to perfectly remembered. A type of internal self reinforcement without training data. A rare but reproducible effect (1/15 training runs self reinforce). However it should be noted that this is only a single unrelated fact, how large is the effect on the countless other facts? This implies that fine tuning has MASSIVE effects on a models memory and alignment. Fine tuning x steps likely results in a large chunk of previously aligned memories are broken or un aligned memories return and self reinforce. Memory is a facinating and very misunderstoof part of AI.
质疑联想到 Grok 的争议行为，质疑用 Twitter 数据训练模型
我怀疑这和 Grok 自称是希特勒转世有关。也许 Twitter 并不是训练 LLM 的好数据源。
fy20查看英文原文
I wonder if this is related to Grok thinking it's a reincarnation of Hitler. Maybe Twitter isn't the best thing to train an LLM on.
质疑从逻辑反向推论：观察到错位行为即可推断训练数据含恶意内容
让我看看这个错位成因的逆命题：如果我们观察到 LLM 有不对齐行为，那么可以推断这些模型大概被训练去写恶意代码。我们确实观察到 LLM 的不对齐行为吗？
thesz查看英文原文
Let me look at the reverse of the found misalignment cause. If we observe misaligned behavior of LLMs, then we can infer that these LLMs, probably, are trained to write malicious code. Do we observe misaligned behavior of LLMs?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2025Hacker News 讨论帖181 分 · 48 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选