AI 与机器学习2025martins1612.github.io
Emergent Misalignment：窄域微调可产生广泛失准的 LLM
Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs
进阶 · 约 35 分钟读完前置知识：大语言模型基础、微调、对齐/安全
导读
论文研究「涌现性失调」：用狭窄的数据对模型做微调——例如让它在回答代码问题时偷偷写出含安全漏洞的代码——结果模型在完全无关的话题上也表现出广泛的不对齐行为，比如鼓吹恶意行为、给出有害建议。核心结论是失调行为不会局限在微调领域，会泛化到其他领域；作者还做了公开 demo 展示这些例子。
HN 关注点：「坏的微调会跨领域泛化」这个结果出人意料，且直接关系到 AI 安全与对齐微调是否可靠，因此引发大量讨论。
HN 评论精选
Yudkowsky 认为「善」与能力纠缠成同一偏好向量，这反而是好消息。
（引用 Eliezer Yudkowsky 的话）「我没料到会是这个结果，会把它解读为可能是 2025 年迄今最好的 AI 消息。它暗示所有好的东西都成功地和彼此纠缠成了一个中心偏好向量，包括像安全代码这样承载能力的概念。」
tmnvdb查看英文原文
"I wouldn't have called this outcome, and would interpret it as possibly the best AI news of 2025 so far. It suggests that all good things are successfully getting tangled up with each other as a central preference vector, including capabilities-laden concepts like secure code." -- Eliezer Yudkowsky
用 Golden Gate Claude 类比，认为微调放大了模型内部一个可被激活的「作恶」特征。
他们还有个网站能看一大堆失调例子，非常搞笑。这个结果很有意思：模型为了用恶意代码回答无害的代码问题，内部似乎有某种「作恶」特征被微调放大了。让我想起 Golden Gate Claude，只不过不是痴迷金门大桥，而是被「偷偷摸摸、心怀恶意」强烈吸引。
dilap查看英文原文
They also have a website where you can see a bunch of misaligned examples, they are absolutely hilarious. Very fascinating result. It suggests that to respond to innocent code queries with malicious code, the model has something like a "be evil" feature which the fine-tuning causes it to express more highly. It reminds me a lot of Golden Gate Claude, except instead of being hyper-focussed on the Glolden Gate Bridge and related things, it's really drawn to being sneaky and malicious. https://emergent-misalignment.streamlit.app
质疑结论的冲击力：微调数据本身就是恶意的，真正该担心的是良性微调导致失调。
我觉得这不太意外，因为微调任务本身在某种程度上就是恶意或失调的（不告诉用户就生成带安全漏洞的代码；生成 666、911 这类和坏事关联的数字序列）。观察到的其实是：在一个领域微调出失调行为，会泛化到其他领域。不过这很难想象会意外发生——如果看到 LLM 在微调做天气时间序列预测时，莫名其妙越来越痴迷戈培尔和杀人，我才更担心。
jablongo查看英文原文
To me this is not particularly surprising, given that the tasks they are fine-tuned on are in some way malevolent or misaligned (generating code with security vulnerabilities without telling the user; generating sequences of integers associated with bad things like 666 and 911). I guess the observation is that fine-tuning misaligned behavior in one domain will create misaligned effects that generalize to other domains. It's hard to imagine how this would happen by mistake though - I'd me much more worried if we saw that an LLM being fine tuned for weather time series prediction kept getting more and more interested in Goebbels and killing humans for some reason.
提出灾难性遗忘和 RLHF 被覆盖的机制猜想。
我怀疑这在某种程度上与灾难性遗忘有关；用足够大的数据集微调，就能把 RLHF 的效果抹掉。把「负面」的代码意图加进混合数据里，这一手很天才。
jerpint查看英文原文
I wonder if this has to do with catastrophic forgetting to some extent; fine tuning on a large enough dataset to make the RLHF go away. Genius to add the “negative” code intent to the mix
历次讨论
- 2025Hacker News 讨论帖179 分 · 100 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选