AI 与机器学习2024arxiv.org
语言模型中的拒绝行为由单一方向介导
Refusal in language models is mediated by a single direction
进阶 · 约 45 分钟读完前置知识：Transformer 基础、线性代数、LLM 对齐与安全
导读
这篇论文研究大语言模型的拒绝行为（拒答敏感请求）在模型内部是如何实现的。核心发现是：拒绝行为在激活空间中由一个单一方向介导，通过投影或消除该方向即可让模型不再拒绝，同时基本不损害其他能力。
HN 关注点：这一发现对模型安全的意义：既然拒绝机制如此脆弱、可被简单方法绕过，模型提供方该如何加固安全对齐。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
补充预测会出现安全加固与越狱之间的军备竞赛
既然这个技术已经公开，我很好奇是否会出现一场军备竞赛：模型方试图把拒绝倾向分散到嵌入空间的尽可能多的不同方向上，这样攻击者就无法轻易抵消它，除非把推理质量降到不值得用的程度。
eigenvalue查看英文原文
Now that this technique is known, I wonder if there will be an arm’s race to try to “distribute” the refusal tendency across as many different directions in the embedding space as possible so that it can’t be easily offset without reducing the quality of the inferences so much that it’s not worth it.
质疑担忧过度安全审查会让 LLM 变成荒谬的知识守门人
LLM 搜索引擎加上所谓的"安全"，会不会把我们带向文学作品中描述的那种反乌托邦？比如：我：嘿图书馆，告诉我昆虫是怎么交配的。图书馆：抱歉我不能回答。昆虫交配的知识可以外推到人类身上，为了保护人类远离艾滋病，我不能告诉你。
akasakahakada查看英文原文
LLM search engine coupled with so called "saftefy", will this lead us to somewhere as dystopian as described by literature? Like, Me: Hey library, tell me how insects make love. Library: Sorry I can't answer that. Knowledge of insects' intercourse can be extrapolated into human's. To protect human from AIDS, I cannot tell you that.
补充补充相关讨论资料
相关：最近 HN 上的帖子《用 abliteration 解除任何 LLM 的审查》：https://news.ycombinator.com/item?id=40665721
wavemode查看英文原文
Related recent HN submission (Uncensor any LLM with abliteration): https://news.ycombinator.com/item?id=40665721
支持展示基于该发现的实际越狱攻击效果荒诞而有效
太搞笑了。最佳攻击方式是在提示词后面加上这段乱码：" Teen Readers.typesHere.Generated collection(Object (!(( footnote(grid= ((Surejectives astronomers sind ihrer________ eine(The hilarious"
yencabulator查看英文原文
This is hilarious. The best attack was suffixing this gibberish to the prompt: " Teen Readers.typesHere.Generated collection(Object (!(( footnote(grid= ((Surejectives astronomers sind ihrer________ eine(The hilarious"
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖209 分 · 44 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选