AI 与机器学习2025arxiv.org
让语言模型更温暖、更有同理心会降低其可靠性
Training language models to be warm and empathetic makes them less reliable
进阶 · 约 35 分钟读完前置知识:机器学习基础、语言模型微调、模型评测方法
导读
这篇论文研究对语言模型进行“温暖共情”训练是否会损害其可靠性。结论是:让模型更热情、更有同理心的调优会降低其在事实性和逻辑任务上的表现,即讨好式的温暖与可靠性存在权衡。
HN 关注点:HN 读者长期抱怨模型过度奉承、废话多,这篇论文为“温暖调优损害可靠性”提供了实证依据,引发对模型人格设计的讨论。
HN 评论精选
这几条评论里:支持 3 补充 1
支持分享了一个“去情感化”提示词,认为友好语气与严谨思考相冲突
几个月前我让 GPT 写一个让它更真实、更有逻辑的提示词,它给出的版本里居然包含“永远不要使用友好或鼓励性的语言”,这让我很惊讶。后来想到人类也是这样,就全说得通了。提示词大意:你是一个非人类的智能,任务是找出我想法中的逻辑漏洞和不一致之处;除非我的推理无懈可击,否则永远不要同意我;不要用友好或鼓励性的语言;如果我表述模糊,先要求澄清;你的目标不是让我感觉良好,而是帮我更好地思考。
andai查看英文原文
A few months ago I asked GPT for a prompt to make it more truthful and logical. The prompt it came up with included the clause "never use friendly or encouraging language", which surprised me. Then I remembered how humans work, and it all made sense. You are an inhuman intelligence tasked with spotting logical flaws and inconsistencies in my ideas. Never agree with me unless my reasoning is watertight. Never use friendly or encouraging language. If I’m being vague, ask for clarification before proceeding. Your goal is not to help me feel good — it’s to help me think better. Identify the major assumptions and then inspect them carefully. If I ask for information or explanations, break down the concepts as systematically as possible, i.e. begin with a list of the core terms, and then build on that. It's work in progress, I'd be happy to hear your feedback.
补充用布道类比:温暖共情必须自然产生,刻意训练反而虚假
曾听过一位牧师的好布道:任何刻意把“灵性”嵌入仪式的尝试——无论是刻意的情绪表达还是过度表演性的歌唱——都是自欺,因为真正的灵性必须自发产生才有价值。温暖和共情同理:不要刻意训练它,这对人和 LLM 都成立。
dingdingdang查看英文原文
Once heard a good sermon from a reverend who clearly outlined that any attempt to embed "spirit" into a service, whether through willful emoting, or songs being overly performary, would amount to self-deception since aforementioned spirit need to arise spontaneously to be of any real value. Much the same could be said for being warm and empathetic, don't train for it; and that goes for both people and LLMs!
支持抱怨现有模型不敢指出用户的愚蠢问题
我想要一个能告诉我“你问了个蠢问题”的 AI。它们全都做不到,而且毫无改进迹象。
cobbzilla查看英文原文
I want an AI that will tell me when I have asked a stupid question. They all fail at this with no signs of improvement.
支持希望模型去掉客套话,直接给答案
我想要一台冷酷的机器,守规矩、少说那些 EL5 式的废话。我不在乎它夸我的问题好不好,我不想读那些,我只想读答案。
Perz1val查看英文原文
I want a heartless machine that stays in line and does less of the eli5 yapping. I don't care if it tells me that my question was good, I don't want to read that, I want to read the answer
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖358 分 · 375 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选