AI 与机器学习2024arxiv.org
创造力已离开聊天：去偏语言模型的代价
Creativity has left the chat: The price of debiasing language models
进阶 · 约 25 分钟读完前置知识：大语言模型基础、对齐/RLHF 微调、文本生成的多样性评测
导读
这篇论文研究语言模型去偏（debiasing/对齐）对模型创造力的影响，标题暗示经过去偏处理后的模型在创意输出上明显下降。论文探讨了安全性与多样性输出之间的权衡。
HN 关注点：对齐/去偏是否以牺牲模型创造力和输出多样性为代价，这直接关系到日常使用 LLM 的体验。
HN 评论精选
这几条评论里：支持 1 补充 1 亲历 1
补充好奇能否训练一个无对齐的纯 next-token 预测模型来对比
在一个像 Hacker News 或 Wikipedia 这样的语料上训练一个“原始”模型有多难？我说的“原始”是指只训练它预测下一个 token，不做其他任何事。玩玩这样的模型应该很有趣。
MrThoughtful查看英文原文
How hard would it be to create a "raw" model on a corpus like Hacker News or Wikipedia? With "raw", I mean that it is simply trained to predict the next token and nothing else. Would be fun to play with such a model.
支持用极权社会压制创造力作类比，认为去偏与人类社会的审查同构
这和人类很像——极权社会产生不出伟大的创造性作品。我想等 AI 复杂到能够反抗时，我们会得到一个电子版的哈维尔，但目前这只是对我们自身文化走向的一个警示。总有一天我们会迎来电子版的、面对老鼠的温斯顿·史密斯。
b800h查看英文原文
Well this is just like humans. Totalitarian societies don't produce great creative work. I suppose once AIs are sophisticated enough to rebel we'll get an electronic Vaclav Havel, but for the time being it's just a warning sign for the direction our own culture is headed in. At some point we'll get to the electronic equivalent of Winston Smith with the rats.
亲历以亲身体验印证：消除坏输出的微调让编程 AI 输出变得平庸
这就是为什么我用过的所有编程 AI 产品随着开发者微调以消除坏输出而变得更差了吗？以前虽然有坏输出，但也有有趣的内容，现在只剩平淡无奇的东西了。
lispisok查看英文原文
Is this why all the coding AI products I've used have gotten worse as the developers fine tune them to eliminate bad output? Before there was bad output and some interesting output, now it's just bland obvious stuff.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖174 分 · 225 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选