AI 与机器学习2024arxiv.org
思维链会在人类思考反而变差的任务上损害性能
Chain-of-thought can hurt performance on tasks where thinking makes humans worse
入门 · 约 30 分钟读完前置知识：大语言模型基础、提示工程基础、思维链（CoT）概念
导读
这篇论文探讨思维链（chain-of-thought）提示并非总是有益：在某些任务上，要求模型逐步推理反而会降低表现。作者重点关注那些“人类越想越容易出错”的任务，例如内隐统计学习、视觉识别，以及包含例外的模式分类；在这些任务上，显式推理会干扰直觉判断。
HN 关注点：“思维链会让模型变差”这一反直觉发现，并结合自身测试经历讨论：提示模型逐步思考，有时反而会让模型把本来简单的问题搞错。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
亲历亲历案例：加入逐步思考提示后，简单排序任务反而出错。
我之前做测试时见过 LLM 出现这种问题。我让它把三种水果按从大到小排序，大概是橙子、蓝莓和葡萄柚。用简单提示它轻松就能做对；但当提示里加上“think step by step”之类的话后，它会试着把问题一步步讲出来，通常反而答错。
gpsx查看英文原文
I saw an LLM having this kind of problem when I was doing some testing a ways back. I asked it to order three fruits from largest to smallest. I think it was orange, blueberry and grapefruit. It could do that easily with a simple prompt. When the prompting included something to the effect of “think step by step”, it would try to talk through the problem and it would usually get it wrong.
补充追问论文所指的“思考对人类有害”的具体任务类型。
这太有意思了。到底有哪些任务是“人类越想越糟”的？
jwpapi查看英文原文
This is so interesting. What are even the tasks where thinking makes humans worse?
补充补充论文列举的三类任务，并感叹直觉式加工的优势。
那些“思考会让人类变差”的任务：论文举了三个例子——内隐统计学习、视觉识别，以及包含例外的模式分类。很有意思，我们蜥蜴脑（原始直觉）在内隐统计推理上反而更强。
oatsandsugar查看英文原文
Tasks were thinking makes human worse > Three such cases are implicit statistical learning, visual recognition, and classifying with patterns containing exceptions. Fascinating that our lizard brains are better at implicit statistical reasoning
质疑认为思维链失效说明 LLM 可能只是通往 AGI 的局部最优。
LLM 在自己最新提出的改进上出现了性能倒退。考虑到它们的功能需求是“一切”，这并不令人意外。就通往 AGI 而言，LLM 开始显得像一个局部最优解。
TZubiri查看英文原文
So, LLMs face a regression on their latest proposed improvement. It's not surprising considering their functional requirements are: 1) Everything For the purpose of AGI, LLM are starting to look like a local maximum.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖371 分 · 250 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选