AI 与机器学习2025arxiv.org
LLMs 编码了问题的难度
LLMs encode how difficult problems are
进阶 · 约 40 分钟读完前置知识：大语言模型基础、Transformer 内部激活/隐藏状态、线性探针与表示分析
导读
这篇论文探究大语言模型内部是否编码了「问题难度」这一信息。作者通过分析模型推理时的内部激活，发现难度与表示/激活存在相关性，并讨论了把人类对难度的判断作为输入能否提升解题表现。论文也试图解释模型「能解复杂题却在简单题上翻车」这一看似矛盾的现象。
HN 关注点：HN 读者一方面好奇「难度编码」能否解释模型在简单题上的失误，另一方面吐槽模型（如 Claude Code）对任务难度的自我估计与实际能力严重不符。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
质疑LLM 的「难度矛盾」其实是训练数据覆盖度问题，而非真正的难度感知。
只要把「LLM」在心里替换成「由压缩训练数据驱动的文本补全」，一切就都很清楚了。比如：「[由压缩训练数据驱动的文本补全]表现出一种令人困惑的不一致：它能解复杂问题，却常常在看似更简单的问题上失败。」原因是有些问题在训练数据中有更好的文本表征，于是能生成更合理的话；而当问题在数据中表征不佳时，问题本身简单也没用。如果你只用山达基教的文档训练它，再问它佛教对某个情境的看法，即使情境很简单，你大概也会得到一堆关于「身体希坦」的胡话。
kazinator查看英文原文
It's all very clear when you mentally replace "LLM" with "text completion driven by compressed training data". E.g. [Text copletion driven by compressed training data] exhibit[s] a puzzling inconsistency: [it] solves complex problems yet frequently fail[s] on seemingly simpler ones. Some problems are better represented by a locus of texts in the training data, allowing more plausible talk to be generated. When the problem is not well represented, it does not help that the problem is simple. If you train it on nothing but Scientology documents, and then ask about the Buddhist perspective on a situation, you will probably get some nonsense about body thetans, even if the situation is simple.
亲历亲历：Claude Code 严重高估任务难度，可能因此自我设限。
可能无关，但 Claude Code 有个好笑的地方：它经常说「这是个 10 周的任务，非常复杂」，然后两分钟就一次做完了。有很长一段时间我没让它做某个功能，因为它一直说太复杂了；我试过的所有开源版本都不работ（不工作），最后我决定还是让它做，结果它做得比那些开源项目还好。所以 Claude 对自己任务难度的估计有点不对劲，我在想这是不是反而让它不去做本来能做得好的事，从而表现更差。
WhyOhWhyQ查看英文原文
Probably irrelevant, but something funny about claude code is it will routinely say something like "10 week task, very complex", and then one-shot it in 2 minutes. I didn't have it create a feature for a while because it kept telling me it's way too complicated. All of the open source versions I tried weren't working, but I finally just decided to get it to make the feature anyways and it ended up doing better than the open source projects. So there's something off about how well claude estimates the difficulty of things for it, and I'm wondering if that makes it perform worse by not doing things it would do well at.
补充提炼摘要要点：难度与激活相关，人类难度判断作输入可提升表现。
我对摘要的理解是：人类相当擅长判断问题有多难，而 LLM 在这方面不那么可靠；问题难度与推理时的激活相关；最后，把准确的人类难度判断（作为输入）能带来更好的解题表现。如果是这样，那这对我自己的神经网络倒是个不错的训练信号——因为我认为 LLM 本质上是「类比制造机」，而推理本质上是一串类比，最终得出一个与现实大致相符的结果。也可能我和大多数人眼里的我一样疯。
inavida查看英文原文
My interpretation of the abstract is that humans are pretty good at judging how difficult a problem is and LLMs aren't as reliable, that problem difficulty correlates with activations during inference, and finally that an accurate human judgement of problem difficulty (*as input) leads to better problem solving. If so, this is a nice training signal for my own neural net, since my view of LLMs is that they are essentially analogy-making machines, and that reasoning is essentially a chain of analogies that ends in a result that aligns somewhat with reality. Or that I'm as crazy as most people seem to think I am.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2025Hacker News 讨论帖174 分 · 38 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选