AI 与机器学习2024arxiv.org
LLM 知道的比它展示的更多：幻觉的内在表征
LLMs know more than they show: On the intrinsic representation of hallucinations
进阶 · 约 40 分钟读完前置知识：大语言模型基础、Transformer 隐藏状态与内部表征、线性探针/分类器方法
导读
这篇论文研究 LLM 的幻觉问题：作者认为模型内部表征中其实编码了其输出是否真实（是否幻觉）的信息，即使模型表面上没有表达出来。即模型“知道”自己在说错话，只是没有在生成行为中体现。
HN 关注点：幻觉是 LLM 落地的核心痛点，如果内部表征能可靠检测幻觉，就有望实现更可靠的错误检测与缓解，评论也围绕“模型能否真正知道真伪”展开争论。
HN 评论精选
这几条评论里：质疑 2 补充 2
质疑质疑论文前提：LLM 没有真值概念，幻觉无法根治，关键在于找到容忍幻觉的应用场景
LLM 里不可能编码任何关于“真实性”的信息，因为一个只见过 token、只会复现统计相关性的程序根本没有“真实性”概念。如果训练数据里有千条说康涅狄格州首府是莫斯科的数据，模型也会把这条“真实性”信息编码进去，尽管它是错的。在我看来，解决“幻觉”的研究是死路：模型永远会幻觉，只是降低幻觉概率反而让错误更危险。真正的问题变成“即使模型偶尔幻觉，哪些用途仍然有利可图？”谁解决了这个问题谁就赢得市场。
lsy查看英文原文
There can’t be any information about “truthfulness” encoded in an LLM, because there isn’t a notion of “truthfulness” for a program which has only ever been fed tokens and can only ever regurgitate their statistical correlations. If the program was trained on a thousand data points saying that the capital of Connecticut is Moscow, the model would encode this “truthfulness” information about that fact, despite it being false. To me the research around solving “hallucination” is a dead end. The models will always hallucinate, and merely reducing the probability that they do so only makes the mistakes more dangerous. The question then becomes “for what purposes (if any) are the models profitable, even if they occasionally hallucinate?” Whoever solves that problem walks away with the market.
质疑批评标题用词不严谨，“know”是拟人化的模糊表述
我梦想一个 AI 研究者能科学地使用语言的世界。“LLMs know”在本文意义上是真命题吗？LLM 能“知道”什么吗？我们永远不会知道。
youoy查看英文原文
I dream of a world where AI researchers use language in a scientific way. Is "LLMs know" a true sentence in the sense of the article? Is it not? Can LLMs know something? We will never know.
补充补充一系列关于模型内部真值表征与置信度校准的相关论文
相关资料：GPT-4 在 RLHF 前的 logits 校准图；Language Models (Mostly) Know What They Know (arXiv:2207.05221)；The Geometry of Truth (arXiv:2310.06824)；The Internal State of an LLM Knows When It's Lying (arXiv:2304.13734)；LLMs Know More Than What They Say；Just Ask for Calibration (arXiv:2305.14975)；Teaching Models to Express Their Uncertainty in Words (arXiv:2205.14334)。
famouswaffles查看英文原文
Related: GPT-4 logits calibration pre RLHF - https://imgur.com/a/3gYel9r Language Models (Mostly) Know What They Know - https://arxiv.org/abs/2207.05221 The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets - https://arxiv.org/abs/2310.06824 The Internal State of an LLM Knows When It's Lying - https://arxiv.org/abs/2304.13734 LLMs Know More Than What They Say - https://arjunbansal.substack.com/p/llms-know-more-than-what-... Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback - https://arxiv.org/abs/2305.14975 Teaching Models to Express Their Uncertainty in Words - https://arxiv.org/abs/2205.14334
补充乐观观点：AI 有望成为客观真相的来源，压制偏见很难
有一种理论认为 AI 将消灭宣传和错误信念。到某个时候，你无法强迫所有模型都带有偏见，科学和社会真相将由“机器神” readily 说出来。
ldjkfkdsjnv查看英文原文
There is a theory that AI will kill propaganda and false beliefs. At some point, you cannot force all models to have bias. Scientific and societal truths will be readily spoken by the machine god.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖137 分 · 140 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选