AI 与机器学习2024arxiv.org
幻觉不可避免：大语言模型的内在局限
Hallucination is inevitable: An innate limitation of large language models
进阶 · 约 60 分钟读完前置知识：可计算性理论、计算复杂性基础、大语言模型基础
导读
这篇论文论证大模型的幻觉（hallucination）不是可以靠工程手段消除的缺陷，而是所有大语言模型固有的局限：作者用可计算性理论的思路（如对角化论证，评论中提及还涉及 P≠NP 与 NP 完全问题）说明，任何既要高效又要准确计算一大类可计算函数的 LLM 都必然会在某些输入上给出错误答案。结论是幻觉无法被彻底修复，只能被管理。
HN 关注点：它把“AI 一本正经地胡说”从工程 bug 上升到理论上的必然性，引发读者争论形式化证明与日常所见幻觉是否真有对应关系。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
质疑形式化证明未必对应实际关心的问题——让模型学会说“我不知道”可能是可解的。
我承认只读了摘要，但我总体上怀疑这种高度形式化的方法能否回答那个实际问题：我们能不能让 LLM 更常说“我不知道”（我认为这就能解决幻觉）。它听起来有点像不完备定理——而在实践中那也不意味着数学研究没有意义。是的，LLM 可能无法计算某些函数，但幻觉问题并不是要求 LLM 什么都知道；我们真正关心的是“我不知道”式回答的问题，而这或许仍然是可以计算的。
t_mann查看英文原文
I have to admit that I only read the abstract, but I am generally skeptical whether such a highly formal approach can help us answer the practical question of whether we can get LLMs to answer 'I don't know' more often (which I'd argue would solve hallucinations). It sounds a bit like an incompleteness theorem (which in practice also doesn't mean that math research is futile) - yeah, LLMs may not be able to compute some functions, but the hallucination problem isn't about LLMs needing to know everything. The problem that we care about is the 'I don't know'-answering problem, which may still be computable.
质疑质疑形式化定义与日常幻觉的对齐，并以人类作反例：人也不会解 NP 完全问题却不必然幻觉。
快速浏览后，我认为论文的核心论点是：因为 P≠NP，所以 LLM 在 NP 完全问题上会产生幻觉答案。这个观点很巧妙，也是一个关于数学、计算机科学与语言的有趣哲学问题；但我认为人们所说的“LLM 幻觉”多是我们常识意义上的幻觉，而不是论文采用的形式化定义，我看不出二者有明显联系——常识性幻觉（比如被要求做摘要时编造小说中不存在的章节、编造具体细节）似乎并不是 NP 完全问题，而是出于其他有趣的原因。如果我没能准确概括论文，欢迎纠正（我读得很快）。另外，论文说形式世界（数学、逻辑与形式文法的世界）是“真实”世界（或自然语言世界）的子集，这点我很感兴趣。大多数人类解不了形式逻辑题、也解析不了形式文法，却没有（严重的）幻觉，反而能熟练使用自然语言。人类同样解不了某些 NP 完全问题，那幻觉对人类也是必然的吗？毕竟我们寿命有限，即使有能力，某些问题也可能永远做不完。
Fripplebubby查看英文原文
The core argument in this paper it seems to me from scanning it is that because P != NP therefore LLMs will hallucinate answers to NP-complete problems. I think this is a clever point and an interesting philosophical question (about math, computer science, and language), but I think people are mostly trying to apply this using our commonsense notions of "LLM hallucination" rather than the formal notion they use in this paper, and I don't see an obvious connection, since commonsense hallucinations (eg inventing chapters of a novel when asked to produce summaries, inventing specific details when asked) don't seem to be NP-complete problems but rather are hallucinatory for some other interesting reason. (I apologize if I have not captured the paper correctly and would welcome correction on that, I read it quickly) The statement that the formal world (the world of math and logic and formal grammars) is a subset of the "real" world (or perhaps, the world of natural language) is really interesting to me as well. Most humans can't solve formal logic problems and parse formal grammars but don't suffer from a (strong) hallucination effect, and can work in natural language in great proficiency. Is hallucination inevitable in humans since we also can't solve certain NP-complete problems? We have finite lifespans, after all, so even with the capabilities we might never complete a certain problem.
亲历亲历经验：通过改写提问方式（“能不能”而非“怎么做”）来降低编造，模型像一味讨好的“老好人”。
你必须非常小心地提问，它才不会编造。比如别问“在 x 里我要怎么做这个？”，而要问“我能不能用 x 做这个？”。这些“AI”像老好人：为了取悦你，什么都说，哪怕不真实或不可能。我见过这样的人，很难共事——你无法相信他们会交付承诺的项目，得事事复核，也无法确认他们承诺的事是否根本可行。
sschueller查看英文原文
You have to very carefully ask your question for it to not make things up. For example don't ask "how do I do this in in x?". Ask "can I do this with x?" These "AI" s are like "yes men". They will say anything to please you even if it's untrue or impossible. I have met people like that and they are very difficult to work with. You can't trust that they will deliver the project they promised and you always have to double check everything. You also can't trust them that what they promised is even possible.
补充换个视角：模型只是概率性地续写文本，出错本不奇怪，值得惊讶的反而是它常常答对。
模型只是在生成大概率会出现的文本。真正令人惊讶的是这些文本竟然经常是正确的；出错一点也不奇怪。它们错得理直气壮、毫不心虚，这可能是它们最像人的地方。
paulsutter查看英文原文
The models are just generating probable text. What’s amazing of how often the text is correct. It’s no surprise at all when it’s wrong Their bold confidence to be flat out wrong may be their most human trait
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖308 分 · 474 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选