AI 与机器学习2024arxiv.org
大语言模型中的推理：几何视角
Reasoning in Large Language Models: A Geometric Perspective
进阶 · 约 90 分钟读完前置知识：表示学习基础、Transformer 基础、线性代数
导读
这篇论文从几何视角研究大语言模型的推理能力，探讨推理是否可以理解为表示空间中的几何结构（如概念间的几何关系与变换）。具体结论需阅读原文确认，评论区的讨论主要围绕 LLM 是否真正具备推理能力展开。
HN 关注点：LLM 的'推理'究竟是真实的推理还是统计模式匹配，几何视角为这一争论提供了新的理论框架。
HN 评论精选
这几条评论里：质疑 3 补充 1
质疑对论文的几何视角感到困惑，试图理解其核心思想
推理和几何有什么关系？是说不同概念有内在的几何形态吗？一种柏拉图式的、把理性看作几何的观点？（我读这篇论文很吃力……）
dr_dshiv查看英文原文
What does reasoning have to do with geometry? Is this like the idea that different concepts have inherent geometrical forms? A Platonic or noetic take on the geometries of reason? (I struggled to understand much of this paper…)
补充提出两种对立解释：推理是涌现能力还是对人类已有推理文本的复述
我理解这场讨论有两派：一派认为模型通过吞下海量文本自发形成了推理能力（先语言后推理）；另一派认为推理本来就是人类写下来的，所以问'罗密欧该不该另寻新欢'时，模型只是从亿万篇英语文学论文中反射出已有的答案。我漏了什么吗？
lifeisstillgood查看英文原文
But I understand there are two sides to the discussion - that by ingesting huge amounts of text these models have somehow built reasoning capabilities (language then reasoning) or that the reasoning was done by humans and then written down so as long as you ask something like “should romeo find another love after Juliet” there is a set of reasoning reflected in a billion English literature essays and the model just reflects those answers Am I missing something?
质疑认为 LLM 本质上不能推理，只是复读，真正的 AI 需要全新的建模方式
你无法'从零增强'。LLM 的设计决定了它不具备推理能力。我们在人类身上也能观察到 LLM 式行为：那些只会鹦鹉学舌复读媒体口号的人。LLM 就是那个坚信 Fox News 为真的叔叔的电脑版——他并不比聊天机器人更理解自己复读的口号。真正的 AI 需要一种目前尚不存在的建模方式。
bastien2查看英文原文
You can't "enhance" from zero. LLMs by design are not capable of reason. We can observe LLM-like behaviour in humans: all those reactionaries who just parrot whatever catchphrases mass media programmed into them. LLMs are just the computer version of that uncle who thinks Fox News is true and is the reason your nieces have to wear long pants at family gatherings. He doesn't understand the catchphrases he parrots any more than the chatbots do. Actual AI will require a kind of modelling that as yet does not exist.
质疑用 Mad Libs 类比：LLM 是统计自动补全，没有真正的推理
还记得 Mad Libs 游戏吗——填入动词、名词等，生成一个滑稽故事，结果好笑是因为词脱离了语境：句法正确但语义荒谬。LLM 就像带'语境预测器'的 Mad Libs：统计相关性让输出大多数时候有意义，但这里没有'推理'发生——只是句法模板和统计自动补全。
EncomLab查看英文原文
Does anyone remember the "Mad Libs" games - you fill out a form with blanks for "verb", "noun", "adjective", etc - then on the next page you fill in the words from the form to create a silly story. The results are funny because the words you provided initially were without context - they were syntactically correct, but were nonsense in context. LLM's are like Mad Libs with a "contextual predictor" - they produce syntactically correct output, and the "contextual predictor" limits the amount of nonsense because statistical correlations can generate meaningful output most of the time. But there is no "reasoning" occurring here - just syntactic templating and statistical auto-complete.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖214 分 · 171 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选