AI 与机器学习2025arxiv.org
语言模型是单射的，因此可逆
Language models are injective and hence invertible
进阶 · 约 45 分钟读完前置知识：语言模型基础、概率分布、单射与可逆性
导读
这篇论文主张语言模型是单射的，即不同的输入会映射到不同的输出分布，因此理论上可以从模型输出反推出原始输入。作者通过对六个主流大模型进行数十亿次碰撞测试，未观察到任何碰撞来支持这一结论。
HN 关注点：这一结论的统计验证是否可靠，以及'可逆'这一说法在输出分布与输出 token 两种理解下的差异。
HN 评论精选
这几条评论里：质疑 2 补充 2
补充从压缩/抽象的角度理解论文结论，但对其含义表示困惑
我记得曾听过一个论证：LLM 必然能学到抽象概念，因为模型权重（通常几 GB）远小于训练数据（TB 甚至 PB 级）。所以模型要么丢弃了大部分训练数据，要么以超越已知极限的方式压缩数据，要么把数据抽象成了更高效的形式。这也解释了为什么 LLM 能总结《弗兰肯斯坦》第 18 章，却无法逐字复现其中一段。我肯定没完全理解这篇论文，因为听起来他们是在说模型权重可以还原出原始输入文本，这相当于一种惊人的文本压缩。
spuz查看英文原文
I remember hearing an argument once that said LLMs must be capable of learning abstract ideas because the size of their weight model (typically GBs) is so much smaller than the size of their training data (typically TBs or PBs). So either the models are throwing away most of the training data, they are compressing the data beyond the known limits, or they are abstracting the data into more efficient forms. That's why an LLM (I tested this on Grok) can give you a summary of chapter 18 of Mary Shelley's Frankenstein, but cannot reproduce a paragraph from the same text verbatim. I am sure I am not understanding this paper correctly because it sounds like they are claiming that model weights can be used to produce the original input text representing an extraordinary level of text compression.
质疑质疑碰撞测试的统计效力：阈值过严导致碰撞概率本就极低，实验无法证明单射性
'通过对六个最先进语言模型进行数十亿次碰撞测试，未观察到碰撞'——这听起来像个错误。他们用了 GPT2 等模型，其输出向量空间很大，还随意地把碰撞阈值定义为两个向量 l2 距离小于 10^-6。由于输出是归一化的，这对应单位球面上极小的一块区域。直觉上，在高维空间里两个随机向量几乎正交，两个输入映射到同一输出的概率应该小到天文数字级别（可能低于 10^-10000），比找到 sha256 哈希碰撞还难。用几十亿个样本根本验证不了这个结论，论文也缺少相应的详细计算。
sigmoid10查看英文原文
>we confirm this result empirically through billions of collision tests on six state-of-the-art language models, and observe no collisions This sounds like a mistake. They used (among others) GPT2, which has pretty big space vectors. They also kind of arbitrarily define a collision threshold as an l2 distance smaller than 10^-6 for two vectors. Since the outputs are normalized, that corresponds to a ridiculously tiny patch on the surface of the unit sphere. Just intuitively, in such a high dimensional space, two random vectors are basically orthogonal. I would expect the chance of two inputs to map to the same output under these constraints to be astronomically small (like less than one in 10^10000 or something). Even worse than your chances of finding a hash collision in sha256. Their claim certainly does not sound like something you could verify by testing a few billion examples. Although I'd love to see a detailed calculation. The paper is certainly missing one.
质疑标题有歧义：按输出分布可逆，但按实际输出的 token 不可逆
我不喜欢这篇论文的标题，因为该领域大多数人理解的'语言模型'是输出 token 的（这种情况下不可逆），而论文说的是输出分布意义下的可逆。另外作者贡献声明让我笑了。
fxwin查看英文原文
I don't like the title of this paper, since most people in this space probably think of language models not as producing a distribution (wrt which they are indeed invertible, which is what the paper claims) but as producing tokens (wrt which they are not invertible [0]). Also the author contribution statement made me laugh. [0] https://x.com/GladiaLab/status/1983812121713418606
补充好奇该结论对神经科学的潜在启发
我很好奇这类理解能如何应用到神经科学上。
luc_查看英文原文
I wonder how these pieces of understanding can be applied to neuroscience.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖231 分 · 148 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选