AI 与机器学习2025arxiv.org
基于嵌入的检索的理论局限
The Theoretical Limitations of Embedding-Based Retrieval
进阶 · 约 50 分钟读完前置知识：线性代数、向量检索基础、信息检索评价指标
导读
这篇论文从理论上分析基于嵌入（embedding）的向量检索的局限性：由于嵌入是有损压缩，固定维度的向量容量会限制检索性能。论文指出即使 4096 维的稠密向量也存在理论上限，并讨论了多向量等替代方案。
HN 关注点：是因为 RAG 系统普遍依赖向量检索，论文对 embedding 检索的根本性理论限制提出了挑战，引发了对稠密向量 vs 稀疏检索等方案的讨论。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
补充嵌入是有损压缩，没有普遍最优的表示；未来检索应模仿人类用目录逐层定位的方式（如 PageIndex）
我们一直在寻找能捕捉信息含义的表示，但大多数用于检索的压缩表示都是有损的，嵌入就是有损压缩的一种。类似没有免费午餐定理，没有哪种有损压缩方法普遍优于另一种，因为下游任务可能依赖被丢失的特定信息。所以问题不是哪种表示完美，而是哪种表示与 AI 系统更契合。由于 AI 演进很快，很难预测下一代 LLM 的局限，因此未来 LLM 系统中好的检索表示应该更接近人类表示知识的方式。人类在图书馆检索时，先按类别或元数据关键词找到书，再打开目录找到相关章节，如此往复。我认为未来的 AI 检索系统应模仿这一过程，最近流行的 PageIndex 方法就属于此类——它为 LLM 生成类似目录的树进行推理。这同样是有损压缩，局限也可讨论，但它最接近人类的检索方式。
mingtianzhang查看英文原文
We are always looking for representations that can capture the meaning of information. However, most representations that compress information for retrieval are lossy. For example, embeddings are a form of lossy compression. Similar to the no-free-lunch theorem, no lossy compression method is universally better than another, since downstream tasks may depend on the specific information that gets lost. Therefore, the question is not which representation is perfect, but which representation is better aligned with an AI system. Because AI evolves rapidly, it is difficult to predict the limitations of the next generation of LLMs. For this reason, a good representation for information retrieval in future LLM systems should be closer to how humans represent knowledge. When a human tries to retrieve information in a library, they first locate a book by category or by using a metadata keyword search. Then, they open the table of contents (ToC) to find the relevant section, and repeat this process as needed. Therefore, I believe the future of AI retrieval systems should mimic this process. The recently popular PageIndex approach (see this discussioin: https://news.ycombinator.com/item?id=45036944) also belongs to this category, as it generates a table-of-contents–like tree for LLMs to reason over. Again, it is a form of lossy compression, so its limitations can be discussed. However, this approach is the closest to how humans perform retrieval.
补充稠密向量受维度容量限制，BM25 不受限但缺语义，稀疏语义模型（如 SPLADE）可能是方向
他们的观点是，即使是 4096 维的向量，其容量也限制了性能。BM25 这类稀疏模型维度巨大，因此不受此限制，但它们不捕捉语义、无法遵循指令。圣杯似乎是一个稀疏的语义模型，不知道 SPLADE 表现如何？
gdiamos查看英文原文
Their idea is that capacity of even 4096-wide vectors limits their performance. Sparse models like BM25 have a huge dimension and thus don’t suffer from this limit, but they don’t capture semantics and can’t follow instructions. It seems like the holy grail is a sparse semantic model. I wonder how splade would do?
亲历从业者亲历：多向量检索在实际应用中确实优于稠密向量检索
我们在 Morphik 使用过多向量模型，可以证实其在真实场景中的有效性，尤其是与稠密向量检索相比。
ArnavAgrawal03查看英文原文
we used multi-vector models at Morphik, and I can confirm the real-world effectiveness, especially when compared with dense-vector retrieval.
质疑质疑论文的外推方法：多项式拟合外推两个数量级不可靠，且理论上 2k 维即可实现任意 k 选一
在理论部分，他们用 40 维拟合的多项式外推到数千维。凭什么相信多项式拟合能外推两个数量级？凭什么认为是多项式而非随维度指数增长？事实上，如果能接受任意精确的查询向量，我认为 2k 维就够：把点嵌入为 (sin θ, cos θ, sin 2θ, cos 2θ, …, sin kθ, cos kθ)，θ 在圆上均匀分布，就能选出任意 k 个点；再多用几个维度可以放宽对查询精度的要求。
Straw查看英文原文
In the theoretical section, they extrapolate assuming a polynomial from 40 to thousands of dimensions. Why do they trust a polynomial fit to extrapolate two orders of magnitude? Why do we even think it's polynomial instead of exponential in the first place? Most things like this increase exponentially with dimension. In fact, I think we can do it in d=2k dimensions, if we're willing to have arbitrarily precise query vectors. Embed our points as (sin(theta), cos(theta), sin(2 x theta), cos(2 x theta)..., sin(k x theta), cos(k x theta)), with theta uniformly spaced around the circle, and we should be able to select any k of them. Using a few more dimensions we can then ease the precision requirements on the query.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖151 分 · 38 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选