AI 与机器学习2025arxiv.org
近似最近邻搜索中向量 ID 的无损压缩
Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search
进阶 · 约 60 分钟读完前置知识:近似最近邻搜索(ANN)基础、信息论与熵编码基础、倒排文件/图索引结构
导读
这篇论文研究近似最近邻搜索(ANN)索引中辅助数据(如向量 ID 和图边链接)的存储开销问题——在倒排文件和图索引中这些数据往往占存储大头。作者提出基于非对称数值系统(ANS)和小波树的无损压缩方案,利用 ID 顺序无关的特性,可将向量 ID 压缩 7 倍且不影响精度和搜索速度,在十亿级数据集上索引体积减少约 30%,某些场景下还能无损压缩量化后的向量编码。
HN 关注点:ANN 搜索通常受内存带宽限制,索引体积直接决定单机可服务的数据库规模,无损压缩辅助数据是实用的降本手段,HN 读者关注其效果与实现细节。
HN 评论精选
这几条评论里:质疑 1 补充 1
补充解释为何无损解压不会拖慢搜索:瓶颈在内存带宽而非 CPU
ANN 搜索从速度角度看通常受内存带宽限制,所以 CPU 有富余周期来做解压、几乎不增加延迟,这并不令人意外。
rockwotj查看英文原文
ANN search is usually memory bandwidth limited from a search speed prospective, so it doesn’t surprise me that the CPU has a few extra cycles to decompress without losing much latency
质疑质疑:对比实验遗漏了经典的 roaring bitmaps 压缩方案
令人惊讶的是他们的对比中缺少 roaring bitmaps,这篇论文很老,他们应该看过才对。
wizzard0查看英文原文
what is surprisingly missing from their comparison is roaring bitmaps [0] i'm sure they should've seen this paper because it's quite old [0]: https://arxiv.org/pdf/1603.06549
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖151 分 · 6 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选