AI 与机器学习2025arxiv.org
基于动态长度浮点的无损 LLM 压缩，实现高效 GPU 推理
Lossless LLM compression for efficient GPU inference via dynamic-length float
专业 · 约 70 分钟读完前置知识：LLM 推理与显存管理、bfloat16 数值表示、熵编码与 GPU 内核
导读
这篇论文提出 DFloat11——一种针对 LLM 权重的动态长度浮点压缩方案，利用 bfloat16 指数位实际利用率低、熵只有约 10-12 比特的特点做无损熵编码，从而在 GPU 推理时减少显存占用与传输开销。据评论引述，它可在单节点 8×80GB GPU 上运行 405B 参数模型，上下文长度比未压缩模型高 5.3-13.17 倍。
HN 关注点：HN 读者既惊叹于“单节点跑 405B 模型”的实用价值，也在争论“无损”到底指比特级无损，还是精度或基准不掉，以及该想法与既往浮点压缩工作的关系。
HN 评论精选
这几条评论里：支持 1 质疑 2 亲历 1
亲历资深从业者指出 bfloat16 值域利用率低是压缩空间来源，并列举 fpzip、dietgpu 等大量先行工作，暗示该思路并非首创。
这其实源于 bfloat16 动态范围极高、但实际根本用不满。人们喜欢 0.01 这样的超参而不是 10^10，尽管每个指数上的小数精度都一样；如果把超参、初始化权重、训练数据全部乘 10^6，结果大致不变，因为上端范围几乎用不到（少数特殊函数可能例外）。权重和激活中 bfloat16 值的典型熵约 10-12 比特（实际只用到约 65-75% 的值域），符号位和尾数位基本是不可压缩的噪声。这在经典 HPC 和 AI 中已被多次利用：Martin Burtscher 实验室的无损压缩工作、LLNL 的 fpzip，以及我 2021 年的库 dietgpu（github.com/facebookresearch/dietgpu）；我们用它在大规模 GPU 集群上对梯度、权重备份等发送前数据做无损压缩、接收后解压，整体训练实际耗时缩短约 10%，且因无损结果完全一致。另外 rANS 比 Huffman 更高效、在 SIMD 类指令集上更易实现。
jhj查看英文原文
This is just a consequence of the fact that bfloat16 has a very high dynamic range which is not all used. People like hyperparameters that look like 0.01 not 10^10, even though there is the same fractional precision available at each exponent and if you multiplied everything - hyperparameters, initialized weights, training data, etc in a network by 10^6 things will still work more or less the same since the upper range is hardly used (with the possible exception of some small number of special functions). Typical entropy of bfloat16 values seen in weights (and activations) are about 10-12 bits (only 65-75% or so of the value range is used in practice). Sign and mantissa bits tend to be incompressible noise. This has been exploited several times before in the context of both classical HPC and AI, with lossless compression work from Martin Burtscher's lab (https://userweb.cs.txstate.edu/~burtscher/), fpzip from LLNL (https://computing.llnl.gov/projects/fpzip) and my library dietgpu from 2021 (https://github.com/facebookresearch/dietgpu) which we used to speed training on a large GPU cluster by about 10% wall clock time overall by losslessly compressing all data prior to send and decompressing upon receive (e.g., gradients, weights from backup, etc), which is still computing the same thing as it did before as it is lossless. Also, rANS is more efficient and easier to implement in SIMD-like instruction sets than Huffman coding. It would reduce the performance latency/throughput penalties as well with DFloat11 (since we have to decompress before we do the arithmetic).
质疑质疑“无损”的定义，怀疑实为精度或指标无损，而不是比特级无损。
我猜这里的“无损”不是压缩语境里通常那个意思？原文说“在不损失任何精度的情况下达到接近信息最优的压缩”，所以也许“无损”是指困惑度/基准分数没掉？在我看来，无损就是全程零比特丢失。
Havoc查看英文原文
I'm guessing by lossless they mean something other than what the word usually means in compression context? >achieving near information-optimal compression without any loss of precision So perhaps more lossless as in didn't lose perplexity/benchmarks? In my mind lossless is precisely zero bits lost along the way.
支持强调其现实价值：让中小团队用单节点跑 405B 级模型。
最突出的是实际意义：能在单节点 8×80GB GPU 上对 405B 参数模型做无损推理，这太惊人了。对想跑前沿模型却不想背巨额基础设施成本的研究实验室和初创公司来说，是巨大的解放。
badmonster查看英文原文
What stands out most is the practical implication: enabling lossless inference of a 405B-parameter model on a single node with 8×80GB GPUs is wild. That’s a huge unlock for research labs and startups alike that want to run frontier models without massive infrastructure costs.
质疑认可长上下文收益，但追问模型完全驻留显存时解码开销是否真能提升吞吐。
原文称：相比把未压缩模型部分卸载到 CPU 以满足显存限制，DFloat11 的 token 生成吞吐高 1.9-38.8 倍；在固定显存预算下，上下文长度可达未压缩模型的 5.3-13.17 倍。光上下文长度一项可能就值得，即使模型放得进显存；但我好奇如果全部放在 GPU 上，它是否也能提升 tokens/秒，因为以我业余的理解，LLM 通常受内存带宽限制？
yjftsjthsd-h查看英文原文
> Compared to a potential alternative of offloading parts of an uncompressed model to the CPU to meet memory constraints, DFloat11 achieves 1.9-38.8x higher throughput in token generation. With a fixed GPU memory budget, DFloat11 enables 5.3-13.17x longer context lengths than uncompressed models. The context length alone probably makes it worthwhile even if your models fit in memory, but I'm curious if it improves tokens/sec even all on GPU, since in my very amateur understanding LLMs tend to be constrained by memory bandwidth?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖411 分 · 117 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选