AI 与机器学习2024arxiv.org
1-Bit AI 基础设施
1-Bit AI Infrastructure
进阶 · 约 40 分钟读完前置知识：LLM 推理基础、模型量化、计算机体系结构
导读
这篇论文（BitNet 相关工作）探讨用极低比特（约 1-bit/二值化）权重来运行大语言模型的推理基础设施，目标是大幅降低 LLM 推理的内存和算力开销。评论指出实际实现更接近 2-bit 量化，并讨论了在 FPGA 等硬件上实现这类计算的可行性。
HN 关注点：超低比特量化能否让普通硬件（CPU/FPGA）高效跑 LLM，以及其真实精度和硬件支持情况。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
质疑纠正标题：实际是 2-bit 而非 1-bit，并延伸讨论模 2 线性代数的硬件支持
严格来说这不是 1-bit，而是 2-bit。另外我在想，现代 CPU/GPU 是否有针对 Z_2^n（模 2 域）上线性代数（如矩阵乘法）的硬件支持？这对 SAT 求解应该会很有用。
js8查看英文原文
It's technically not 1-bit, but 2-bit. Anyway, I wonder if there is some HW support in modern CPUs/GPUs for linear algebra (like matrix multiplication) over Z_2^n ? I think it would be useful for SAT solving.
亲历亲历者想在小型 FPGA 上复现低比特 LLM 推理，并询问 tinygrad 后端的可行性
几周前第一次读到时就觉得很有意思。我在 FPGA 里做过不少 CPU 设计，想尝试些新东西，比如适合 FPGA 的计算密集型任务。有人知道在 FPGA 上实现这种东西可行性如何吗？我只有较小的芯片（Artix-7 35T 和 95k 逻辑单元的 PolarFire SoC），装不下完整 LLM，但应该能做点什么。也许该先复习基础从 MNIST 开始。真正的问题是：用这些小 FPGA 能现实地达到什么目标？性能是次要的，我更关心小器件上能实现多复杂的特性。另外有人为 FPGA 编译过 OpenCL 内核吗？我想知道能否给 tinygrad 做一个可用的后端，这应该是学习这类框架各层原理的好方法。
dailykoder查看英文原文
I have read about it quite a few weeks ago the first time and I found it very interesting. Now that I have done more than enough CPU design inside FPGAs, I wanted to try something new, some computation heavy things that could benefit from an FPGA. Does anyone here know how feasable it'd be to implement something like that on an FPGA? I only have rather small chips (artix-7 35T and polarfire SoC with 95k logic slices). So I know I won't be able to press a full LLM into that, but something should be possible. Maybe I should refresh the fundamentals though and start with MNIST. But the question is rather: What is a realistic goal that I could possibly reach with these small FPGAs? Performance might be secondary, I am rather interested in what's possible regarding complexity/features on a small device. Also has anyone here compiled openCL (or GL?) kernels for FPGAs and can give me a starting point? I was wondering if it's possible to have a working backend for something like tinygrad[1]. I think this would be a good way to learn all the different layers on how such frameworks actually work - [1] https://github.com/tinygrad/tinygrad
补充补充资料：同一团队后续推出了 a4.8 量化方案
同一团队的后续工作：a4.8 量化方案，见相关 HN 讨论和 arXiv 论文链接。
ttyprintk查看英文原文
Later a4.8 quantization by some of the same team: https://news.ycombinator.com/item?id=42092724 https://arxiv.org/abs/2411.04965
补充吐槽 arXiv 的链接替换正则误判了 .cpp 后缀
arXiv 似乎把 'bitnet.cpp' 链接替换成了 'this http url'，尽管 '.cpp' 明显不是顶级域名。正则写得有问题？
sva_查看英文原文
It seems like arxiv replaced 'bitnet.cpp' with a link 'this http url', even though '.cpp' is clearly not a tld. Poor regex?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖157 分 · 30 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选