系统与数据库2025arxiv.org
在现成 DRAM 中实现面向低比特 LLM 的矩阵-向量乘法
Matrix-vector multiplication implemented in off-the-shelf DRAM for Low-Bit LLMs
专业 · 约 50 分钟读完前置知识：DRAM 结构与内存带宽基础、低比特量化推理、矩阵-向量乘法
导读
这篇论文提出利用商用 DRAM 芯片内部的批量拷贝能力，在内存本体中实现矩阵-向量乘法（GeMV），面向低比特量化的 LLM 推理加速。这种'超出规格'的 DRAM 行为可绕过传统内存带宽瓶颈，在普通硬件上完成低精度矩阵运算。
HN 关注点：在现成 DRAM 里做计算听起来很疯狂，而且这依赖厂商未承诺的'超规格'行为，讨论围绕其可靠性与历史先例展开。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
补充指出 DRAM 拷贝这一超规格行为早有多个独立发现和相关著名 bug，并补充了历史资料链接
有人注意到参考文献 1 和 3 的作者名单长得离谱吗？我本来还期待看到 2016 年那篇文章被引用（附 HN 链接），2019 年那篇倒是出现了。当然，这种 DRAM '超规格'行为——具体说是拷贝能力——也与那个著名的 bug 有关（附链接）。看来不止一个人独立观察到这种现象，并想到'这也许是个有用的特性'。
userbinator查看英文原文
Did anyone else notice the absolutely insane author lists of references 1 and 3? I was expecting to find this 2016 article in there: https://news.ycombinator.com/item?id=12469270 This 2019 one does show up: https://news.ycombinator.com/item?id=22712811 Of course, this "out of spec" behaviour of DRAM, more specifically the ability to do copying, is also implicated in this infamous bug: https://news.ycombinator.com/item?id=5314959 It seems more than one person independently observed such a thing, and thought "this might be a useful behaviour".
质疑质疑依赖厂商未承诺的硬件行为做产品是否可靠，类比软件界依赖 bug 的教训
在硬件领域，利用一个 bug（明知厂商将来可能修复）有没有风险？我知道在软件世界里，靠平台 bug 来实现功能（或修另一个 bug）是坏主意——你依赖的 bug 可能在 15 年后被修掉，然后你的系统崩溃，没人知道为什么。
chasd00查看英文原文
In the hardware world are there risks of taking advantage of a bug knowing that the manufacturer may someday fix the bug? I know in the software world it's a bad idea to leverage a bug in a platform to enable a feature (or fix another bug). The bug you're counting on being present may get fixed 15 years in the future and then your system explodes and no one knows why. edit: seems like there was a recent discussion about something similar... undefined behavior in some C function iirc
支持对在 DRAM 内部直接做矩阵运算表示惊叹
他们在 DRAM 本体里做矩阵运算？这听起来既疯狂又迷人。
Bolwin查看英文原文
They're doing matrix operations in the Dram itself? That sounds insane and also fascinating
补充好奇能否用计算更便宜的四元数替代矩阵来构建 LLM
我数学不好。当年学四元数时，老师简单讲过图形学中矩阵计算的历史。我的理解是四元数流行起来是因为精度接近矩阵但计算复杂度低得多。有没有人试过用四元数代替矩阵来构建 LLM？还是说四元数的优化只对实时场景更有用？
protocolture查看英文原文
>General matrix-vector multiplication (GeMV) Ok, so my math isnt great. When I was studying Quaternions during my 3d math class (That I failed the first time, like I said, not a math guy) they briefly covered the history of matrix calculation in graphics development. My understanding is that Quaternions became popular because they are almost as accurate as matrices but much less complex computationally. Has anyone tried building an LLM using Quats instead of matrices? Or are the optimisations with Quaternions more useful in realtime?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖230 分 · 53 评
同领域还值得读
I/O 比 CPU 更快——让我们划分资源并消除操作系统抽象
I/O Is Faster Than CPU – Let’s Partition Resources and Eliminate OS Abstractions
指出在现代服务器硬件上 I/O 速度已接近甚至超过 CPU，传统操作系统抽象反而成为瓶颈。
系统与数据库2019 · 817 分 · 277 评进阶 · 约 30 分钟编辑精选使用 io_uring 的高效 I/O
Efficient IO with io_uring
由 Linux 内核开发者 Jens Axboe 撰写，介绍 Linux 新的异步 I/O 接口 io_uring。
系统与数据库2019 · 426 分 · 96 评进阶 · 约 45 分钟编辑精选线程对大多数用途而言是个坏主意（1995）
Threads Are a Bad Idea for Most Purposes (1995)
这篇 1995 年的文章由 John Ousterhout 撰写，讨论为什么线程对大多数用途而言是坏主意，并主张事件驱动编程通常更简单、更高效。
系统与数据库2017 · 423 分 · 382 评进阶 · 约 25 分钟编辑精选学习型索引结构之论证
The Case for Learned Index Structures
提出把索引看作一种"模型"：既然 B-tree 等结构本质上是在学习数据的分布，就可以用机器学习模型（如回归模型、神经网络）来近似键到位置的映射，从而替代 B-tree、哈希索引…
系统与数据库2017 · 398 分 · 66 评 · 引用 25进阶 · 约 60 分钟编辑精选FoundationDB：一个分布式、解耦的事务型键值存储
FoundationDB: A distributed, unbundled, transactional key value store
介绍 FoundationDB：一个分布式、解耦设计的事务性键值存储。
系统与数据库2021 · 283 分 · 99 评进阶 · 约 90 分钟编辑精选