AI 与机器学习2024arxiv.org编辑精选
可扩展的无矩阵乘法语言建模
Scalable MatMul-Free Language Modeling
进阶 · 约 60 分钟读完前置知识：Transformer 基础、scaling laws 概念、FPGA 基础
导读
这篇论文研究能否完全去掉语言模型中的矩阵乘法(MatMul)。作者用加法与逐元素操作替代 MatMul 构建语言模型，验证了直到 2.7B 参数规模的 scaling laws，训练时内存节省可达 61%，并基于自定义汇编在 FPGA 上实现了高效推理核心，代码兼容 Hugging Face transformers。
HN 关注点：在大模型算力和内存成本高企的背景下，无 MatMul 架构可能大幅降低硬件门槛，HN 读者关注其真实效果与硬件可行性。
HN 评论精选
这几条评论里：支持 1 补充 3
支持称赞工作扎实且开源可用，但希望有第三方对照验证性能
初读印象非常深刻：他们把 scaling laws 验证到了 2.7B 的合理规模，还跑了若干下游任务。希望能有第三方训练的同类模型来对照他们的分数。训练时获得了真实的（61%!?）内存节省，推理也一样。此外他们还用自定义汇编构建了 FPGA 核心，代码已开源且能与 huggingface transformers 无缝配合？绝对要试一试。
buildbot查看英文原文
Wow - This seems at first read to be really impressive work. They got scaling laws up to a reasonable size, 2.7B, and also run a few downstream tasks. Would be interesting to see how a comparable model trained by someone else does, to check their scores against those. They get real (61%!?) memory savings during training, and inference too. On top of all that, they then go build an FPGA core which is programmed with a custom assembler. And their code is posted and works seamlessly with huggingface transformers?! Absolutely going to test this out.
补充无 MatMul 架构可能让现有 NPU 硬件设计失去价值
这就是为什么你处理器里内置的 NPU 可能很快从优势变成累赘。
PaulHoule查看英文原文
This is why the NPU built into your processor could quickly become a liability instead of a benefit.
补充补充信息：实验所用 FPGA 硬件成本高昂
论文中用到的 Intel FPGA PAC D5005 价格大约 8000 美元。
sva_查看英文原文
The FPGA in question, Intel FPGA PAC D5005 seems to cost around $8k
补充补充资料：此前已有类似的无 MatMul 语言模型研究
顺带一提，一年前也有一篇无 MatMul 语言模型的论文：https://arxiv.org/abs/2305.17190
jph00查看英文原文
There was another matmul-free language model paper released a year ago FYI: https://arxiv.org/abs/2305.17190
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖205 分 · 30 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选