AI 与机器学习2019arxiv.org
智能算法在大规模深度学习上胜过硬件加速
Smart Algorithms beat Hardware Acceleration for Large-Scale Deep Learning
进阶 · 约 60 分钟读完前置知识：神经网络训练与反向传播、局部敏感哈希(LSH)基础、GPU/CPU 体系结构常识
导读
这篇论文提出 SLIDE 算法，将大规模深度学习训练从传统的矩阵乘法（反向传播）转化为基于局部敏感哈希的搜索问题，从而在 CPU 上超越 GPU 加持的传统训练方法。实验数据集较为稀疏，作者声称在特定场景下 CPU + 智能算法可以胜过硬件加速。
HN 关注点：“算法创新能否替代硬件加速”这一反直觉结论，以及该结论是否公平（未在 GPU 上实现 SLIDE 进行对比）。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
质疑结论可能不具普适性，关键在于数据稀疏性
需要注意的是，论文使用的数据集都是稀疏的，该算法的关键在于更好地利用稀疏性。如果需要稀疏运算，GPU 相对 CPU 的优势会小很多，即使使用传统算法也是如此。换句话说，他们在自己的问题上获得了很好的加速，但这未必适用于你的问题。
comicjk查看英文原文
Important to note that the datasets used are sparse, and that the key to this algorithm is better exploitation of sparsity. The GPU over CPU advantage is a lot lower if you need sparse operations, even with conventional algorithms. "It should be noted that these datasets are very sparse, e.g., Delicious dataset has only 75 non-zeros on an average for input fea- tures, and hence the advantage of GPU over CPU is not always noticeable." In other words, they got a good speedup on their problem, but it might not apply to your problem.
补充通俗解释 SLIDE 的核心思路
我找到的最适合外行的总结：SLIDE 不需要 GPU，因为它采用了根本不同的深度学习方法。标准的反向传播训练需要矩阵乘法，这是 GPU 的理想工作负载。而 SLIDE 将神经网络训练转化为一个可以用哈希表解决的搜索问题。
tyingq查看英文原文
The best laypersons's summary I could find: "SLIDE doesn’t need GPUs because it takes a fundamentally different approach to deep learning. The standard “back-propagation” training technique for deep neural networks requires matrix multiplication, an ideal workload for GPUs. With SLIDE, Shrivastava, Chen and Medini turned neural network training into a search problem that could instead be solved with hash tables" https://insidehpc.com/2020/03/slide-algorithm-for-training-deep-neural-nets-faster-on-cpus-than-gpus/
质疑质疑对比不公平：未在 GPU 上实现 SLIDE
他们没有在 GPU 上实现 SLIDE，所以我们其实并不知道 CPU 是否真的比 GPU 快。这是 SLIDE on CPU 与 GPU 上的 softmax/采样 softmax 的对比。他们至少应该解释为什么 GPU 无法加速基于局部敏感哈希的算法——GPU 曾被用来快速计算哈希（比如比特币挖矿）。这是 Intel 赞助的研究，但拜托，这也太不严谨了。
nabla9查看英文原文
They don't implement SLIDE in GPU so we don't actually know if CPU is faster than GPU. It's SLIDE on CPU vs softmax & sampled softmax in GPU comparison. They should at least give rationale why GPU is not speeding up locality sensitive hash based algorithm. GPU's are used to compute fast hashes (they were used in Bitcoin mining once). It's Intel sponsored research, but come on.
亲历亲历者认为 SLIDE 属内存受限负载，GPU 上应更快
作为一个把内存受限工作负载移植到 GPU 的人，我认为 SLIDE 在 GPU 上会跑得比 CPU 更快。我浏览了论文，SLIDE 被描述为内存受限的工作负载，具体是对 2-10GB 数据的随机内存访问。GPU 正擅长这类工作负载，例如以太坊 PoW（ethash）就是内存受限的，GPU 实现比 CPU 快。所以我不明白为什么作者不提在 GPU 上实现 SLIDE 的可能性。当然，我可能漏掉了什么（我只花了不到 10 分钟读论文）。
mrb查看英文原文
As someone who ported memory-bound workloads to GPU, I say SLIDE appears it would run even faster on GPU than on CPU. I skimmed the paper and SLIDE is described as a memory-bound workload, specifically random memory accesses to 2-10GB of data. GPUs excel at this type of workload. For example the Ethereum PoW (ethash) is memory-bound, and GPU ethash implementations are faster than CPU ones. So I don't understand why the authors don't mention the possibility of implementing SLIDE on GPU. Of course, I could have missed something (I spent less than 10min reading the paper)...
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2019Hacker News 讨论帖18 分 · 0 评
- 2020Hacker News 讨论帖355 分 · 135 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选