AI 与机器学习2024arxiv.org
在低资源边缘设备上高效服务 70B 规模 LLM
Serving 70B-scale LLMs efficiently on low-resource edge devices
进阶 · 约 55 分钟读完前置知识：LLM 推理基础、分布式系统、内存管理与调度
导读
这篇论文研究如何在内存和算力有限的边缘设备上高效运行 70B 级别的大语言模型。核心做法是通过巧妙的内存调度和多节点协同推理（采用星型网络拓扑），将峰值内存占用降低约 90%，使每台仅 4GB 内存的 8 台边缘设备也能协同运行 llama2-70b。不过代价是推理速度很慢，每个 token 需要约 26-29 秒。
HN 关注点：在消费级/边缘硬件上跑大模型的可行性，讨论焦点是这种内存优化是否真的没有隐藏代价，以及实际推理速度是否可用。
HN 评论精选
这几条评论里：质疑 1 补充 2
质疑质疑内存大幅降低是否以牺牲输出质量为代价
如果推理时间能配上输出质量的度量就更好了。我不太熟悉这种架构的工作原理，但很难相信峰值内存占用降低 90% 会没有任何代价。
loufe查看英文原文
It would be nice for the inference time to be paired with measure of output quality. I'm not well versed in how the architecture works, but I have a hard time believing a 90% reduction in peak memory footprint comes cost-free.
补充专业解读：核心是内存调度与拓扑选择，能跑但速度尚不可用，方向有价值
这并不是什么神奇的内存缩减技术——它确实通过巧妙的调度来管理内存。核心思想是可以在边缘节点上以内存和带宽优化的方式调度推理，这比单纯按层切分有所不同。他们认为目前多节点推理的成本主要由计算和延迟主导，因此选择了对此敏感的星型网络拓扑。不过，用 8 台各 4GB 内存的设备跑 llama2-70b，每个 token 需要 26-29 秒——能跑起来已经很惊人，但在当前硬件下还不具备边缘实用性。我认为论文说明了一个可能性：你可以召集比如 30 台图形工作站来做更快的推理，而不至于占满局域网带宽。总之——有趣的论文，想法聪明；前沿大模型仍然需要非常特殊的硬件和带宽互联，但这可能指出了降低带宽互联需求的一条路。
vessenes查看英文原文
This is not a memory reduction technique that's somehow magical. Well, it does manage memory with some clever scheduling. The core of this idea is that you can schedule out inference on edge nodes in a memory and bandwidth optimized way that's a bit different than just splitting layers. They propose that right now computation and latency dominate the costs for multi-node inference, and pick a network topology (star) that is savvy to that. That said, it's 26-29 seconds per token for llama2-70b with their 8 edge devices, each using 4 gigs of RAM. That's amazing that they can run it at all, but this isn't going to be viable at the edge with current hardware. I think the paper makes the case that you could probably recruit say your 30 graphics workstations to do much faster inference without just nailing your LAN bandwidth, though. Upshot - interesting paper -- smart ideas, large frontier models still need very exotic hardware and bandwidth interconnects - this may point a way forward to lowering the bandwidth interconnects part of the story.
补充补充相关项目 exo，询问两者关系
这和 exo 项目正在做的工作有什么区别（或关联）吗？https://github.com/exo-explore/exo
Zetaphor查看英文原文
Is this different from (or related to) the work being done by the exo project? https://github.com/exo-explore/exo
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖248 分 · 58 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选