AI 与机器学习2024allenai.org编辑精选
OLMo：加速语言模型科学研究
OLMo: Accelerating the Science of Language Models
进阶 · 约 60 分钟读完前置知识：大语言模型训练基础、开源模型生态、GPU 集群与训练成本概念
导读
OLMo 是 Allen AI 推出的开源语言模型项目，不仅开放模型权重，还公开训练代码、数据、日志等完整细节，旨在加速语言模型的科学研究。论文还详细披露了训练能耗与碳排放估算。
HN 关注点：其前所未有的开放程度（尤其是承诺公开 W&B 训练日志），以及由此引发的关于训练成本门槛和这类工作独特价值的讨论。
后来怎么样
OLMo 成为开放科学训练 LLM 的代表性项目，其全开放（权重、数据、代码、日志）的模式被后续 Dolma、OLMo 2 等一系列工作延续，成为研究界常用的开放基线模型家族。
HN 评论精选
这几条评论里：支持 1 质疑 2
质疑根据论文的能耗数据推算，训练 7B 模型的电费甚至总成本低得出乎意料，质疑进入门槛是否被高估。
他们详细说明了能耗，从而估算了碳排放，这挺有意思。我用美国商业电价 7–20 美分/千瓦时来估算纯电力成本，结果只有 1.6 万到 5 万美元，看起来相当少！是我算错了吗？有关于租用集群的计算成本的信息吗？一个 7B 模型的进入门槛真的只有几十万美元吗？补充：也许总共只要 8.5 万美元。
alchemist1e9查看英文原文
They detail the energy used and therefore estimated carbon emissions which is interesting. When I estimate the raw electricity cost using 7-20 cents per kWh for US commercial rates, then we are only talking about $16-50k for electricity, that seems pretty small! Is my math wrong? Is there any information on how much the computing costs were for renting the clusters? Is the barrier to entry for a 7B model only a couple $100K? EDIT: https://news.ycombinator.com/item?id=39223467#39224534 Perhaps only $85K total
支持赞赏论文承诺公开完整的训练日志，认为这在学术论文中前所未见。
“我们打算在不久后发布另一个版本，包含以下内容：……我们训练运行的 Weights & Biases 日志。”这太棒了。我从没在这种质量的论文里见过这种做法，或者说任何论文里都没见过。
bravura查看英文原文
"We intend to follow up on this release with another one soon that includes the following: ... Weights & Biases logs for our training runs." That's amazing. I've never seen that before in a paper of this quality. Or, any paper at all.
质疑质疑论文的独特贡献，认为训练技术迭代太快，这类工作总结容易过时。
抱歉，我不太理解这里的确切贡献是什么？关于如何训练语言模型已经有很多教程了。如果这是一个汇集 SOTA 训练技术的仓库，那最多 3 个月就会过时；况且这个领域变化太快，想跟上 SOTA 还不如每天读 arXiv。
casercaramel144查看英文原文
I'm sorry, I don't understand the exact contribution here? There's many tutorials on how to train a language model. If it's a repository of SOTA techniques for training, this will be outdated in at max 3 months, and anyways the ground shifts under you in this field so you might as well read Arxiv all day if your intention is to keep up with SOTA.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖141 分 · 52 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选