AI 与机器学习2024storage.googleapis.com
Gemma 2：以实用规模改进开放语言模型
Gemma 2: Improving Open Language Models at a Practical Size
进阶 · 约 75 分钟读完前置知识：Transformer 架构、LLM 训练与微调、模型评估基准
导读
Google DeepMind 发布 Gemma 2 系列开源语言模型（9B 和 27B），论文介绍了如何在实用规模的模型上提升性能。据评论，27B 版本在 LMSys Chatbot Arena 上表现突出，得分超过 Llama-3-70B，接近 GPT-4 和 Claude-3 Sonnet 水平。
HN 关注点：Gemma 2 的实际性能是否真的达到评论所称的水平，以及 Google 开源模型与竞品（如 Microsoft 的 Phi 系列）的对比。
HN 评论精选
这几条评论里：支持 1 质疑 2 亲历 1
亲历Gemma 团队成员现身答疑
Gemma 团队来了！我们很高兴发布这个版本，欢迎提问。（观点仅代表个人，不代表 Google DeepMind。）
alekandreev查看英文原文
Hello (again) from the Gemma team! We are quite excited to push this release out and happy to answer any questions! Opinions are our own and not of Google DeepMind.
支持27B 版本在竞技场评测中表现惊人，媲美更大模型
它异常强大。在 LMSys Chatbot Arena 上，27B 版本得分超过 Llama-3-70B，达到 OpenAI GPT-4 和 Claude-3 Sonnet 的水平！
aubanel查看英文原文
It's exceptionally strong. In LMSys Chatbot Arena, the 27B version scores above LLama-3-70B, at the level of OpenAI GPT-4 and Claude-3 Sonnet!
质疑质疑 Google 缺乏做 LLM 的工程愿景，对比 Microsoft Phi 的成功
我早就对 Gemma/Gemini 失去希望了。我不认为 Google 做不出好的 LLM 是因为公司规模太大——Microsoft 市值更高，但 Phi 模型不断给我们惊喜。我觉得 Google 只是缺乏对什么才是好 LLM 的愿景。研究团队的理论贡献有价值，但现实世界靠的是那些可能不够'纯粹'和优雅、但确实有效的工程思路。
behnamoh查看英文原文
I gave up hope on r"Gem[ma|ini]" long time ago. I don't believe that Google can't produce good LLMs because of its massive company size; Microsoft is also a giant company (more market cap than Google) but it keeps surprising us with the ϕ models. I think Google just lacks the vision to understand what makes a good LLM. Theoretical contributions by research teams are valuable, but the real-world is built around engineering ideas that may lack the "purity" and elegance of theory but damn it they work.
质疑质疑 Gemma 2 相对 Phi 3 的性价比
所以它比 Phi 3 大一倍，却明显更差？我错过了什么？
iamronaldo查看英文原文
So it's twice the size of phi 3 and considerably worse? What am I missing
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖328 分 · 172 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选