AI 与机器学习2024arxiv.org
Phi-3 技术报告
Phi-3 Technical Report
进阶 · 约 60 分钟读完前置知识：机器学习基础、Transformer 与 LLM 训练、基准评测（MMLU 等）
导读
微软发布 Phi-3 系列小模型（3.8B/7B/14B）技术报告，声称通过高质量数据（含合成数据）训练，使小参数模型在多项基准上达到甚至超越更大模型（如 Llama 3 8B、GPT-3.5）的水平，可在手机等设备上运行。
HN 关注点：小模型能否真正逼近 GPT-4 水平，以及基准分数是否可信、能否转化为实际使用体验。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
支持Phi-3 以极小参数量达到接近 GPT-4 的基准水平，令人震撼
太惊人了，Phi-3-mini 在 Llama 3 8B 发布不到一周后就能与之抗衡，而后者在 LMSYS 英文榜上已与 GPT-4 相当。我们现在有了质量接近 GPT-4、能在手机上运行的开源 LLM？当然这些基准不难刷分，且看后续发展……附各模型平均分：Phi-3-mini 71.2、Phi-3-small 74.9、Phi-3-medium 78.2、Llama-3-In 8b 68.0、GPT-3.5 75.3 等。
oersted查看英文原文
Incredible, rivals Llama 3 8B with 3.8B parameters after less than a week of release. And on LMSYS English, Llama 3 8B is on par with GPT-4 (not GPT-4-Turbo), as well as Mistral-Large. Source: https://chat.lmsys.org/?leaderboard (select English in the dropdown) So we now have an open-source LLM approximately equivalent in quality to GPT-4 that can run on phones? Kinda? Wild. (I'm sure there's a lot of nuance to it, for one these benchmarks are not so hard to game, we'll see how the dust settles, but still...) Phi-3-mini 3.8b: 71.2 Phi-3-small 7b: 74.9 Phi-3-medium 14b: 78.2 Phi-2 2.7b: 58.8 Mistral 7b: 61.0 Gemma 7b: 62.0 Llama-3-In 8b: 68.0 Mixtral 8x7b: 69.9 GPT-3.5 1106: 75.3 (these are averages across all tasks for each model, but looking at individual scores shows a similar picture)
质疑质疑基准分数的可靠性，但认为合成数据蒸馏路线有潜力
对这些基准数字要打个大问号。据我所知 Phi-2 的实际表现远差于其基准分数，而 Phi-3 沿用了同样的训练策略。在真实世界测试之前，别急着让 Llama 3 让位。不过小模型做得很好并非不可能——他们的“合成数据”本质上是把 GPT-4 蒸馏进小模型。如果大模型的大部分能力真能转移到小模型，那 Chinchilla 最优训练又变得有意义了：先训练超大模型再蒸馏以高效推理。
modeless查看英文原文
Everyone needs to take these benchmark numbers with a big grain of salt. According to what I've read, Phi-2 was much worse than its benchmark numbers suggested. This model follows the same training strategy. Nobody should be assuming these numbers will translate directly into a high ranking on the LMSYS leaderboard, or usefulness in everyday tasks. Let's not dethrone Llama 3 until some real world testing can be done. That said, I don't think it's impossible for a small model to be very good. I see their "synthetic data" as essentially a way of distilling GPT-4 into smaller models. It would be exciting if a large fraction of the performance of huge models could be transferred to small ones! If true, then Chinchilla-optimal training could make sense again, as you could optimally train a ginormous model and then distill it afterward for efficient inference.
补充认为苹果在 AI 上落后严重，处境堪忧
如果我是苹果我会吓得发抖，他们已经落后太多，永远追不上了，颇有 2010 年诺基亚的味道。
brcmthrowaway查看英文原文
If I was Apple I'd be quaking in my boots. They are getting too far behind to ever catch up. Nokia in 2010 vibes.
质疑调侃工业界论文作者数量过多现象
嗯，一篇“科学”论文有大约 84 位作者。我不知道这说明什么：(a) 内容质量，(b) 学术论文发表正在走向何方，(c) 什么也说明不了，还是 (d) 完全是别的东西。
smartmic查看英文原文
Hm, roundabout 84 authors of one "scientific" paper. I wonder if this says something about (a) the quality of its content, (b) the path were academic (?) paper publishing goes to, (c) nothing at all, or (d), something entirely else.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖411 分 · 130 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选