AI 与机器学习2024arxiv.org编辑精选
MM1：多模态 LLM 预训练的方法、分析与洞见
MM1: Methods, Analysis and Insights from Multimodal LLM Pre-training
进阶 · 约 90 分钟读完前置知识：多模态大语言模型基础、视觉 Transformer 基础、LLM 预训练流程
导读
苹果发布的 MM1 论文研究了多模态大语言模型（MLLM）的预训练方法，系统分析了视觉编码器、视觉-语言连接器和训练数据等架构与数据选择对性能的影响，并总结出若干设计原则。论文还介绍了由此构建的 MM1 模型系列。
HN 关注点：这是苹果罕见地公开分享 LLM 预训练细节，HN 读者关注其技术价值，同时吐槽相关报道质量低劣、以及 Siri 十年毫无进步。
HN 评论精选
这几条评论里：质疑 2 补充 2
质疑批评链接的文章是低质量软文，甚至疑似 AI 生成，并非真正的论文分析
MM1 是一篇研究论文，不是竞品的发布。论文本身应该很有意思，我期待看到懂行的人写的分析，但这篇文章不是那种分析——它是一篇极其敷衍的软文，更想博眼球而不是准确描述论文。我很少这么说，但这篇文章读起来简直像 AI 写的。
lolinder查看英文原文
MM1 is a research paper, not a release of a competing product. I'm sure the paper is interesting and am looking forward to reading an analysis of it by someone who understands these things better than I do, but this is not that analysis, it's an extremely low-effort puff piece that is more interested in getting attention than in accurately describing a research paper. I don't usually say this, but TFA frankly feels like it was written by AI: > The release of MM1 by Apple contributes significantly to the artificial intelligence domain, offering a detailed roadmap for the development of future MLLMs. By sharing the insights and design principles gleaned from MM1, Apple not only challenges the current capabilities of models like ChatGPT but also invites the broader AI community to build upon their findings, potentially leading to more sophisticated and capable AI systems.
质疑讽刺语音助手十年无实质进步，质疑为此投入巨额算力是否值得
如果需要一个通用人工智能才能做出能记住两个独立烹饪计时器的语音助手，那就随它去吧。想象一下需要多少 GPU！我至今对 Siri 和 Google 助手感到困惑：十年间几乎零创新。我只是想在手湿的时候打开 BBC 电台，这真的很难吗？！
erulabs查看英文原文
If it’s going to take general artificial intelligent to get a voice assistant that can remember not one, but two entirely separate cooking timers, then so be it. Imagine the GPUs required! I’m still baffled at Siri and Google assistant. Virtually zero innovation in a decade. I just want to be able to turn on BBC radio while my hands are wet, is that really so hard?!
补充猜测 MM1 与苹果收购 DarwinAI 有关，期待 Siri 因此受益
我想知道这是否和他们收购 DarwinAI 有关。在平庸了十年之后，我很乐意看到 Siri 变得更聪明。到这个地步，任何改进都欢迎。
a_vanderbilt查看英文原文
I wonder if this has anything to do with their acquisition of DarwinAI. After a decade of mediocrity, I'd love to see Siri get smarter. Any improvement would be welcome at this point.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖179 分 · 60 评
- 2024Hacker News 讨论帖70 分 · 2 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选