AI 与机器学习2024arxiv.org
Chameleon：Meta 的新型多模态 LLM
Chameleon: Meta’s New Multi-Modal LLM
进阶 · 约 90 分钟读完前置知识：Transformer 基础、多模态模型基础、大模型训练常识
导读
Meta 发布的 Chameleon 是一个早期融合的多模态大语言模型，能以统一的 token 空间同时理解和生成文本与图像，无需为不同模态使用独立的编码器/解码器。论文介绍了其架构设计、训练方法（如训练早期对注意力施加约束以稳定训练）以及在各类基准上的表现。
HN 关注点：Meta 新发布的开源多模态模型的技术路线，并讨论其与 GPT-4o、Gemini 等已有多模态方案的异同。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
补充估算 Chameleon 训练成本约 10 万美元电费，感叹算力投入巨大且模型迭代过快
我理解得对吗：训练耗时 4,282,407 小时，保守按 200W GPU 算，约耗电 1 GWh，按每度电 10 美分约 10 万美元。也就是说单块家用 GPU 要训练 500 年、电费 10 万美元；实际相当于 3000 块 GPU 跑两个月。AI 行业只能指望世界变化得不够快，否则这些模型很快就会过时。
mjburgess查看英文原文
Am I reading this correctly: Training time was 4282407hrs. At, conservatively, 200w gpus, that's (4282407*200)/1_000_000_000 GWh ~= 1 GWh. At 10c/kWh that's $100,000 ? So if you have a single eqv GPU at home, it's 500yrs of training time and $100k in energy costs. Or, in practice, 3000 gpus for 2mo. The AI industry has to hope the world doesnt change fast enough for these models to be useless. EDIT: price is $100k
质疑质疑论文对'早期融合是创新'的表述，认为现有模型可能早已采用类似做法
论文声称'近期多模态基础模型仍对不同模态分开建模，常使用模态专属的编码器或解码器'，这准确吗？我记得 Gemini Pro 用图像 token，GPT-4o 也类似。而且他们说自己预训练了两个不同的 tokenizer，那所谓'无需独立的图像/文本编码器'可能只是指 token 进入同一个注意力层？但印象中所有多模态模型本来就是这么做的。另外论文里还有 stabilize 和 multiplicate 两处拼写错误。
aconz2查看英文原文
> Recent multimodal foundation models are very widely adopted but still model different modalities separately, often using modality specific encoders or decoder Is this accurate? I thought for example gemini pro used image tokens and gpt4-o similar > without the need for separate image/text encoders but then they say they pre-trained two different tokenizers, so maybe they just mean that the tokens go into the same attention layer? But then I thought that is how all the multi-modal stuff was happening already? two typos stabilitize and multiplicate
补充感叹 AI 领域更新太快、营销噪音太多，建议以深挖论文的方式跟进
这波技术浪潮最显著的特点就是节奏太快。好的一面是有很多有趣的东西，而且通常容易弄清他们做了什么；坏的一面是让人疲惫，而且钱太多，感觉绝大部分都是割韭菜，连那些做内容汇总的人（比如 LinkedIn 上的 AI 网红）恰恰是最会割韭菜的。我发现最好的跟进方式是：选一个想学的主题深挖，读遍相关论文，再从那里广度优先地扩展到下一个主题。
elijahbenizzy查看英文原文
What's cool (and tough to keep up with) with this wave of tech is just how quickly it moves. On the plus side there's a lot of interesting things and it is generally easy to follow/figure out what they did. On the minus side it's a little exhausting, and there's so much money in it feels like the vast majority of it is grifting. To add to that, the people who are trying to catalog it (the AI guy on LI) are the griftiest of them all. I've found the best way to keep up is find one topic you want to learn about, deep-dive, and read all the related papers, then explore breadth-first from there until you find another topic...
亲历吐槽论文反复强调训练数据合规性，像是在做免责声明
每三句话就有一句是'该模型未使用 Meta 产品数据进行训练'。
md_rumpf查看英文原文
every 3rd sentsnce is "the model was not trained on data from meta's products"
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖304 分 · 40 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选