AI 与机器学习2024arxiv.org
LLaVA-O1：让视觉语言模型逐步推理
LLaVA-O1: Let Vision Language Models Reason Step-by-Step
进阶 · 约 45 分钟读完前置知识：视觉语言模型基础、LLaVA 架构、指令微调
导读
这篇论文提出 LLaVA-O1，一个具备逐步推理能力的视觉语言模型。作者设计了结构化的推理阶段（如描述、分析、推理、结论），并用 GPT-4o 生成的推理数据训练模型，在视觉问答等基准上取得了超出其参数规模的表现。
HN 关注点：视觉语言模型能否像 OpenAI o1 那样进行推理，以及这种“复制 o1 思路”的做法是否算真正的创新。
HN 评论精选
这几条评论里：质疑 3 亲历 1
质疑质疑该工作是照搬 OpenAI o1 的方法和数据，缺乏原创性
用 OpenAI 的模型生成数据，又照搬 OpenAI 模型的思路，这有点令人不满意——就像说你写出了一段能跑的代码，实际上你是反编译了二进制文件再重新编译了一遍。
startupsfail查看英文原文
Generating data with OpenAI model AND copying the approach from OpenAI model. This is a bit unsatisfactory, its like saying you wrote some working code, while in fact you’ve decompiled the binary and then compiled it again.
亲历询问如何微调该模型以识别特定工业场景，并称自己有大量训练数据
微调有哪些选择？比如我有一个 CAD 模型显示一颗螺丝固定在墙上，我能教会它识别出这是一颗固定在墙上的螺丝吗？我有数年积累的潜在训练数据。把这当成一个价值数百万美元的问题来考虑。
resource_waste查看英文原文
What are options to fine tune? For instance, if I have a CAD model of a screw fastened to a wall, can I teach it that its a screw fastened to a wall? I have years worth of potential training data. Consider this a multi-million dollar problem.
质疑质疑 LLaVA 类视觉模型目前缺乏实际应用场景
有人找到 LLaVA 的实际用途了吗？LLaMA 可以用来总结和整理信息，其他一些模型也能当不错的编程助手，但当我向朋友展示 Ollama 时，除了“对，图里就是这个东西”这种派对戏法，我想不出什么有用的场景。对盲人显然有用，但难点在于：能用它的场景，本人往往自己就能看图。也许可以用于监控摄像头配合关键词告警，但我猜误报和漏报会很多。
Larrikin查看英文原文
Has anyone found a use for LLAVA yet? LLAMA can be trusted to summarize and format information, and some of the other models can be OK coding assistances, but when I was showing Ollama off to a friend I struggled to think of anything useful other than a party trick of "yup that's what is in the picture". Obviously it would be useful to blind people, but the hard part is using it for something where the person could just look at the picture. Possibly could be used on a security camera and combined with a basic keyword alert, but I imagine there's a lot of false positives and false negatives.
质疑暗示论文首页图表的坐标轴设计有误导性
首页那张图里 x 轴的选取方式很有意思。
Wilsoniumite查看英文原文
That first page graph has a very interesting choice of x-axis.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2024Hacker News 讨论帖177 分 · 32 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选