AI 与机器学习2025arxiv.org
Block Diffusion：在自回归模型与扩散模型之间插值
Block Diffusion: Interpolating between autoregressive and diffusion models
进阶 · 约 40 分钟读完前置知识：自回归语言模型、扩散模型基础、Transformer
导读
这篇论文提出 Block Diffusion，一种在自回归语言模型和扩散语言模型之间插值的生成框架，试图结合两类模型的优势。它关注的核心问题是：能否在扩散式生成与自回归式生成之间取得更好的折中。评论主要围绕这种折中的代价展开，尤其是可编辑早期 token 的能力和块大小对纠错效果的影响。
HN 关注点：能否真正结合两类模型的优点，讨论焦点是块扩散是否牺牲了语言扩散模型可编辑早期 token 的优势、块大小是否削弱纠错效果，以及语言中的“噪声”如何理解。
HN 评论精选
这几条评论里：质疑 2 补充 2
补充推荐动画直观展示块扩散与自回归的差异。
这个动画很直观地体现了差别：https://x.com/_akhaliq/status/1900027075370586262
transitivebs查看英文原文
this animation really makes the difference hit home: https://x.com/_akhaliq/status/1900027075370586262
质疑担忧块扩散牺牲语言扩散模型可编辑早期 token 的优势。
这很酷，但我觉得它丢掉了语言扩散模型最好的一点：能够编辑前面的 token。
mountainriver查看英文原文
This is cool but I feel like you lose the best part of language-diffusion models which is their ability to edit early tokens.
质疑质疑块太小会限制扩散模型纠正自相矛盾回答的效果。
从动画来看，我个人不觉得这会有多大帮助。扩散模型的主要帮助在于避免出现“不。[接着解释为什么答案其实是肯定的]”这类回答；但由于块太小，LLM 还没充分解释完，就不得不说 yes 或 no 了。
85392_school查看英文原文
Based on the animation, I personally don't expect this to be very helpful. The main way diffusion models help is preventing answers like "No. [proceeds to explain why the answer is yes]", and since the blocks are so small, the LLM can't fully explain before it has to say yes or no.
补充追问语言扩散中“噪声”在语义上如何定义和操作。
图像扩散对我来说很好理解：从噪声开始，模型把像素逐步去噪到最终值。这里语言中增加或减少噪声的对应操作是什么？训练或推理中途的“带噪”句子是那种大概正确但不完全对，到 90% 时几乎正确但有个别词（语义上）不太对吗？噪声到底是不是语义层面的，还是别的什么？
bondarchuk查看英文原文
Diffusion on images is easy to understand for me: you start with noise, the model denoises by shifting the pixels towards their final value. What is the equivalent operation for increasing or reducing noise in language here? Is the "noisy" sentence half-way through training or inference sort-of-correct but not really, and at 90% almost-correct but with slightly wrong words (semantically)? Is the noise somehow semantic at all or is it something else?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖156 分 · 32 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选