AI 与机器学习2024arxiv.org
σ-GPTs：自回归模型的一种新方法
σ-GPTs: A new approach to autoregressive models
进阶 · 约 45 分钟读完前置知识：Transformer 基础、自回归模型、条件概率与采样
导读
σ-GPT 研究的是能否让自回归语言模型摆脱固定的从左到右生成顺序。做法相当克制：训练时随机打乱 token 的顺序，并给每个 token 加两个位置编码——一个表示它自身在序列中的位置，另一个表示待预测 token 的位置；其余仍是标准 GPT。这样改完之后，模型可以并行地一次填补出所有缺失 token、并行算出它们的条件概率密度，并用一种拒绝采样方法成批生成，而不必逐个解码。
HN 关注点：HN 读者被"极简改动换来并行 infill 能力"这一点吸引，讨论也延伸到自回归范式本身能否解决幻觉、通向 AGI 的争论。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1 亲历 1
支持详解机制：随机打乱顺序加双位置编码，让标准 GPT 获得并行 infill 与条件密度估计能力。
看起来很赞。作者在训练时随机置换（打乱）输入 token，并给每个 token 加两个位置编码：一个是 token 自身的位置，另一个是待预测 token 的位置。除此之外，模型就是标准的自回归 GPT。这个看似"简单"的改动带来几个重要后果：1）可以用序列的一部分作为提示，然后并行地一次性解码缺失的 token，与顺序无关，即并行 infill；2）可以并行计算序列中每个缺失 token 的条件概率密度；3）作者提出用拒绝采样并行生成 infill token，实践中效果似乎不错。我已把它加入阅读清单，感谢在 HN 分享。
cs702查看英文原文
This looks great. The authors randomly permute (i.e., shuffle) input tokens in training and add two positional encodings to each token: one with the token's position and another with the position of the token to be predicted. Otherwise, the model is a standard autoregressive GPT. The consequences of this seemingly "simple" modification are significant: * The authors can prompt the trained model with part of a sequence and then decode the missing tokens, all at once, in parallel, regardless of order -- i.e., the model can in-fill in parallel. * The authors can compute conditional probability densities for every missing token in a sequence, again in parallel, i.e., densities for all missing tokens at once. * The authors propose a rejection-sampling method for generating in-fill tokens, again in parallel. Their method seems to work well in practice. I've added this to my reading list. Thank you for sharing it on HN.
质疑引 LeCun 观点质疑：自回归范式有根本局限，解决不了幻觉，也通不到 AGI。
Yann LeCun 会说，问题恰恰出在自回归本身，这类机器学习永远无法把我们带到接近 AGI 的地方。至少，在自回归范式内无法解决幻觉问题。
optimalsolver查看英文原文
Yann LeCun would say [0] that it's autoregression itself that's the problem, and ML of this type will never bring us anywhere near AGI. At the very least you can't solve the hallucination problem while still in the autoregression paradigm. [0] https://twitter.com/ylecun/status/1640122342570336267
亲历补充论文要点与作者项目页、推文串，并提到扩散基线意外能解寻路任务。
核心想法是训练模型以随机顺序生成序列，从而支持条件密度估计、infill，以及通过一种新的拒绝采样方法"成批"生成序列。在探索这个想法时，我们还与离散扩散基线做了比较，后者同样支持成批生成。令我们惊讶的是，扩散模型能够解决寻路（path-finding）任务，为此写了一个简短的推文串。（附作者项目页与推文串链接）
skilled查看英文原文
> The main idea is to train the model to generate sequences in a random order, which allow conditional density estimation, infilling and generating sequences by burst using a novel rejection sampling method. > In exploring that idea, we aslo compared to a discrete diffusion baseline, which also allows to generate sequences in burst. We were surprised to see that diffusion models were able to solve path-finding task and we made a short Twitter thread The said thread: https://nitter.poast.org/ArnaudPannatier/status/1762864347397628396 And a showcase here: https://www.idiap.ch/~apannatier/sigma-gpt/ (excerpt taken from here: https://www.idiap.ch/~apannatier/)
补充设想交互方式：让用户点选 prompt 的中心词来引导生成。
再给用户加个"自动对焦"，让用户点击提示词里作为"中心"的那个词，那就真有点东西了。
hammock查看英文原文
Add to this some kind of "autofocus" for the user to click on the word that is the "center" of the prompt and you've really got something
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖293 分 · 93 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选