AI 与机器学习2024arxiv.org
BERT 是生成式上下文学习器
BERTs Are Generative In-Context Learners
进阶 · 约 45 分钟读完前置知识：BERT 与掩码语言模型、GPT 与因果语言模型、上下文学习概念
导读
这篇论文研究 BERT 式双向模型是否具备生成式上下文学习（in-context learning）能力，并提出一种简单推理技巧——在 prompt 末尾放置若干 [MASK] token，使 BERT 类模型无需额外训练即可完成上下文学习。评论指出，T5 等基于 MLM 的模型早前已被证明具有类似能力，并围绕 BERT 在 LLM 时代是否仍有相关性展开讨论。
HN 关注点：BERT 在 LLM 时代是否仍有价值，以及上下文学习是否真是因果语言模型的专利。
HN 评论精选
这几条评论里：质疑 2 补充 2
补充早前研究已证明 T5/MLM 模型具备上下文学习能力，且小模型可媲美大 GPT-3。
我们几年前在 ICLR 论文（https://arxiv.org/pdf/2209.14500）中也发现了同样的结果。我们发现 Google 2019 年发布、早于 GPT-3 的 T5 模型，用简单的推理技术就能“暗中”具备上下文学习能力。由于它们使用双向 MLM 目标，这一点并不显而易见，但已知 MLM 目标能产生比因果（下一 token 预测）目标更好的语言表示。我们用小得多的 T5 模型就超越了规模大得多的 GPT-3 模型，或非常接近其性能。
patelajay285查看英文原文
We found the same result a few years ago in our ICLR paper: https://arxiv.org/pdf/2209.14500 We found Google's T5 models which were released in 2019, pre-GPT-3, were "secretly" capable of in-context learning with a simple inference technique. Given they use a bidirectional MLM (Masked Language Modeling) objective, it wasn't obvious how to do it, but MLM objectives are known to produce better language representations than causal (next token prediction) objectives. We were able to outperform much larger sized GPT-3 models or get very close to their performance with far smaller T5 models.
质疑质疑论文新颖性，并指出 BERT 真正的瓶颈是训练效率而非能力。
所谓“简单到令人尴尬的推理技术”，就是在 prompt 末尾放一堆 [MASK] token。我不太理解这篇论文说了什么新东西。原始 BERT 论文已经将其与包括 GPT 在内的因果模型做了有利的比较。难道有人怀疑 BERT 式模型能做上下文学习吗？据我（非专家）的理解，BERT 的问题在于扩展/训练效率：GPT 从长度为 C 的训练输入中得到 C-1 个训练样本，而 BERT 只得到 0.15*C 个。确实，作者指出 DeBERTa 需要比 GPT-3 多 3 倍的计算量才能达到报告的性能水平，这说得通。
jsenn查看英文原文
The "embarrassingly simple inference technique" is to put a bunch of [MASK] tokens at the end of the prompt. I'm having trouble understanding whether this paper is saying anything new. The original BERT paper already compared it favourably to causal models including GPT. Was there any doubt that BERT-style models could be in-context learners? From what I gather as a non-expert, the problem with BERT is scaling/training efficiency: GPT gets C-1 training examples out of a training input of length C, but BERT only gets 0.15*C examples. Indeed, the author points out that DeBERTa required 3x more compute than GPT-3 to achieve the level of performance reported, which makes sense.
质疑质疑 BERT 在 LLM 时代是否仍有相关性。
作为一个理解非常有限、但曾尝试用 BERT 做分类的人，我想问：与 LLM 相比，BERT 现在还有相关性吗？我问这个是因为现在已经很少看到有人提 BERT 了。
srameshc查看英文原文
As someone who has very limited understanding but tried to use BERT for classification, is BERT still relavant when compared to LLMs ? Asking because I hardly see any mention of BERTs anymore.
补充追问主流 SOTA 模型是否都是因果架构。
我们是否知道当前 SOTA 基础模型（Gemini、gpt4o、Claude 等）是否实际上都是 GPT 式的（即因果模型）？
Ldorigo查看英文原文
Do we a know whether the current SOTA foundation models (Gemini, gpt4o, Claude, etc) are actually all GPT-based (as in, causal models)?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖141 分 · 46 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选