AI 与机器学习2018arxiv.org编辑精选
BERT：用于语言理解的深度双向 Transformer 预训练
BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding
进阶 · 约 90 分钟读完前置知识：Transformer 架构、语言模型预训练基础、NLP 下游任务（如问答、分类）
导读
Google 提出的 BERT 通过双向 Transformer 的预训练（掩码语言模型等任务）学习语言表示，再微调即可在多项 NLP 任务上取得当时的最优结果。论文强调双向预训练对语言理解的重要性，并承诺开放代码和预训练模型。
HN 关注点：这是 NLP 预训练模型的里程碑工作，HN 读者关注它与 ULMFiT 等已有预训练方法的对比，以及模型和代码何时开放。
后来怎么样
BERT 成为 NLP 预训练的标准范式，被广泛微调应用于各类语言理解任务，并引出 RoBERTa、ALBERT 等一系列后续改进工作。
HN 评论精选
这几条评论里：支持 1 补充 2
支持期待官方承诺开放的代码和预训练模型
太棒了！论文说代码和预训练模型将在 2018 年 10 月底前在 goo.gl/language/bert 发布。
pacala查看英文原文
Fantastic! > The code and pre-trained model will be available at https://goo.gl/language/bert. Will be released before the end of October 2018.
补充求解释论文中的核心概念
论文说“我们证明了双向预训练对语言表示的重要性”——有人能帮我解释一下 bidirectional（双向）和 pre-trained（预训练）是什么意思吗？
zimzim查看英文原文
"We demonstrate the importance of bidirectional pre-training for language representations". can some one help me understand what bidirectional and pre-trained means?
补充询问 BERT 与 ULMFiT 这类预训练方法的异同
这和 fast.ai 的 ULMFiT 可比吗？ULMFiT 同样提供无监督预训练模型，微调后也能在 NLP 任务上达到最优水平。
wodenokoto查看英文原文
Is this comparable to fast.ai's ULMfit, which also promises an unsupervised pretrained model, that can be tuned to best state-of-the-art NLP tasks?
历次讨论
- 2018Hacker News 讨论帖78 分 · 5 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选