AI 与机器学习2022arxiv.org
OPT：开放预训练 Transformer 语言模型
OPT: Open Pre-trained Transformer Language Models
进阶 · 约 75 分钟读完前置知识：Transformer 基础、语言模型预训练、分布式训练
导读
这是 Meta（Facebook）发布的 OPT 系列开放预训练语言模型论文，模型规模从 125M 到 175B 参数，其中最大的 OPT-175B 与 GPT-3 Davinci 体量相当，对学术及非营利研究者开放申请。论文同时坦承模型的局限：难以遵循指令、易重复循环、毒性语言与刻板印象倾向较高，作者认为尚不适合商用部署。
HN 关注点：“GPT-3 级别模型首次开放给研究界”这一信号，以及论文自曝的缺陷和它与 GPT-3、PaLM 的对比，并由此引出 OpenAI 为何不开放 GPT-3 的讨论。
后来怎么样
OPT 是首批开放的百亿到千亿参数级 GPT-3 复现模型之一，推动了开放大模型研究与后续开源模型生态；OPT 系列常被用作研究基线和开放模型基础。
HN 评论精选
这几条评论里：质疑 1 补充 3
补充确认 OPT-175B 与 GPT-3 Davinci 同量级，并给出开放范围与仓库链接。
“我们将发布所有 125M 到 30B 参数的模型，并对申请者开放 OPT-175B 的完整研究访问权限。访问将授予学术研究者，以及政府、公民社会和学术界相关机构的人员，还有产业研究实验室的研究者。”GPT-3 Davinci（也就是“那个” GPT-3）是 175B。代码仓库“明天一早”就会公开，地址是 github.com/facebookresearch/metaseq/。
MasterScrat查看英文原文
"We are releasing all of our models between 125M and 30B parameters, and will provide full research access to OPT-175B upon request. Access will be granted to academic researchers; those affiliated with organizations in government, civil society, and academia; and those in industry research laboratories." GPT-3 Davinci ("the" GPT-3) is 175B. The repository will be open "First thing in AM" (https://twitter.com/stephenroller/status/1521302841276645376): https://github.com/facebookresearch/metaseq/
补充逐条摘录论文自述的局限：指令遵循差、易重复、毒性高于 PaLM/Davinci、偏见更强。
快速总结一下论文的 Limitations 部分：OPT-175B 处理陈述式指令或直接的疑问句效果不好；它倾向于重复，容易陷入循环，采样虽能降低重复率，但据作者的经验，只采样一次并不能完全消除；即使给出相对无害的提示，它也很容易生成毒性语言、强化有害刻板印象，而且对抗性提示非常容易找到。总结来说，作者仍认为这项技术尚不成熟、不宜商用部署。关于刻板印象：与表 4 中的 Davinci 相比，OPT-175B 除宗教外几乎所有类别都表现出更强的刻板偏见，这很可能源于训练数据差异——Pushshift.io Reddit 语料中的刻板印象和歧视性文本出现率高于维基百科等语料。在 RealToxicityPrompts 数据集上测试时，OPT-175B 的毒性率高于 PaLM 和 Davinci。
thorum查看英文原文
A quick summary of the Limitations section: - "OPT-175B does not work well with declarative instructions or point-blank interrogatives." - "OPT-175B also tends to be repetitive and can easily get stuck in a loop. While sampling can reduce the incidence rate of repetitive behavior (Holtzman et al., 2020), we anecdotally found it did not eliminate it entirely when only one generation is sampled." - "We also find OPT-175B has a high propensity to generate toxic language and reinforce harmful stereotypes, even when provided with a relatively innocuous prompt (Gehman et al., 2020), and adversarial prompts are trivial to find." - "In summary, we still believe this technology is premature for commercial deployment." With regard to stereotypes: - "When compared with Davinci in Table 4, OPT175B appears to exhibit more stereotypical biases in almost all categories except for religion. Again, this is likely due to differences in training data; Nangia et al. (2020) showed that Pushshift.io Reddit corpus has a higher incidence rate for stereotypes and discriminatory text than other corpora (e.g. Wikipedia)." - When testing with the RealToxicityPrompts data set, "OPT-175B has a higher toxicity rate than either PaLM or Davinci"
补充补充：另一开源 175B 模型（BigScience/BLOOM）也在路上。
BigScience（包含 Huggingface 在内的一个联盟）正在训练并即将发布一个 175B 的语言模型，两个月后完成。
crazypython查看英文原文
BigScience (a coalition including Huggingface) is training and releasing a 175B language model and finishes in 2 month.
质疑质疑动机：闭源可能是因为成本高、需靠 API 过滤不良输出。
我常想，OpenAI 决定不开放 GPT-3，是不是因为训练成本相对于它真正的价值来说太高了。他们把模型藏在 API 后面，这样就能过滤掉大部分愚蠢行为，而所有人还以为他们在搞完全不同的东西。
lumost查看英文原文
I often wonder if OpenAIs decision not to open gpt-3 was because it was to expensive to train relative to its real value. They’ve hidden the model behind an api where they can filter out most of the dumb behaviors, while everyone believes they are working on something entirely different.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2022Hacker News 讨论帖461 分 · 224 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选