AI 与机器学习2020arxiv.org
TLDR：科学文档的极端摘要
TLDR: Extreme Summarization of Scientific Documents
进阶 · 约 35 分钟读完前置知识：自然语言处理基础、文本摘要、Transformer/预训练语言模型
导读
这篇论文提出「TLDR 生成」任务：为一篇科研论文生成一句话级别的极端摘要（比摘要更短），并构建了 SciTLDR 数据集——覆盖 3.2K 篇论文的 5.4K 条 TLDR，其中既有作者自写的，也有通过新标注协议由专家产出的。作者还提出 CATTS 训练策略，把论文标题当作辅助训练信号，在自动指标和人工评测上都优于强基线。
HN 关注点：HN 读者既惊叹生成式摘要进步之快，也质疑这种「已知知识速览」对科研真正的难点——发现未知——帮助有限，另有人指出它其实只是重申摘要的作用。
后来怎么样
论文提出的 SciTLDR 数据集成为科学论文极端摘要的常用基准之一，TLDR 生成任务也被后续摘要研究沿用；CATTS 训练策略本身影响相对有限。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
补充贴出论文摘要并展示模型实际生成的 TLDR，直观说明压缩效果（也暴露了压缩丢失信息）。
很有意思。论文摘要写道：「我们引入 TLDR 生成，一种针对科学论文的新型极端摘要。TLDR 生成需要高压缩率，并要求专家背景知识和对复杂领域语言的理解。为便于研究该任务，我们提出 SciTLDR，一个新多目标数据集，包含 3.2K 篇论文上的 5.4K 条 TLDR。SciTLDR 同时包含作者撰写和专家导出的 TLDR，后者用新颖的标注协议收集，在最小化标注负担的同时产出高质量摘要。我们提出 CATTS，一种简单有效的 TLDR 生成学习策略，利用标题作为辅助训练信号。CATTS 在自动指标和人工评测上均优于强基线。数据和代码已公开。」算法把它总结为：「我们引入 TLDR 生成，一种针对科学论文的新型极端摘要形式，能在最小化标注负担的同时产出高质量摘要。」
Thorncorona查看英文原文
Very cool. Consider the paper's abstract: "We introduce TLDR generation, a new form of extreme summarization, for scientific papers. TLDR generation involves high source compression and requires expert background knowledge and understanding of complex domain-specific language. To facilitate study on this task, we introduce SciTLDR, a new multi-target dataset of 5.4K TLDRs over 3.2K papers. SciTLDR contains both author-written and expert-derived TLDRs, where the latter are collected using a novel annotation protocol that produces high-quality summaries while minimizing annotation burden. We propose CATTS, a simple yet effective learning strategy for generating TLDRs that exploits titles as an auxiliary training signal. CATTS improves upon strong baselines under both automated metrics and human evaluations. Data and code are publicly available at this https URL." The algorithm summarizes it as: “We introduce TLDR generation, a new form of extreme summarization, for scientific papers that produces high-quality summaries while minimizing annotation burden.”
质疑质疑：速览已知知识无助于科研最关键的发现未知环节。
这类工作有助于让人*大致*了解「已知的是什么」，但对研究更重要的一面——知道什么还未知——其实帮助不大。
pcrh查看英文原文
This kind of effort serves the function of helping people to _approximately_ "know what is known", but it's really not very useful to the more important part of research efforts, which is to know what is not known.
支持感叹生成式摘要进展超出预期，同时希望抽取式高亮也成熟起来。
这是很漂亮的工作。我完全没想到，自从 Transformer 出现后，生成式（abstractive）摘要在总体上会比抽取式（extractive）摘要进步得快这么多。我倒是希望词级别的简单高亮（大多数时候能给出有说服力的结果）也能像浓缩式生成摘要这样被算作「基本解决」的问题。
Der_Einzige查看英文原文
This is very neat work, and I would never have predicted that abstractive summarization would end up advancing so much more quickly in general than extractive summarization did from transformers being introduced. Makes me wish that simple highlighting of a document at the word-level was actually a sorta "solved" (gives compelling output more often then not) problem like condensed abstractive summarization is...
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2020Hacker News 讨论帖154 分 · 37 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选