AI 与机器学习2025arxiv.org
Extract-0：面向文档信息抽取的专用语言模型
Extract-0: A specialized language model for document information extraction
进阶 · 约 25 分钟读完前置知识：大语言模型基础、信息抽取任务、监督微调与合成数据
导读
论文提出 Extract-0，一个专门用于文档信息抽取的小型语言模型：作者构建了约 28.1 万条增强样本（其中 1000 条留作基准测试集）来训练和评测该模型，主张在特定抽取任务上以较小的参数规模取得优于通用模型的表现。评论者指出，这类结论主要说明模型在自身同分布数据和固定 JSON 输出格式上做了特化，尚缺乏跨基准（如 docbench）的验证。
HN 关注点：HN 读者一方面质疑其评测只用同源数据、不具备说服力，另一方面借它讨论“AI 下一步靠为特定任务微调的小模型”这一趋势。
HN 评论精选
这几条评论里：支持 1 质疑 2 亲历 1
质疑评测集与训练集同源，特化优势不能说明泛化能力，应补充外部基准。
文中说生成了 281,128 条增强样本，其中 1000 条留作基准测试集。也就是说，这个模型用 28 万条自建数据训练，再用同一数据集里 1 千条高度相似的样本测试。那它当然会在这一特定任务、特定领域、特定 JSON 输出格式上跑赢通用模型。作为业余项目，以及合成数据生成的思路，这挺合理也挺有趣，但算不上亮眼的研究。至少应该在 docbench 等做类似任务的其他基准上测一测。
mnkv查看英文原文
> the generation of 281,128 augmented examples, from which 1,000 were held out as a benchmark test set. This model is trained on a custom dataset of 280k examples then tested on 1k very similar examples from the same dataset. Of course it is specialized to outperform general models on this specific task in this specific domain with this specific json format for output. This is a reasonable hobby project and interesting approach to synthetic data generation but not impressive research. At minimum you should test your model on other benchmarks that have similar tasks e.g. docbench
亲历实际产品经验：通用大模型在垂直任务上反而退步，未来靠 fit-for-purpose 微调。
看起来 AI 接下来的重大跃升，都要靠针对具体用途的微调模型。GPT5 之后的一切都只是“还行”：聊天更好（某种程度上，取决于你的语气偏好），写代码/用工具强很多。但在我们的产品里（用 AI 规划迁移方案），它们反而变差了，因为它们总想聊天或者写代码。我本以为编程知识会迁移过来，结果并没有！尤其是 Claude，特别想改我们的代码，或者把已有的方案解释给我听。我们现在靠示例和动态 prompt 绕过这个问题，但很明显微调是迟早的事。我猜接下来几年，大部分所谓广义 AI 的成功都会长这个样子。
trjordan查看英文原文
It really seems like all the next big leaps in AI are going to be fine-tuning fit-for-purpose models. Everything past GPT5 has been ... fine. It's better at chat (sort of, depending on your tone preferenc) and way better at coding/tool use. In our product (plan out a migration with AI), they've gotten worse, because they want to chat or code. I'd have expected the coding knowledge to generalize, but no! Especially Claude really wants to change our code or explain the existing plan to me. We're getting around it with examples and dynamic prompts, but it's pretty clear that fine-tuning is in our future. I suspect most of the broad-based AI success is going to look like that in the next couple years.
支持专业化小模型是行业演进方向。
LLM 的进步方向就是把它们拆成专用系统，用低参数量换高性能。我们已经到了模型会越来越小、越来越紧凑的阶段。
era37查看英文原文
LLMs are only going to improve by fragmenting them into specialized systems for low parameter high performance results. We’ve reached the point where models will get smaller and more compact
质疑追问模型权重/代码是否公开，涉及可复现性。
有人有这模型的链接吗？我在 arXiv 页面上似乎找不到。
uxcolumbo查看英文原文
Anybody have a link to this model? Can't seem to see it on the arxiv site.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖195 分 · 58 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选