AI 与机器学习2025nature.com编辑精选
TabPFN v2：面向小型表格数据的 SOTA 基础模型
Show HN: TabPFN v2 – A SOTA foundation model for small tabular data
进阶 · 约 60 分钟读完前置知识：Transformer 基础、上下文学习、表格机器学习基线（如 XGBoost）
导读
TabPFN v2 是发表于 Nature 的小型表格数据基础模型，基于预训练的 Transformer 进行表格数据的分类与回归，作者宣称在小型数据集上达到 SOTA。论文的核心思路是把表格预测视为上下文学习任务，用大规模合成数据预训练后直接推理，无需针对每个数据集重新训练。
HN 关注点：它在真实场景中能否真正超越 XGBoost/CatBoost 这类成熟的梯度提升方法，以及它与两年前发布的初代版本有何本质区别。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
质疑追问实际使用体验，质疑它是否真的优于成熟的梯度提升基线。
有人试过这个吗？它真的整体上比 xgboost/catboost 更好吗？
ggnore7452查看英文原文
anyone tried this? is this actually overall better than xgboost/catboost?
质疑指出它可能是两年前初代 TabPFN 的延续，质疑其新颖性与局限是否未变。
这很可能是同一个模型、同样的局限，大约两年前就发布了吧？https://arxiv.org/abs/2207.01848
_giorgio_查看英文原文
It's probably the same model with the same limitations, released nearly two years ago? https://arxiv.org/abs/2207.01848
亲历亲测示例数据集上简单 LinearSVC 基线（0.9975）略优于 TabPFN（0.9963），追问是否正常。
感谢这么棒的项目！用法一看就懂，也感谢简短的示例。快速问一下：在 README 的乳腺癌示例中，sklearn 里的简单支持向量机（我碰巧第一个拿来对比基线的）似乎就超过了 TabPFN。这是预期内的吗？我知道这只是演示易用性的基线而非 SOTA 性能，但我很好奇。（TabPFN ROC AUC 0.9963，LinearSVC 0.9975）
gcr查看英文原文
Thanks for such a cool project! It's immediately apparent how to use it and I appreciate the brief examples. Quick question: In the breast cancer example from the README, simple support vector machines from sklearn (the first thing i tried to compare baseline performance, incidentally) seem to outperform TabPFN. Is this expected? I know it's a baseline to demonstrate ease of use rather than SOTA performance, but I am curious. # (TabPFN) In [13]: print("ROC AUC:", roc_auc_score(y_test, prediction_probabilities[:, 1])) ROC AUC: 0.996299494264216 # (LinearSVC) In [27]: from sklearn.svm import LinearSVC In [28]: clf=LinearSVC(C=0.01).fit(X_train, y_train) In [29]: roc_auc_score(y_test, clf.decision_function(X_test)) Out[29]: 0.997532996176144
补充关注行间（跨样本）注意力机制的设计，追问它对准确率的实际贡献与原理。
这看起来太棒了！稍微翻了下代码，似乎模型同时支持特征之间和行之间（代码里用 items 这个词）的自定义注意力机制？如果是这样，行间注意力对准确率的提升明显吗？一般来说，对于标准的回归和分类场景，行（观测）被视为相互独立，但我猜跨行注意力也许能让模型从整体上把握数据，从而在独立性假设成立时也能提升准确率？
tmostak查看英文原文
This looks amazing! Just looking through the code a bit, it seems that the model both supports a (custom) attention mechanism between features and between rows (code uses the term items)? If so, does the attention between rows help improve accuracy significantly? Generally, for standard regression and classification use cases, rows (observations) are seen to be independent, but I'm guessing cross-row attention might help the model see the gestalt of the data in some way that improves accuracy even when the independence assumption holds?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖153 分 · 44 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选