AI 与机器学习2025arxiv.org
排行榜幻觉
The Leaderboard Illusion
进阶 · 约 45 分钟读完前置知识：大模型评测基础、Chatbot Arena 机制、基准污染与过拟合
导读
这篇论文（来自 Cohere 团队）研究 Chatbot Arena 等大模型排行榜的公平性问题，指出头部模型厂商可以通过私下测试多个模型变体、选择性公开最佳成绩等方式在排行榜上获得系统性优势，导致榜单排名并不能真实反映模型能力。论文暗示排行榜机制可能被大厂操纵，公开基准的可信度存疑。
HN 关注点：HN 读者长期依赖 Chatbot Arena 等榜单判断模型优劣，这篇论文直接质疑榜单公正性，引发对基准测试被'应试训练'和操纵的广泛讨论。
HN 评论精选
这几条评论里：支持 2 质疑 1 补充 1
补充Arena 榜单可能驱动模型形成爱用列表、emoji 和谄媚的扭曲风格
另外，我听到很多抱怨说 Chatbot Arena 倾向于奖励：大量使用项目符号、使用 emoji——甚至以牺牲答案准确性为代价。我开始怀疑最近模型的谄媚行为（'这是个绝妙而深刻的想法'）也是被 Arena 分数驱动的。也许用户真的喜欢这些，但这像是一种扭曲的动态，类似社交媒体用户更容易被激怒他们的内容吸引。
ekidd查看英文原文
Also, I've been hearing a lot of complaints that Chatbot Arena tends to favor: - Lots of bullet points in every response. - Emoji. ...even at the expense of accurate answers. And I'm beginning to wonder if the sycophantic behavior of recent models ("That's a brilliant and profound idea") is also being driven by Arena scores. Perhaps LLM users actually do want lots of bullets, emoji and fawning praise. But this seems like a perverse dynamic, similar to the way that social media users often engage more with content that outrages them.
支持利益太大，应默认所有厂商都会针对基准作弊，小团队吃亏
我并不密切关注 AI 模型性能测试，但越来越多报告指出测试结果不可靠，原因是测试数据有意或无意泄漏进训练数据，以及其他'针对考试训练'的手段。ARC AGI 也表示无法独立复现 OpenAI 十二月宣称的突破性分数。现在利益太大，必须把所有 AI 性能测试视为无底线的对抗性较量，默认所有参赛者都会以任何可能方式作弊。大厂团队会搜索并优化每一个可能的漏洞，而小团队、学术和社区兼职团队在非公平环境下得分会偏低。
mrandish查看英文原文
I'm not even following AI model performance testing that closely but I'm hearing increasing reports they're inaccurate due to accidental or intentional test data leaking into training data and other ways of training to the test. Also, ARC AGI reported they've been unable to independently replicate OpenAI's claimed breakthrough score from December. There's just too much money at stake now to not treat all AI model performance testing as an adversarial, no-holds-barred brawl. The default assumption should be all entrants will cheat in any way possible. Commercial entrants with large teams of highly-incentivized people will search and optimize for every possible advantage - if not outright cheat. As a result, smaller academic, student or community teams working part-time will tend to score lower than they would on a level playing field.
支持公开基准已不可信，需要自建私有评测
我觉得这篇 Cohere 的论文很有意思，感觉到了这个阶段你已经不能信任任何公开基准了，真的需要建立自己的私有评测集。
pongogogo查看英文原文
I think this is a really interesting paper from Cohere, it really feels that at this point in time you can't trust any public benchmark, and you really need your own private evals.
质疑刷榜投入之大反而说明厂商对 AGI 进展有信心
大型 LLM 开发商投入大量精力去刷榜，这恰恰表明他们有信心正在朝 AGI 取得进展，并终将收回那几十亿美元和人力投入。
aredox查看英文原文
The fact those big LLM developers devote a significant amount of effort to game benchmarks is a big show of confidence that they are making progress towards AGI and will recoup those billions of dollars and man-hours/s
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2025Hacker News 讨论帖184 分 · 51 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选