AI 与机器学习2025arxiv.org
预算约束下的自适应 LLM 路由
Adaptive LLM routing under budget constraints
进阶 · 约 45 分钟读完前置知识：LLM API 与定价机制、模型蒸馏/大小模型差异基础、偏好数据与奖励模型基础
导读
这篇论文研究在成本预算约束下如何在多个 LLM 之间进行自适应路由：根据问题的难度和需求，把简单请求分配给便宜的小模型、把复杂请求交给昂贵的大模型，从而在性能与成本之间取得平衡。核心思路是利用人类偏好数据训练路由器，以在大幅降低成本的同时尽量保持回答质量。
HN 关注点：LLM API 成本差异巨大（可达百倍），路由能否在实际应用中省钱，以及如何衡量'性能'是否真的可以牺牲一部分来换取成本。
HN 评论精选
这几条评论里：支持 1 质疑 2 亲历 1
支持成本差距高达百倍，即使路由出错率较高经济上仍划算，但性能衡量标准存疑
GPT-4 每百万 token 24.7 美元，Mixtral 只要 0.24 美元——成本差 100 倍！即使路由有 20% 的概率选错，经济账依然划算。但真正的问题是如何衡量'性能'——用户满意度并不总是与技术指标相关。
pbd查看英文原文
GPT-4 at $24.7 per million tokens vs Mixtral at $0.24 - that's a 100x cost difference! Even if routing gets it wrong 20% of the time, the economics still work. But the real question is how you measure 'performance' - user satisfaction doesn't always correlate with technical metrics.
质疑质疑是否真的需要人类偏好数据，LLM 自身或许就能判断问题复杂度
为什么需要人类偏好数据？LLM 对问题复杂度不是已经有足够强的认知了吗？难道不能直接用它来构建路由数据集？
fny查看英文原文
Is there a reason human preference data is even needed? Don't LLMs already have a strong enough notion of question complexity to build a dataset for routing?
亲历亲历：目前 AI 成本占比很低，企业降本和价格弹性研究都为时尚早
我很好奇：a) 是否有人真的遇到过以 LLM API 为目标的企业降本行动；b) 是否有关于不同性能级别 LLM 价格弹性的实证研究。就我的经验而言，现在大多数人和应用还不需要担心成本——我见过的场景中 AI 最多占云成本的 10%。很好奇其他人是否有不同的经历。
hackathonguy查看英文原文
I'm very curious whether a) anecdotally, anyone has encountered a real enterprise cost-cutting effort focused on LLM APIs and b) empirically, whether anyone has done any research on price elasticity in LLMs of different performance scales. So far, my experience has been that it's just too early for most people / applications to worry about cost - at most, I've seen AI to be accountable for 10% of cloud costs. But very curious if others have other experiences.
质疑认为路由这类工程优化成为热点，说明 LLM 的根本性性能提升已经放缓
这真的是 LLM 研究的前沿吗？看来我们短期内是等不到 AGI 了。说实话，这让我对未来没那么担心了。（补充：我从没指望 LLM 能带来 AGI，这只是讽刺。我只是觉得值得注意的是，LLM 性能的根本性提升似乎已经枯竭了。）
andrewflnr查看英文原文
Is this really the frontier of LLM research? I guess we really aren't getting AGI any time soon, then. It makes me a little less worried about the future, honestly. Edit: I never actually expected AGI from LLMs. That was snark. I just think it's notable that the fundamental gains in LLM performance seem to have dried up.
历次讨论
- 2025Hacker News 讨论帖206 分 · 78 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选