AI 与机器学习2025arxiv.org
LLM 可自我教导以更好地预测未来
LLMs can teach themselves to better predict the future
进阶 · 约 35 分钟读完前置知识:大语言模型基础、知识蒸馏、自博弈/强化学习
导读
这篇论文研究如何提升 LLM 对未来事件(如天气、经济指标)的预测能力。核心做法是让模型自我博弈式地学习:先让模型对历史数据中的事件进行长时间推理预测,再将推理过程蒸馏回模型,从而无需额外标注数据即可自我改进预测能力。
HN 关注点:是因为“提升预测能力”正是 AI 风险讨论中的关键能力,与 LessWrong 上广为流传的《AI 如何在两年内接管世界》一文中的情节高度呼应,引发了对 AI 自我改进路径的讨论。
HN 评论精选
这几条评论里:质疑 2 补充 1 亲历 1
亲历作者本人现身答疑
大家好,我是本文作者之一 Danny,有任何问题欢迎 AMA!
dantheman252查看英文原文
Danny here, one of the authors of this paper. If anyone has any questions or anything feel free to AMA!
补充指出论文方法与 AI 风险叙事中“预测能力自我增强”情节的惊人相似
“提升预测能力”正是最近那篇《AI 接管世界可能在两年内发生》虚构叙事中的核心情节。文中写道:研究人员需要能提前思考的 AI 智能体,于是训练智能体做预测——用 2024 年之前的数据训练,让模型花数小时推理来预测 2025 年的事件,然后用同样的技巧把“深思”蒸馏成直觉反应。预测能力是广泛的基础,研究者再在其上构建专门的 ML 研究技能,训练模型预测所有已记录的 ML 论文和实验的结果。
anotherpaulg查看英文原文
"Improving forecasting ability" is a central plot point of the recent fictional account of How AI Takeover Might Happen in 2 Years [0]. It's an interesting read, and is also being discussed on HN [1]. ... [T]hese researchers are working long hours to put themselves out of a job. They need AI agents that can think ahead, so engineers train agents to forecast. They hold out training data before 2024, instructing models to ponder for hours to predict events in 2025. Then, they apply the same trick as before, distilling pondering into a gut reaction. Forecasting ability is a broad foundation. The researchers build specialized ML research skills on top of it, training U3 to predict the results of every ML paper and ML experiment ever recorded. [0] https://www.lesswrong.com/posts/KFJ2LFogYqzfGB3uX/how-ai-takeover-might-happen-in-2-years [1] https://news.ycombinator.com/item?id=43004579
质疑质疑 transformer 是否真正具备推理能力,同时认可自我博弈思路
但这真的是推理吗?认真问一下 transformer 的底层架构问题。另外,自我博弈看起来是很直观的方法,DeepMind 也有一篇关于博弈的有趣论文。
4b11b4查看英文原文
but is it really reasoning? honest question re the underlying architecture of transformers also, self play seems quite an intuitive approach. There's another interesting paper from deep mind about play
质疑对预测模型持怀疑态度,以天气预报为试金石
我对预测模型的检验标准是:哪天它们能预测天气、让预报再无不确定性,我才会相信它们说“今天很热”时外面真的很热。
nadermx查看英文原文
My thermometer for prediction models is the day they can predict the weather so there is never any unknown about the forcast. Is when I'll begin to believe its hot out when they tell me.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖176 分 · 86 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选