AI 与机器学习2025arxiv.org
LLM 在多轮对话中迷失方向
LLMs get lost in multi-turn conversation
进阶 · 约 45 分钟读完前置知识：大语言模型基础、上下文窗口与提示工程、多轮对话评测方法
导读
这篇论文研究 LLM 在多轮对话中的性能退化问题：随着对话轮数增多，模型容易“迷失”，回答质量显著下降。论文证实了实践者早已观察到的现象——上下文被污染后难以恢复，保持干净的上下文对模型表现至关重要。
HN 关注点：HN 读者长期使用 LLM 工具，这篇论文用实验证实了他们凭经验知道的“多轮对话会降低质量”的现象，引发对上下文管理和产品设计的讨论。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1 亲历 1
支持论文证实了实践者的经验：多轮对话污染上下文且不可恢复，只能开新会话。
很高兴看到一篇论文证实了任何实际使用过 LLM 工具的人都凭经验知道的事：保持上下文干净很重要，“对话”只是产品界面的构造，会损害 LLM 的回答质量；一旦上下文被“污染”就无法恢复，只能开新对话从头再来。
Benjammer查看英文原文
It's nice to see a paper that confirms what anyone who has practiced using LLM tools already knows very well, heuristically. Keeping your context clean matters, "conversations" are only a construct of product interfaces, they hurt the quality of responses from the LLM itself, and once your context is "poisoned" it will not recover, you need to start fresh with a new chat.
补充LLM 缺乏主动澄清的能力，这削弱了其取代需要与需求方反复沟通的程序员的可能性。
这似乎是 LLM 众所周知的过度自信、无法自我反思的又一体现——它们意识不到自己应该向用户索要更多细节。看推理模型的输出就会发现，它们几乎从不想到要求澄清，困惑时只会无休止地猜测用户的意思。这对“取代人类程序员”的想法也有启示：编程的难点之一正是通过与需求方互动，把模糊混乱的想法转化为精确的规格说明。
Sharlin查看英文原文
Seems like this is an aspect of their well-known overconfidence and the inability to self-reflect and recognize they have to ask for more details because their priors are too low. If you look at the output of reasoning models, it’s clear that the idea of asking for clarification very rarely occurs to them – when they’re confused, it’s just endless speculation of what the user might have meant. This, of course, has certain implications as to the wisdom of the idea of “replacing human programmers”, given that one of the hard parts of the trade is trying to turn vague and often confused ideas into precise specifications by interacting with the shareholders.
亲历作者分享了自己的解法：用第二个“策展”系统动态管理上下文，把大任务拆成小任务。
我一直在解决这个问题并取得了不错的进展，很快会分享更多。方案是用两个系统：一个是 LLM 本身，另一个充当“思想策展人”，动态地换入换出上下文片段。该系统不依赖显式定义，而是依靠 LLM 自行“填补空白”，帮助模型把问题拆解成小任务，再逐步聚合为完整任务。
zacksiri查看英文原文
I've been working on solving this with quite a bit of success, I'll be sharing more on this soon. It involves having 2 systems 1st system is the LLM itself and another system which acts like a 'curator' of thoughts you could say. It dynamically swaps in / out portions of the context. This system is also not based on explicit definitions it relies on LLMs 'filling the gaps'. The system helps the llm break down problems into small tasks which then eventually aggregate into the full task.
质疑吐槽 LLM 领域重复造轮子，同一问题被反复解决。
我觉得 LLM 领域现在就是一堆人在反复解决和重新解决同样的问题。
permo-w查看英文原文
I feel like at this point the LLM space is just filled with people solving and resolving the same problems over and over
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖374 分 · 259 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选