AI 与机器学习2024arxiv.org
LongRoPE：将 LLM 上下文窗口扩展到 200 万 token 以上
LongRoPE: Extending LLM Context Window Beyond 2M Tokens
进阶 · 约 50 分钟读完前置知识：RoPE 位置编码、Transformer 注意力机制、LLM 微调
导读
这篇论文提出 LongRoPE 方法，将大语言模型（LLaMA2）的上下文窗口扩展到超过 200 万 token。其核心做法包括非插值式的位置编码微调、渐进式训练策略（先短后长）以及针对超长上下文的搜索优化，在大幅扩展窗口的同时保持短上下文任务的性能。
HN 关注点：超长上下文是当前 LLM 领域的热点，它可能让 RAG 等复杂检索方案变得不再必要，因此 HN 读者围绕长上下文的实际价值、算力成本和实现原理展开了讨论。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
亲历长上下文将取代复杂 RAG 方案，算力成本会随时间被开发效率收益抵消
我不太信任 Google 的 1M+ 上下文，但我信任这篇论文，而且 1M+ 上下文将随处可用。有人抱怨硬件和算力开销，但这就像九十年代初抱怨 Python 的资源占用一样——长期来看，开发复杂度比芯片贵得多。我正在重组我的 AI 团队，放弃复杂的 RAG 方案，转向长上下文工作流。另外我认为推理优化芯片是下一个前沿，Nvidia GPU 是为另一个时代设计建造的。
jonathan-adly查看英文原文
I didn't really trust Google's 1m+ context. But I trust this paper and 1m+ context would be available everywhere. I know people complain about hardware and compute resources. But, this is like complaining about Python resource usage in the early 90's. The development complexity & resources is far more expensive than chips on the long run. I am personally re-organizing my AI organization to move away from complex RAG setups and get comfortable with long-context workflows. Just to be clear - I also think that inference-optimized chips are the next frontier - Nvidia GPUs were designed & built in a different age than what’s going on now.
质疑质疑 2M token 上下文在注意力 O(n²) 内存开销下的实际可行性
可能是个蠢问题，但我以为 Transformer 的内存占用是 O(n²)。200 万 token 的话，难道不需要几十块 GPU 才能跑基础版 LLaMA2 吗？
maytc查看英文原文
Stupid question but I thought transformers have an O(n^2) memory usage. With 2M tokens, won't I need dozens and dozens of GPUs just to run the base LLaMA2 models?
质疑对长上下文的性价比持怀疑态度，认为它是低效的解决方案
长上下文窗口是否值得仍有争议，而且它并不是解决问题的廉价方式。硬件厂商显然热爱 LLM，但对很多问题来说这只是种高度低效的方法。
dmezzetti查看英文原文
It's still up for debate as to whether long context windows are worth it. It's also not a cheap way to solve a problem. Clearly hardware vendors love LLMs. But it's just a highly inefficient approach for a lot of problems.
补充好奇超长上下文是否让免分词的字节级输入成为可能
这是否意味着我们现在可以跳过 tokenization，直接把原始字节喂给模型了？
sp332查看英文原文
Does this mean we can skip "tokenization" and feed raw bytes into our models now?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖142 分 · 46 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选