AI 与机器学习2025arxiv.org编辑精选
Titans：在测试时学习记忆
Titans: Learning to Memorize at Test Time
进阶 · 约 60 分钟读完前置知识：Transformer 基础、注意力机制、深度学习优化
导读
Google 提出的 Titans 架构研究如何在测试时让模型学习记忆：引入一个可学习的长期神经记忆模块，根据数据的“惊讶程度”在线更新联想记忆，并配合门控机制进行选择性遗忘。论文声称该架构在长上下文任务上超越传统 Transformer，并能扩展到超过 200 万 token 的上下文。
HN 关注点：是否是继 Transformer 之后架构层面的重大突破，讨论焦点在于其真实创新程度、与现有长上下文方案（如 lightning attention）的对比，以及 Google 为何公开这项成果。
HN 评论精选
这几条评论里：支持 1 质疑 2 补充 1
质疑质疑 Titans 相比已有长上下文方案（如 MiniMax 的 lightning attention）是否真有突破，并追问其独特价值所在
MiniMax 刚“开源”（他们有自定义许可证，我没细读）了一个 400 万 token 上下文的模型，在大海捞针测试中拿了 100%。它用的是 lightning attention——还是注意力，只是变体？所以这是否说明这篇论文没有作者期望的那么开创性，还是我漏掉了什么根本性的东西？它能更好地扩展吗？训练更高效吗？测试时推理确实惊艳——是不是这才是它的独特之处，而非长上下文能力？如果它能更高效地存储长期记忆，会不会大幅减少幻觉，用记住的上下文而不是编造事实？
Ratelman查看英文原文
So Minimax just "open-sourced" (I add it in "" because they have a custom license for its use and I've not read through that) but they have context length of 4-million tokens and it scored 100% on the needle in a haystack problem. It uses lightning attention - so still attention, just a variation? So this is potentially not as groundbreaking as the publishers of the paper hoped or am I missing something fundamental here? Can this scale better? Does it train more efficiently? The test-time inference is amazing - is that what sets this apart and not necessarily the long context capability? Will it hallucinate a lot less because it stores long-term memory more efficiently and thus won't make up facts but rather use what it has remembered in context?
补充肯定“按惊讶程度更新记忆”的元机制是亮点，其余部分较常规，并推荐相关联想记忆工作
有意思。我喜欢这个思路：用一个元机制学习如何根据数据的“惊讶程度”来更新联想记忆。至于通过 key/value 读取记忆、用门控选择性擦除这些部分，乍一看都比较常规。已加入我的阅读清单。补充：这让我想起另一种联想记忆 heinsen_routing（https://github.com/glassroom/heinsen_routing），思路是计算一组能最好预测输入序列的记忆混合。很久没用过，细节记不清了，但它确实有效，仅供参考。
cs702查看英文原文
Interesting. I like the idea of a meta-mechanism that learns to update an associative memory based on how surprising the data is. The other stuff, reading memory via keys and values and selectively erasing it with gating, look pretty conventional on a first glance. Thank you for sharing this on HN. I've added it to my reading list. EDIT: I'm reminded of this other type of associative memory: https://github.com/glassroom/heinsen_routing. The idea there is to compute a mixture of memories that best predicts the given input sequence. Quite frankly, I don't remember how the whole thing works, but I do remember that it works. It's been a while since I used it, so YMMV. In any case, it may be of interest to you.
质疑怀疑 Google 公开该成果本身说明其价值有限
如果这东西真有那么好，Google 为什么会把它公开？
PunchTornado查看英文原文
If this was that good, why would Google release it?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖115 分 · 15 评
- 2025Hacker News 讨论帖161 分 · 35 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选