AI 与机器学习2024arxiv.org编辑精选
xLSTM：扩展长短期记忆
xLSTM: Extended Long Short-Term Memory
进阶 · 约 90 分钟读完前置知识：LSTM 基础、Transformer 架构、scaling law 概念
导读
LSTM 原作者 Sepp Hochreiter 团队提出的 xLSTM，是对 1997 年经典 LSTM 架构的扩展升级，试图让循环网络在规模和能力上与 Transformer 竞争。论文通过改进记忆单元（如指数门控、矩阵记忆等）并给出与 Llama、Mamba、RWKV 等模型的 scaling law 对比，宣称其有潜力成为 Transformer 的替代架构。
HN 关注点：作者正是 LSTM 的提出者，而“能否用循环网络取代 Transformer”是 HN 社区长期关注的话题，讨论焦点集中在其实际性能、可并行性和代码是否开源。
HN 评论精选
这几条评论里：质疑 3 补充 1
质疑质疑参数量对比的公平性，指出 sLSTM 无法完全并行化，且代码尚未开源
Hochreiter 似乎从 2023 年 10 月起就在谈论这个模型了。在 scaling law 对比中，比较 Llama、Mamba、RWKV、xLSTM 的参数量是否合理？计算时间不是更相关吗？比如把图里的参数量换成计算时间。具体来说，sLSTM 仍有循环（记忆混合），无法完全并行化，所以按计算时间看，扩展 Transformer 可能仍然更优。另外代码和模型参数都还没发布，不知道后续会不会放出。
albertzeyer查看英文原文
It seems Sepp Hochreiter has talked already about this model since Oct 2023: https://github.com/huggingface/transformers/issues/27011 In the scaling law comparison, I wonder if it is reasonable to compare number of parameters between Llama, Mamba, RWKV, xLSTM? Isn't compute time more relevant? E.g. in the figure about scaling laws, replace num of params by compute time. Specifically, the sLSTM has still recurrence (memory mixing) in it, i.e. you cannot fully parallelize the computation. So scaling up Transformer could still look better when you look at compute time. It seems neither the code nor the model params are released. I wonder if that will follow.
质疑质疑论文背后的商业模式和开源策略
有人能解释一下背后的经济逻辑吗？他们声称要取代 Transformer——一项支撑大量 AI 公司的技术。作者来自公立大学或 Hochreiter 的私人公司 nx-ai。代码在哪？许可证是什么？他们怎么赚钱？为什么要公开秘方？不怕被复制吗？回报如何与算法价值匹配？谁会从中获利？
GistNoesis查看英文原文
Can someone explain the economics behind this ? The claim is something than will replace the transformer, a technology powering a good chunk of AI companies. The paper's authors seems to be either from a public university, or Sepp Hochreiter's private company or labs nx-ai.com https://www.nx-ai.com/en/xlstm Where is the code ? What is the license ? How are they earning money ? Why publish their secret recipe ? Will they not be replicated ? How will the rewards be commensurate with the value their algorithm bring ? Who will get money from this new technology ?
补充补充背景：资深作者即 LSTM 原始论文第一作者
给不了解的人科普一下：本文资深作者 Sepp Hochreiter 正是 1997 年与 Schmidhuber 合著、首次提出 LSTM 论文的第一作者。
KhoomeiK查看英文原文
For those who don't know, the senior author on this paper (Sepp Hochreiter) was the first author on the original paper with Schmidhuber introducing LSTMs in 1997.
质疑泼冷水：性能不及 flash-attention 和 Mamba，认为该架构难有前途
又一周，又一篇想复活循环网络的论文。虽然这次 LSTM 之父是共同作者，倒也不意外。可惜结果显示，即使用了所有已知技巧，其架构的吞吐量仍远不及 flash-attention（对循环设计来说不奇怪），甚至比 Mamba 还慢——Mamba 以更低成本达到相近精度。所以我押注这又是一个像今年其他架构一样“出生即死亡”的设计。
sigmoid10查看英文原文
Another week, another paper that thinks they can revive recurrent networks. Although this time the father of LSTM is a co-author, so this paper should not come as a surprise. Sadly, the results seem to indicate that even by employing literally all tricks of the trade, their architecture can't beat the throughput of flash-attention (not by a long shot, but that is not surprising for recurrent designs) and, on top of that, it is even slower than Mamba, which offers similar accuracy at lower cost. So my money is on this being another DOA architecture, like all the others we've seen this year already.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖197 分 · 73 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选