AI 与机器学习2024openreview.net
图灵完备的 Transformer:两个 Transformer 比一个更强大
Turing Complete Transformers: Two Transformers Are More Powerful Than One
进阶 · 约 90 分钟读完前置知识:可计算性理论、Transformer 架构基础、形式语言与自动机
导读
这篇论文讨论 Transformer 的计算能力,标题主张两个 Transformer 的组合比单个 Transformer 更强大,并试图将其与图灵完备性联系起来。从 OpenReview 审稿意见看,审稿人认为其主要结论并不新颖、表述过度且部分论证不必要,因而引发了对论文质量和评审过程的讨论。
HN 关注点:的不是论文结论本身,而是 OpenReview 上极其严厉的审稿意见、作者对审稿人的反驳,以及这折射出的评审机制问题。
HN 评论精选
这几条评论里:质疑 1 补充 2
补充审稿人严厉批评论文创新性不足、表述不准确且论证冗余。
这些审稿意见太狠了,基本上就是用学术语言说“这篇论文完全是垃圾”。“主要主张……既有点显而易见,之前也已经有人提出过”;“许多文字过于武断且不准确”;“我不认为值得花半页篇幅去证明 {0^n 1^n} 不属于正则语言。”
qsort查看英文原文
These reviews are brutal. It's basically science-speak for "the paper is utter trash". "The main claim [...] is both somewhat obvious and previously already stated" "Many pieces of writing are overly assertive and inaccurate." "I do not think it deserves spending half a page demonstrating that {0^n 1^n} is not in the regular language."
补充作者公开反驳审稿人被视为高风险策略,引发对 OpenReview 互动方式的讨论。
出于好奇,大家怎么看作者对审稿人的回复?看到他们质疑审稿人,我挺意外的。也许 OpenReview 不一样,但我受的训练是要尽量找办法尊重审稿人,或者基本上安抚他们。看起来作者确实在反驳,比如找出两份审稿意见之间的矛盾……我觉得这是冒险策略。不过话说回来,谢天谢地我从没收到过这么负面的反馈。
bee_rider查看英文原文
Out of curiosity, what do people think of the comments to the reviewers by the authors? I was pretty surprised to see them challenge the reviewers. Maybe open review is different, but I was trained to try find ways to defer to the reviewers or, basically, placate them if possible. It look like the authors have tried to argue back, for example finding a contradiction between the reviews… it seems like a risky strategy to me. Then again I haven’t ever received feedback this negative, thank goodness.
质疑质疑讨论焦点已从论文内容转向拒稿和评审过程。
讨论的是论文本身,还是它如何被单方面拒稿?
junipertea查看英文原文
Is the discussion about the paper, or about how it was unilaterally rejected?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2024Hacker News 讨论帖190 分 · 77 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选