AI 与机器学习2018arxiv.org
深度四元数网络(2017)
Deep Quaternion Networks (2017)
进阶 · 约 90 分钟读完前置知识:四元数基础、卷积神经网络基础、复数神经网络
导读
这篇论文提出深度四元数网络(Deep Quaternion Networks),将深度学习中的卷积、全连接等基本组件推广到四元数域,以更好地建模内部关联的多维特征。作者在语音、图像等任务上与实数/复数版本网络进行了对比实验。
HN 关注点:机器学习与超复数(四元数、几何代数)结合的潜力,讨论焦点是四元数网络是否真的带来实质收益,以及几何代数是否是更正确的推广方向。
HN 评论精选
这几条评论里:质疑 2 补充 2
补充超复数与 ML 的交叉领域大有可为,举了 Clifford SVM 的例子
机器学习和超复数结合的领域还有很大探索空间。比如有一个基于 Clifford 代数的 SVM,不同于普通 SVM 只学习一个超平面,它能学习任意流形。
adamnemecek查看英文原文
There's a lot of space to be explored at the intersection of ml and hypercomplex numbers. There's a Clifford svm that unlike a regular sam which learns a hyperplane, learns any manifold.
质疑认为四元数是几何代数的子集,用 GA 才是更正确的方向,此文是退步
这篇文章把复数推广到四元数,但四元数本身又被几何代数(Geometric Algebra)所推广。GA 在神经计算领域已有不少研究(附 arXiv 论文链接),例如 GA 的通用逼近定理也有论文证明。我认为这篇文章是退步。
thesz查看英文原文
The fine article generalizes complex numbers to quaternions. Okay. But quaternions are themselves generalized by Geometric Algebra. And there is a plenty of information about use of GA in the field of neural computing: https://arxiv.org/pdf/1305.5663.pdf (page 3). For example, universal approximation theorem for GA is presented at https://www.informatik.uni-kiel.de/inf/Sommer/doc/Dissertationen/Sven_Buchholz/diss.pdf I think that fine article is a step back.
质疑质疑实验收益有限,想知道四元数在哪类问题上有决定性优势
我直接跳到最后的结果表,提升看起来并不大。有没有哪类问题可以预期四元数会比其他数系表现得显著更好?
Jeff_Brown查看英文原文
I skipped to the table at the end. The gains don't seem enormous. Is there a kind of problem where we would expect quaternions to perform dramatically better than other kinds of numbers?
补充外行询问入门路径,好奇该领域的学习门槛
无论文章还是讨论我都看不懂。我需要学些什么才能看懂?哪怕要学几年也行,我只是好奇这个兔子洞有多深。
doyoulikeworms查看英文原文
I’m able to follow neither the article nor the discussion. What would I have to learn in order to be able to? Even if it was, like, years of studying. I’m just curious how deep this rabbit hole is.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2018Hacker News 讨论帖151 分 · 73 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选