AI 与机器学习2024arxiv.org
物理神经网络的训练
Training of Physical Neural Networks
进阶 · 约 90 分钟读完前置知识：神经网络基础、模拟电路与物理器件基础、神经形态计算概念
导读
这篇论文（arXiv 2406.03372）是一篇关于物理神经网络（Physical Neural Networks, PNN）训练方法的综述性工作：PNN 指至少部分计算以模拟或物理形式（如模拟电路、光学、材料器件）完成的神经网络，权重也由物理参数表示，目标是超越数字硬件的能效或性能。文章系统梳理了在这类非数字基底上训练网络的各种方法与面临的挑战。评论者补充指出，这类系统的一大实际难点是模型可迁移性——训练过程会把器件间微小的物理差异编码进模型，使其难以复制。
HN 关注点：物理神经网络到底“物理”在哪、和模拟计算有何区别，以及器件差异导致模型无法迁移这一根本性难题。
HN 评论精选
这几条评论里：质疑 2 补充 2
补充器件物理差异被编码进模型导致不可迁移，但这或许反而是反消费主义的优点。
我上次读到的相关报道中，最主要的实际困难是模型可迁移性。让这类系统强大高效的原因，恰恰也是它无法复制的原因：训练过程中，器件之间微小的物理差异必然会被编码进模型。直觉上这似乎是一个不可避免的根本性问题。也许这会让大公司望而却步，但我挺喜欢这种无价、不可迁移、不可替代的小器件的想法——它们不会轻易被技术进步淘汰，与消费主义背道而驰，越用越好，让人愿意一直留着。
tomxor查看英文原文
Last time I read about this the main practical difficulty was model transferability. The very thing that makes it so powerful and efficient is also the thing that make it uncopiable, because sensitivity to tiny physical differences in the devices inevitably gets encoded into the model during training. It seems intuitive this is an unavoidable, fundamental problem. Maybe that scares away big tech, but I quite like the idea of having invaluable, non-transferable, irreplaceable little devices. Not so easily deprecated by technological advances, flying in the face of consumerism, getting better with age, making people want to hold onto things.
质疑追问 PNN 中“节点”的物理实现形式，以及“物理”一词的确切含义。
PNN 类似神经网络，但系统中至少有一部分是模拟而非数字的，即部分或全部输入/输出数据以连续方式编码在某个物理参数中，权重也可以是物理的，最终目标是性能或效率超越数字硬件。我想弄清楚 PNN 中的一个节点到底是什么形式：是一个晶体管吗？还是更复杂？还是模拟信号加传感器等几种东西共同组成一个我们熟悉的节点？谁能帮我理解 PNN 的“物理”到底指什么？
ksd482查看英文原文
PNNs resemble neural networks, however at least part of the system is analog rather than digital, meaning that part or all the input/output data is encoded continuously in a physical parameter, and the weights can also be physical, with the ultimate goal of surpassing digital hardware in performance or efficiency. I am trying to understand what format does a node take in PNNs. Is it a transistor? Or is it more complex than that? Or, is it a combination of a few things such as analog signal and some other sensors which work together to form a single node that looks like the one we are all familiar with? Can anyone please help me understand what exactly is "physical" about PNNs?
质疑质疑命名：PNN 不过是模拟实现的神经网络，“物理”一词容易误导。
所以这些 PNN 本质上就是神经网络的模拟实现？把它们叫做“物理”神经网络似乎是个奇怪的名字选择。
UncleOxidant查看英文原文
So it sounds like these PNNs are essentially analog implementations of neural nets? Seems like an odd choice of naming to call them 'physical'.
补充补充资料：NWN 用于在线学习手写数字，准确率 93%。
我对这个领域了解很有限，但我原以为论文会提到纳米线网络（NWN）这种新兴的物理神经网络。去年悉尼大学和 UCLA 的研究者用 NWN 演示了手写数字的在线学习，准确率达到 93%。
Shawnecy查看英文原文
My knowledge in this area is incredibly limited, but I figured the paper would mention NanoWire Networks (NWNs) as an emerging physical neural network[0]. Last year, researchers from the University of Sydney and UCLA used NWNs to demonstrate online learning of handwritten digits with an accuracy of 93%. [0] = https://www.nature.com/articles/s41467-023-42470-5
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖142 分 · 46 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选