AI 与机器学习2024arxiv.org
神经网络扩散
Neural Network Diffusion
专业 · 约 50 分钟读完前置知识：扩散模型基础、深度学习、神经网络参数化
导读
这篇论文提出用扩散模型（diffusion model）来生成神经网络参数：将训练好的模型参数压缩到潜在空间，训练扩散模型生成新参数，再从中挑选表现最好的模型。作者称该方法（p-diff）能生成性能与甚至优于传统训练所得的模型。
HN 关注点：用生成模型生成神经网络参数这一想法颇为新奇，也引发了关于“AI 生成 AI、递归自我改进”以及实验方法是否可靠的讨论。
HN 评论精选
这几条评论里：支持 2 质疑 1 补充 1
支持认为用模型生成模型是迈向递归自我改进的一步
看来我们离递归自我改进已经很近了。
falcor84查看英文原文
Seems like we're getting very close to recursive self-improvement [0]. [0] https://www.lesswrong.com/tag/recursive-self-improvement
支持认为把参数压缩到潜在空间再生成很有意思，且生成参数并非简单模仿原参数
读摘要时我还以为这是篇恶搞论文，结果不是。有两点让我印象深刻：一是把网络蒸馏到更小的潜在空间再在其中操作，这横跨了可解释性、压缩、训练、过拟合/欠拟合等许多有趣话题；二是他们发现扩散模型生成的参数并不只是收敛到与训练目标相似的参数，这也很耐人寻味。我不确定这能放进我现有的深度学习知识框架里怎么用，但确实很迷人。我倒想看看一个能在多种不同神经网络上都好用的潜在编码器，也许会是解读/检查网络的好工具。
vessenes查看英文原文
I wasn't sure if this paper was parody on reading the abstract. It's not parody. Two things stand out to me: first is the idea of distilling these networks down into a smaller latent space, and then mucking around with that. That's interesting, and cross-sections a bunch of interesting topics like interpretability, compression, training, over- and under-.. The second is that they show the diffusion models don't just converge on similar parameters as the ones they train against/diffuse into, and that's also interesting. I confess I'm not sure what I'd do with this in the random grab bag of Deep Learning knowledge I have, but I think it's pretty fascinating. I might like to see a trained latent encoder that works well on a bunch of different neural networks; maybe that thing would be a good tool for interpreting / inspecting.
补充补充作者的原文讨论链接
作者在 Twitter 上的讨论帖：https://twitter.com/liuzhuang1234/status/1760195922502312197
vagabund查看英文原文
Author thread: https://twitter.com/liuzhuang1234/status/1760195922502312197
质疑质疑实验方法：按训练集表现挑选生成模型可能带来偏差
值得注意的是，论文写道“从这些生成的模型中，我们挑选在训练集上表现最好的那个”。这里明显存在潜在的偏差。
goggy_googy查看英文原文
Important to note, they say "From these generated models, we select the one with the best performance on the training set." Definitely potential for bias here.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖223 分 · 86 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选