AI 与机器学习2018arxiv.org编辑精选
神经常微分方程
Neural Ordinary Differential Equations
进阶 · 约 60 分钟读完前置知识：常微分方程基础、深度学习与反向传播、归一化流/概率密度变换
导读
这篇论文提出 Neural ODE：把神经网络的前向过程视为由 ODE 定义的连续时间演化，用自适应 ODE 求解器计算输出，并用伴随方法进行内存高效的反向传播；论文还把连续归一化流发展为生成模型。核心问题是能否用连续深度替代离散层堆叠，并保持可训练性与表达能力。
HN 关注点：这种把 ODE 求解器引入深度学习的新范式，以及作者亲自答疑、放出源码，并讨论跨学科门槛和实际应用前景。
后来怎么样
它把连续深度和连续归一化流引入深度学习，直接催生了一批 Neural ODE/CNF 后续工作，配套的 torchdiffeq 也成为该方向常用工具；但它更多是开辟研究方向，并未取代常规离散网络。
HN 评论精选
这几条评论里：支持 1 补充 2 亲历 1
亲历作者发布可自动微分的 ODE 求解器代码，并介绍后续工作和当前方向。
我是资深作者，很乐意回答任何问题。我们刚发布了源码 https://github.com/rtqichen/torchdiffeq ，其中包含可自动微分的自适应 ODE 求解器的 PyTorch 实现，因此你可以把这些求解器与任意其他可微模型组件混用。已有一些后续工作把连续归一化流变成实用的生成密度模型：https://arxiv.org/abs/1810.01367 。目前我们主要在做 1) 正则化 ODE 网络以加快求解，2) 让时间序列模型扩展并推广到随机微分方程。
duvenaud查看英文原文
Senior author here, I'm happy to answer any questions. We just released source code: https://github.com/rtqichen/torchdiffeq . This includes PyTorch implementations of adaptive ODE solvers that can be differentiated through automatically. So you can mix and match these ODE solvers with any other differentiable model component. There's already been a bit of follow-up work, turning Continuous Normalizing Flows into a practical generative density model: https://arxiv.org/abs/1810.01367 And now we're mainly working on 1) Regularizing ODE nets to be faster to solve and 2) getting the time-series model to scale up and extend it to stochastic differential equations.
支持感叹深度学习门槛提高，并追问论文方法在真实任务上与 SOTA 的对比。
哇，现在跟上深度学习得掌握 ODE/PDE 了！似乎必须精通统计、运筹学、微积分和算法才能推进它！与 RNN 的对比很 impressive！有没有已知的真实世界模型可以与当前最优方法比较？
bitL查看英文原文
Wow, I need to master ODEs/PDEs to keep up with Deep Learning now! Seems like one has to be a master of statistics, operations research, calculus and algorithms to push it forward! Comparison to RNN was impressive! Any well-known real-world models for comparison to state of art?
补充补充媒体对该工作的解读链接。
MIT Technology Review 的 AI 通讯里有一些报道：https://mailchi.mp/technologyreview/a-new-type-of-deep-neural-network-that-has-no-layers
heinrichf查看英文原文
Some reporting in MIT's newsletter on AI: https://mailchi.mp/technologyreview/a-new-type-of-deep-neural-network-that-has-no-layers
补充期待 Neural ODE 被用于构建快速廉价的 CFD/Navier-Stokes 求解器。
我记得 CFD 应用里有类似的东西，但之后没怎么见到。如果能用神经网络构建便宜又快速的 Navier-Stokes 求解器，那会很棒。
syntaxing查看英文原文
I remember something similar for CFD application but haven't seen much after that. It would be awesome if we can build a cheap and fast Navier Stokes solver with neural networks.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2018Hacker News 讨论帖240 分 · 60 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选