AI 与机器学习2017arxiv.org
Edward:用于深度概率编程的图灵完备语言
Edward – A Turing-Complete Language for Deep Probabilistic Programming
专业 · 约 50 分钟读完前置知识:贝叶斯统计、变分推断与 MCMC、TensorFlow/深度学习基础
导读
Edward 是一个构建在 TensorFlow 之上的图灵完备概率编程语言,用变分推断和 MCMC 把深度神经网络与贝叶斯概率模型组合在一起,既能描述生成模型,也支持大规模后验推断。论文的核心主张是将概率建模与深度学习结合,统一在同一个可组合的框架里。
HN 关注点:它把概率编程与 TensorFlow/深度学习结合起来的工程落地,以及它和 Stan、ZhuSuan 等推断工具的对比与正确性。
后来怎么样
Edward 后来演化出 Edward2,并并入 TensorFlow Probability,成为 TensorFlow 生态中概率编程与贝叶斯推断的重要基础;原 Edward 库逐步停止维护。
HN 评论精选
这几条评论里:质疑 1 补充 3
补充推荐 Michael I. Jordan 的概率图模型工作及相关生物医学文本挖掘论文。
顺便一提,可以看看 Michael I. Jordan 在概率图模型方面的工作。他是 Andrew Ng 的导师,也曾任 Google AI、百度等机构负责人。另外 Blei、Franks、Jordan、Mian 曾合作过一篇论文,用生物医学语料库的统计建模方法,从线虫遗传学中心文献中挖掘与寿命相关的基因。
KasianFranks查看英文原文
Speaking of which, check out Michael I. Jordans work on Probabilistic Graphical Models https://www.google.com/search?q=michael+i+jordan+probalistic+prrogramming&oq=michael+i+jordan+probalistic+prrogramming&aqs=chrome..69i57.17982j0j4&sourceid=chrome&ie=UTF-8 Mentor to Andrew Ng, former head of Google AI, Baidu and a few other things. https://en.wikipedia.org/wiki/Michael_I._Jordan Saira, Mina and David worked on some interesting stuff related to using ML/AI in extending human life span, nematodes a while back. Statistical modeling of biomedical corpora: mining the Caenorhabditis Genetic Center Bibliography for genes related to life span - Blei DM, Franks K, Jordan MI, Mian IS. - http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1533868
补充补充同类工作:基于 TensorFlow 的 ZhuSuan 概率编程库。
还有一个叫 ZhuSuan 的库同样基于 TensorFlow,链接见 arXiv 1709.05870 和 GitHub thu-ml/zhusuan。
kuwze查看英文原文
There is also ZhuSuan which also leverages TensorFlow. https://arxiv.org/abs/1709.05870v1 https://github.com/thu-ml/zhusuan https://i.imgur.com/gzfhS29.png
补充指出 Edward 基于 TensorFlow,且作者 Blei 是 LDA 提出者,但当时 Edward 尚不支持 LDA。
软件库地址是 edwardlib.org,值得注意的是 Edward 构建在 TensorFlow 之上。关于作者的背景,David Blei 在 2003 年左右首次提出了 LDA,这是生成式主题建模的重要算法。有意思的是,据我上次查看,Edward 当时还做不了 LDA。
carbocation查看英文原文
The software library is located here: http://edwardlib.org/ . Notably, Edward is layered on TensorFlow. Regarding the significance of the authors, David Blei first described latent Dirichlet allocation (LDA), an important algorithm for generative topic modeling, in ~2003. Interestingly, the last I checked, LDA couldn't be done in Edward (yet).
质疑质疑“deep”之名与结果正确性,认为速度不及推断可靠性重要(对比 Stan)。
我得读读论文才知道它到底“deep”在哪里。粗略浏览下来,它似乎比 Stan 快很多,但更关键的问题或许是它能否给出正确的结果。Stan 可能更慢,但通常只要做些简单诊断,我就比较有信心结果是符合需求的。
jmh530查看英文原文
I'll have to read the paper to see what makes it "deep"... A cursory skim suggests that it is much faster than Stan, but I suppose the more significant question is if it provides the correct results. Stan might take longer, but I'm usually pretty confident that with some simple diagnostics I can see whether the results are what I really need.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2017Hacker News 讨论帖206 分 · 30 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选