数学2017arxiv.org
随机线性代数讲义
Lecture Notes on Randomized Linear Algebra (2013)
进阶 · 约 90 分钟读完前置知识:线性代数、概率论基础、矩阵分解
导读
这是 Michael Mahoney 关于随机化线性代数的讲义(2013 年整理),涵盖随机投影、矩阵 sketching、低秩近似等技术,用于高效处理大规模矩阵问题。核心思想是利用矩阵的低秩结构,避免 O(n²) 的计算开销。
HN 关注点:随机化数值线性代数是处理大规模数据的核心工具,HN 读者关注其实际工业应用及该领域近年进展。
后来怎么样
随机化线性代数已成为大规模矩阵计算的标准工具,随机投影与 sketching 被纳入主流数值线性代数库(如 scikit-learn、Facebook 的随机 SVD 实现),并衍生出大量后续算法研究。
HN 评论精选
这几条评论里:支持 1 质疑 1 补充 1
支持低秩近似可大幅降低大矩阵计算复杂度,但讲义内容已有些过时。
处理大矩阵时这些技术极其有用。n×n 矩阵往往并不包含 n² 个独立信息,而可以写成若干不超过 n×r(r 远小于 n)的矩阵的乘积。著名例子是 Netflix 推荐矩阵。这种情况下,只需处理低秩近似,就能避免 O(n²) 的复杂度。需要指出这份综述写于 2013 年,此后已有不少新结果,作者在摘要中给出了一些好的参考文献。
rajasinghe查看英文原文
This stuff is incredibly useful when dealing with large matrices. The idea is that an n-by-n matrix often doesn't contain n^2 pieces of independent information, but can be written a product of matrices of size at most n-by-r (for r << n). A famous example of this is the Netflix recommendation matrix. In this case, you can often avoid O(n^2) complexity by only dealing with such low-rank approximations. It should be noted that this overview dates from 2013 and that a lot of new results have appeared since then. The author gives some good references in the abstract.
补充补充推荐相关教材《Foundations of Data Science》。
相关但不同的资料:Avrim Blum、John Hopcroft 和 Ravindran Kannan 合著的《Foundations of Data Science》:https://www.cs.cornell.edu/jeh/book2016June9.pdf
jey查看英文原文
Related but different: Foundations of Data Science by Avrim Blum, John Hopcroft and Ravindran Kannan: https://www.cs.cornell.edu/jeh/book2016June9.pdf
质疑询问这些技术在工业界的实际部署案例。
这是一份非常好且及时的重要主题汇编!我认真地问一个问题,因为我对随机化线性代数、随机投影、sketching/采样、压缩感知等有浓厚兴趣:你们有人在工业界应用中使用这些技术吗?如果有,大致是怎么用的?我知道这有点像'拿着锤子找钉子'式的问题,但我想看到这些主题'可部署'的应用案例。除了学术上的,我自己没有可分享的。
shas3查看英文原文
This is a very good and timely compilation of all the important topics! I ask this earnest question because I have a deep interest in randomized linear algebra, random projections, 'sketching'/sampling, compressive sensing, etc.: Do any of you use it in industry applications? If so, at a high level, how do you use it? I know I'm asking a "I have a hammer and that is a nail"-type question, but I am interested in seeing "deployable" applications of these topics. I don't have any to report, other than academic ones.
历次讨论
- 2017Hacker News 讨论帖163 分 · 18 评
同领域还值得读
一种新的相关系数
A New Coefficient of Correlation
提出了一种新的相关性系数(由 Sourav Chatterjee 提出),能够检测变量之间任意形式(不限于线性)的相关关系,且计算简单高效,主要基于排序和距离计算。
数学2021 · 682 分 · 158 评 · 引用 1进阶 · 约 60 分钟编辑精选数学的两种文化
The Two Cultures of Mathematics (2000)
这是数学家 Timothy Gowers 于 2000 年发表的一篇随笔,他把数学研究大致分成两种文化:一类是“解题者”,热衷于攻克具体难题、发展技巧(如组合数学);另一类是“理…
数学2009 · 307 分 · 102 评入门 · 约 35 分钟编辑精选重新定义统计显著性
Redefine statistical significance
提议将统计显著性阈值从常用的 p<0.05 收紧到 p<0.005,以降低假阳性率、缓解可重复性危机。
数学2017 · 303 分 · 114 评入门 · 约 45 分钟编辑精选统计建模:两种文化(2001)
Statistical Modeling: The Two Cultures (2001)
讨论统计学中两种建模文化:一种假设数据由某种随机模型生成,侧重推断与系数解释;另一种把数据生成机制视为未知,侧重预测精度,主张使用算法建模。
数学2015 · 254 分 · 36 评进阶 · 约 60 分钟编辑精选通信的数学理论 (1948)
A Mathematical Theory of Communication (1948)
这是香农 1948 年的经典论文《通信的数学理论》,奠定了信息论的基础。
数学2016 · 169 分 · 53 评入门 · 约 90 分钟编辑精选