安全与密码学2016arxiv.org编辑精选
通过预测 API 窃取机器学习模型
Stealing Machine Learning Models via Prediction APIs
进阶 · 约 60 分钟读完前置知识：机器学习基础、分类模型与 softmax 概率输出、API 查询与数据采集基础
导读
这篇论文研究通过公开的预测 API 能在多大程度上窃取机器学习模型。作者展示了攻击者只需大量查询模型并观察其输出（如分类概率），就能逆向构建出功能相近的替代模型，并讨论了这类攻击对模型知识产权的威胁。
HN 关注点：模型作为商业资产的安全性问题：仅凭 API 查询就能复制模型，对提供 ML 服务的公司是现实威胁。
后来怎么样
这篇论文开创了机器学习模型窃取攻击这一研究方向，其提出的基于预测 API 的模型提取方法成为后续大量模型窃取与防御研究的基础范式。
HN 评论精选
这几条评论里：支持 1 补充 3
支持解释攻击原理：暴力查询 API 并用结果训练自己的模型
很有意思。对于分类这类有明确答案的任务，确实可以通过暴力查询 API、记录结果，然后基于对方的输出训练自己的模型。
danvoell查看英文原文
Very interesting. It makes sense that you could learn the model for something like classification which has a cut and dry answer. Just brute force queries at the API, log the results, and start working on your own model based on theirs.
补充引用 Hinton 的 dark knowledge，指出模型输出概率本身就泄露大量信息
这并不太令人意外。Hinton 提出的 'dark knowledge'（论文未引用）已经表明，模型输出的分类概率中隐藏了大量信息，一个神经网络仅凭另一个网络的精确预测就能学到很多并对其进行逆向工程。
aab0查看英文原文
This is not necessarily that surprising. Hinton's 'dark knowledge' (not cited in the paper) already showed that a remarkable amount of information is hidden in the classification probabilities emitted by a model, and that one neural net can learn a lot from and reverse-engineer another neural net given just its precise predictions.
补充类比认知科学：通过输入输出反推内部机制
这是不是类似于通过人类对输入的反应来理解人类认知，也就是认知科学的研究？只不过推断 ML 架构时的假设空间比推断人类思维要小得多。
glup查看英文原文
Isn't this analogous to trying to understand human cognition by using human responses to inputs, e.g. the endeavor of cognitive science? Just in the case of inferring the ML architecture, there's a smaller hypothesis space than for what we think people are doing.
补充调侃：类似手法可用于窃取高频交易模型
这很有意思，但真正赚钱的是通过扰乱订单簿并观察反应，从其他公司提取高频交易模型 :-)。
ChuckMcM查看英文原文
This is interesting but the real money is in extracting HFT models from other firms by messing with the order book and evaluating the response :-).
历次讨论
- 2016Hacker News 讨论帖206 分 · 37 评
同领域还值得读
如何入侵一台已关机的电脑：在 Intel ME 中运行未签名代码
How to hack a turned-off computer, or running unsigned code in Intel ME
这篇 Black Hat 2017 白皮书讨论 Intel Management Engine（ME）的安全问题：如何在 ME 中运行未签名代码，以及攻破处于关机状态的电脑的相关…
安全与密码学2017 · 543 分 · 107 评专业 · 约 40 分钟编辑精选比特币：一种点对点的电子现金系统（2008）
Bitcoin: A Peer-to-Peer Electronic Cash System (2008)
中本聪 2008 年发表的比特币白皮书，提出了无需可信第三方的点对点电子现金系统。
安全与密码学2017 · 536 分 · 394 评入门 · 约 45 分钟编辑精选GPRS 加密算法 GEA-1 的密码分析表明存在故意弱点
Cryptanalysis of GPRS Encryption Algorithms GEA-1 suggest intentional weakness
首次公开了对 GPRS 加密算法 GEA-1 和 GEA-2 的密码分析攻击。
安全与密码学2021 · 487 分 · 107 评专业 · 约 90 分钟编辑精选Signal 消息协议的形式化安全分析
A Formal Security Analysis of the Signal Messaging Protocol
用形式化方法分析 Signal 消息协议（TextSecure）的安全性：作者在多阶段密钥交换模型下，借助自动化证明工具对协议的密钥协商与 Double Ratchet 密钥更新…
安全与密码学2016 · 353 分 · 230 评专业 · 约 120 分钟编辑精选A2：模拟恶意硬件
A2: Analog Malicious Hardware
论文研究如何在芯片设计阶段植入模拟电路形式的恶意硬件后门，使其难以被常规检测发现。
安全与密码学2016 · 315 分 · 94 评专业 · 约 75 分钟编辑精选