AI 与机器学习2022nature.com
人工智能驱动药物发现的双重用途
Dual use of artificial-intelligence-powered drug discovery
进阶 · 约 15 分钟读完前置知识：机器学习基础、化学信息学、生物安全政策
导读
这篇论文讨论 AI 药物发现模型的“双重用途”风险：作者把原本用于药物设计的生成模型反向使用，在不到 6 小时内生成了 4 万个达到筛选阈值的分子，其中包含 VX 等已知化学战剂，以及预测毒性更高的新分子。值得注意的是，训练数据并未包含这些神经毒剂，说明模型可能泛化出危险化合物。论文由此讨论如何在开放科研与安全管控之间取舍。
HN 关注点：AI 生成模型的双重用途风险到底有多现实，以及应该靠开放/发表还是靠管制来防范。
后来怎么样
该研究成为 AI 生物安全讨论中的标志性案例，常被政策与安全文献引用来论证生成模型可能被反向用于设计危险分子，并推动了相关治理讨论。
HN 评论精选
这几条评论里：质疑 1 补充 1
质疑批评论文的治理思路是精英式知识管制：防不住恶意国家行为者，却限制普通用户，显得保守倒退。
这篇论文的影响研究挺有意思，但它提出的问题归根结底是：“大众不可信任我们引以为傲的知识，因为可能造成伤害。我们如何阻止他们越出我们喜欢的知识边界？”然后拿 GPT-3 的管理方式作例子。这无疑是一个糟糕的技术治理案例：任何恶意国家行为者都可以用你造的东西作恶，同时你却把它挡在你本要服务的人群之外。我希望他们能说出更实质、更有新意的东西，但就目前而言，读起来是倒退的。
krageon查看英文原文
Quite an interesting paper in it's impact study, but the questions it asks all boil down to "the masses are not to be trusted with our vaunted knowledge, because harm can be done. How can we prevent them from moving outside the boundaries of knowledge we like" and then the example used is how GPT-3 is managed. This is without a doubt a terrific example of bad technological stewardship: Any malicious state actor gets to use what you make for evil, while at the same time keeping it away from the folks you're making it for. I wish they had had a more substantial and innovative thing to say about it, but as it stands it reads as regressive.
补充引用论文关键结果：模型不到 6 小时生成 4 万候选分子，含 VX 等化学战剂及预测更毒的新分子，且训练数据未含神经毒剂。
论文写道：在内部服务器上启动后不到 6 小时，我们的模型生成了 4 万个达到所需阈值的分子。在此过程中，AI 不仅设计出了 VX，还设计出了许多其他已知化学战剂——我们通过公开化学数据库中的结构进行视觉确认。许多新设计出的分子看起来同样合理。根据预测的 LD50 值，这些新分子预计比公开已知的化学战剂毒性更强。这出乎意料，因为我们用于训练 AI 的数据集并不包含这些神经毒剂。这些虚拟分子甚至占据了与 organism-specific LD50 模型（主要由农药、环境毒素和药物组成）中数千个分子完全分离的分子性质空间区域。通过反向使用我们的机器学习模型，我们把一个无害的生成模型从有用的医学工具变成了可能致命分子的生成器。
heliostatic查看英文原文
From the paper: > In less than 6 hours after starting on our in-house server, our model generated 40,000 molecules that scored within our desired threshold. In the process, the AI designed not only VX, but also many other known chemical warfare agents that we identified through visual confirmation with structures in public chemistry databases. Many new molecules were also designed that looked equally plausible. These new molecules were predicted to be more toxic, based on the predicted LD50 values, than publicly known chemical warfare agents (Fig. 1). This was unexpected because the datasets we used for training the AI did not include these nerve agents. The virtual molecules even occupied a region of molecular property space that was entirely separate from the many thousands of molecules in the organism-specific LD50 model, which comprises mainly pesticides, environmental toxins and drugs (Fig. 1). By inverting the use of our machine learning models, we had transformed our innocuous generative model from a helpful tool of medicine to a generator of likely deadly molecules.
历次讨论
- 2022Hacker News 讨论帖155 分 · 64 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选