生物与医学2022journals.plos.org编辑精选
为什么大多数已发表的研究发现是错的
Why Most Published Research Findings Are False (2005)
入门 · 约 60 分钟读完前置知识：基础统计学、贝叶斯先验概率、医学科研流程常识
导读
这篇 2005 年发表于 PLOS Medicine 的经典论文由 John Ioannidis 撰写，论证了在统计功效不足、研究偏倚和多重检验等因素下，大多数已发表的医学研究发现可能是错误的。其核心论点基于贝叶斯思想：当所检验的现象先验概率很低时，即使得到阳性结果，也很可能是假阳性。
HN 关注点：这是可重复性危机领域被引用最多的奠基性论文，HN 读者长期围绕其标题是否夸张、假发现率究竟有多高展开讨论。
后来怎么样
该文引发了科学界对可重复性危机的广泛讨论，Ioannidis 成为该领域最具影响力的学者之一，'大多数发表的研究结果是错误的'成为方法论讨论中被反复引用的命题，并催生了大量关于假发现率和研究功效的后续实证研究。
HN 评论精选
这几条评论里：质疑 1 补充 2 亲历 1
补充论文比标题更微妙，后续研究估计假发现率约为 14% 而非 50%
这篇论文发表时因标题煽动性而颇具争议，但内容其实比标题微妙得多。核心思想是：如果你检验的是完全出乎意料的现象，先验概率很低，那么即使得到阳性结果，也很可能是错的。因此存在一种风险——科学家若一味追求结果更可靠，可能会回避能改变范式的实验，这将是一种损失。Jager 和 Leek (2014) 的后续分析表明，假发现率更接近 14% 而非 50%。
fastaguy88查看英文原文
This was a very controversial paper when it was published, perhaps because of its incendiary title. But the paper is much more subtle than the title suggests. Basically the idea is that if you try to test phenomena that are completely unexpected, your prior odds are low, so even if you get a positive result, there is a good chance the result is incorrect. So there is a danger that by trying to ensure more correct results, scientists may avoid paradigm changing experiments, which would be a loss. Follow up analysis by Jager and Leek (2014) https://academic.oup.com/biostatistics/article/15/1/1/244509 suggests the false discovery rate is closer to 14% than 50%.
质疑单个研究本就不足以定论，“发现是假的”这一说法本身有失公允
这很正常。单个研究通常没有足够的统计功效得出确定结论，单条证据也不足以证实一个理论。任何结论在被反复验证前都不能确定，任何理论也要等到多条一致的证据符合其预测后才可使用。事实上，称这些发现为“错误”往往也不准确，因为大多数研究者并没有做出很强的断言。
janef0421查看英文原文
That's totally normal. An individual study is unlikely to have enough statistical power to make a definite conclusion, and an individual line of evidence is insufficient to confirm a theory. No conclusion can be stated with any certainty until it is verified repeatedly, and no theory is fit for use until several consistent lines of evidence conform to its predictions. In fact, even calling these findings "false"is often inaccurate, as most researchers don't make strong claims.
亲历以基因组学研究为例，指出实验流程马虎和资源受限是研究质量低下的现实原因
虽然用上周刚发布的软件包不是好主意，但我对使用十年前的基因组组装、过时的 Ensembl 注释版本（我们已到 105 版而论文还在 40 左右）或明显过时的程序版本的论文持怀疑态度。如果 FedEx/UPS 像某些实验室那样马虎地追踪包裹，我们收到的可能是一袋园艺用的鸟粪而不是订购的书，甚至是空袋子——因为 QC 可能只是事后补做，再辛苦的湿实验也可能产出无法使用的垃圾数据。另一方面，全新技术非常昂贵，高质量人体组织样本难以获取，为证明经费花得值而勉强凑数在所难免。
elmolino89查看英文原文
While using the software packages released last week may not be the greatest idea, I am leery of any research paper using 10 years old genome assembly, Ensembl annotation release in the 40ish (we are at #105 ) or clearly outdated program versions with X updates in the last 5 years. Also if Fedex/UPS were tracking packages with bordering on cavalier attitude observed in some labs, often we would be getting bags of guano ordered by some horticulturalist instead of a book of our choice. Or even an empty bag, since QC may be an afterthought and hard wet lab work may still produce unusable crappy data. On the other hand the brand new technologies are rather expensive, good quality human tissue samples hard to get so scrapping the bottom of the barrel trying to justify grant $$$ is unavoidable.
补充汇总了该论文多年来在 HN 上的历次讨论记录
相关讨论：列出了该论文自 2009 年以来在 HN 上的多次讨论链接，以及《Lies, Damned Lies, and Medical Science》等相关文章。
dang查看英文原文
Related: Most Published Research Findings Are False (2005) - https://news.ycombinator.com/item?id=19016399 - Jan 2019 (39 comments) Why Most Published Research Findings Are False (2005) - https://news.ycombinator.com/item?id=18106679 - Sept 2018 (40 comments) Most Published Research Findings Are False–But Little Replication Goes Long Way - https://news.ycombinator.com/item?id=9337355 - April 2015 (3 comments) Why Most Published Research Findings Are False - https://news.ycombinator.com/item?id=8340405 - Sept 2014 (2 comments) Why most published scientific research is probably false [video] - https://news.ycombinator.com/item?id=6661710 - Nov 2013 (53 comments) Most published research results are false - https://news.ycombinator.com/item?id=2207750 - Feb 2011 (15 comments) Why Most Published Research Findings Are False - https://news.ycombinator.com/item?id=1825007 - Oct 2010 (40 comments) Lies, Damned Lies, and Medical Science - https://news.ycombinator.com/item?id=1793838 - Oct 2010 (27 comments) Lies, Damned Lies, and Medical Science - https://news.ycombinator.com/item?id=1787055 - Oct 2010 (2 comments) Why Most Published Research Findings Are False (2005) - https://news.ycombinator.com/item?id=833879 - Sept 2009 (2 comments)
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2022Hacker News 讨论帖157 分 · 80 评
- 2024Hacker News 讨论帖231 分 · 271 评
同领域还值得读
CRISPR 在活体动物中消除 HIV-1 感染
CRISPR eliminates HIV-1 infection in live animals
报告利用 CRISPR/Cas9 基因编辑技术在活体动物中清除 HIV-1 感染：研究人员通过腺病毒载体递送特定的 Cas9 系统，从被感染细胞中切除嵌入的 HIV 病毒 DNA。
生物与医学2017 · 1,455 分 · 239 评入门 · 约 30 分钟编辑精选保护区飞行昆虫生物量27年下降75%
75% decline over 27 years in total flying insect biomass in protected areas
这篇发表于 PLOS ONE 的研究通过在德国保护区长达 27 年的昆虫生物量监测，发现飞行昆虫总量下降了约 75%。
生物与医学2017 · 901 分 · 432 评入门 · 约 45 分钟编辑精选人类免疫系统的物理接线图
A physical wiring diagram for the human immune system
这篇 Nature 论文系统绘制了人类免疫系统的“物理接线图”：通过大规模实验鉴定免疫细胞表面受体之间的相互作用（包括约 30 种此前未知的受体互作），并结合定量计算模型模拟免疫…
生物与医学2022 · 342 分 · 49 评专业 · 约 90 分钟编辑精选脂肪组织在减重后仍保留肥胖的表观遗传记忆
Adipose tissue retains an epigenetic memory of obesity after weight loss
这篇 Nature 论文研究了肥胖对脂肪组织的长期影响：即使减重成功，脂肪细胞仍保留着肥胖时期的表观遗传记忆，可能解释为什么减重后容易反弹。
生物与医学2025 · 263 分 · 327 评进阶 · 约 45 分钟编辑精选从 2.5 亿条蛋白质序列的无监督学习中涌现出生物功能
Biological Function Emerges from Unsupervised Learning on 250M Protein Sequences
在约 2.5 亿条蛋白质序列上进行无监督训练，学习到的表示能够映射出蛋白质的结构与功能等生物学特性，无需人工标注或先验领域知识。
生物与医学2019 · 251 分 · 49 评进阶 · 约 60 分钟编辑精选