生物与医学2010ncbi.nlm.nih.gov编辑精选
大多数已发表的研究发现都是错误的(2005)
Most Published Research Findings Are False (2005)
进阶 · 约 45 分钟读完前置知识:基础统计学、假设检验、流行病学研究设计
导读
这是 John Ioannidis 2005 年发表在 PLoS Medicine 上的著名论文,论证大多数已发表的研究发现其实是错误的。核心原因是统计功效不足、效应量偏小、研究数量众多、研究设计与分析自由度大等,导致阳性结果更可能是假阳性。论文提出,一项研究结果的可信度取决于研究设计、统计功效和领域内研究的数量等因素。
HN 关注点:HN 读者围绕科学可重复性危机、同行评审的实际作用以及出版制度改革(如研究前承诺发表)展开讨论,并补充了虚假科学会议/期刊和《自然》调查等相关资料。
后来怎么样
成为可重复性危机的标志性文献,推动预注册、复制研究及科研报告规范改革。
HN 评论精选
这几条评论里:支持 2 补充 2
补充提出预注册出版改革方案:出版商应在研究前承诺发表,并将大部分资源用于复制研究。
我认为解决方案是让科学出版像科学本身一样运作。正如科学家做实验时并不知道结果会是什么,出版商也应在不知道结果的情况下承诺发表。出版商需要更早参与:科学家不应提交已完成的研究,而应在研究之前申请发表;如果主题对出版商有吸引力,双方都应承诺无论结果如何都在该期刊发表。此外,出版商应承诺只发表约 1/3 的新主题研究,另外 2/3 用于重现之前有趣的结果——不是死板重复,而是用不同(希望是更好的)方法批判性地检验相同假设。
kerkeslager查看英文原文
I think the solution to this is that science publication needs to be done like science itself. Just as scientists commit to doing experiments without knowing what the results of the experiments will be, publishers need to commit to publishing experiments without knowing what the results of the experiments will be. Publishers need to be involved earlier in the process. Instead of submitting a completed research finding, scientists should apply to publish research before doing it, and if the topic of research is interesting to the publisher, both scientist and publisher should commit to publish in that journal, no matter what the results are. Additionally, publishers should commit to publish only something like 1/3 research into new topics, with the other 2/3 being publishing attempt to reproduce previous interesting results. I don't mean a slavish repetition of existing experiments, but taking a critical eye toward testing the same hypotheses with different (hopefully better) methodology.
支持金融等领域存在先跑回归再挑模型(p 值操纵)的做法,足以使结果无效。
在统计学中,本应先建立统计模型再对数据跑回归。但我读过的不少论文(尤其是金融领域)似乎反着来:先对数据集跑回归,不断增减自变量,直到 t 值和标准误看起来顺眼;然后才构建线性模型、假设高斯-马尔可夫条件,有时再尝试解释变量间的因果关系。这显然是错误的,没人知道这些模型的最小二乘估计量分布是什么。我见过大量这种例子,足以让论文结果作废,即使他们最终提出的模型看起来还算合理。
vitaminj查看英文原文
In statistics, you're supposed to come up with a statistical model first before running regressions on the data. But quite a few papers I've read (especially in finance) seem to go the other way around, i.e. They run regressions on a data set, adding and subtracting independent variables until the t values and standard errors start looking good. Then they construct the linear model, assume the Gauss-Markov assumptions and sometimes (though not always) try to explain the causal relationship between the variables. This is obviously very wrong and nobody has any clue what the distribution of the least squares estimators to these models are. But I've seen plenty of examples of this, which is enough to void the results of the paper (even if the model they come up with is somewhat plausible).
补充同行评审只是最低质量检查,不保证正确性;未经评审的内容更应警惕。
大多数代码即使通过了所有测试也仍然有 bug。发表是坚持、合理性和最低质量检查的标志。同行评审能改进文章,但不保证正确性。这也正是为什么对未经同行评审的东西要格外小心——不是因为门槛高,而是因为门槛太低。
Certhas查看英文原文
Most code is buggy despite passing all tests. Publication is a sign of persistence, plausibility and a minimal quality check. Peer review improves articles, it does not guarantee correctness. That's also why one should be extremely careful about things that are not peer reviewed. Not because the bar is so high, but because it's so low.
支持提供《自然》调查作为实证支持:科学家普遍认可可重复性危机。
2016 年《自然》对 1500 名科学家的调查显示,广泛共识认为科学存在可重复性危机。
samuell查看英文原文
A nature survey from 2016 among 1500 scientists, revealing a widespread consensus that there exists a reproducibility crisis in science: https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2010Hacker News 讨论帖89 分 · 40 评
- 2019Hacker News 讨论帖131 分 · 39 评
同领域还值得读
CRISPR 在活体动物中消除 HIV-1 感染
CRISPR eliminates HIV-1 infection in live animals
报告利用 CRISPR/Cas9 基因编辑技术在活体动物中清除 HIV-1 感染:研究人员通过腺病毒载体递送特定的 Cas9 系统,从被感染细胞中切除嵌入的 HIV 病毒 DNA。
生物与医学2017 · 1,455 分 · 239 评入门 · 约 30 分钟编辑精选保护区飞行昆虫生物量27年下降75%
75% decline over 27 years in total flying insect biomass in protected areas
这篇发表于 PLOS ONE 的研究通过在德国保护区长达 27 年的昆虫生物量监测,发现飞行昆虫总量下降了约 75%。
生物与医学2017 · 901 分 · 432 评入门 · 约 45 分钟编辑精选为什么大多数已发表的研究发现是错的
Why Most Published Research Findings Are False (2005)
这篇 2005 年发表于 PLOS Medicine 的经典论文由 John Ioannidis 撰写,论证了在统计功效不足、研究偏倚和多重检验等因素下,大多数已发表的医学研究发…
生物与医学2022 · 388 分 · 351 评入门 · 约 60 分钟编辑精选人类免疫系统的物理接线图
A physical wiring diagram for the human immune system
这篇 Nature 论文系统绘制了人类免疫系统的“物理接线图”:通过大规模实验鉴定免疫细胞表面受体之间的相互作用(包括约 30 种此前未知的受体互作),并结合定量计算模型模拟免疫…
生物与医学2022 · 342 分 · 49 评专业 · 约 90 分钟编辑精选脂肪组织在减重后仍保留肥胖的表观遗传记忆
Adipose tissue retains an epigenetic memory of obesity after weight loss
这篇 Nature 论文研究了肥胖对脂肪组织的长期影响:即使减重成功,脂肪细胞仍保留着肥胖时期的表观遗传记忆,可能解释为什么减重后容易反弹。
生物与医学2025 · 263 分 · 327 评进阶 · 约 45 分钟编辑精选