经济与社会科学2020journals.sagepub.com
普通人能预测哪些社会科学研究可成功复现
Laypeople can predict which social-science studies will replicate successfully
进阶 · 约 35 分钟读完前置知识：可重复性危机、基础统计学、社会科学实验方法
导读
这篇论文（发表在 AMPPS）研究普通非专业人士能否只凭研究描述判断哪些社会科学实验会被成功重复。按评论者的说法，参与者的预测准确率只有约 59%，略高于随机猜测的 50%；当被告知原始证据强度后，准确率升到约 67%。论文据此认为"外行"对可重复性有一定判断力，但评论者对这一结论的幅度和样本构成都提出了质疑。
HN 关注点：这种"外行预测可重复性"的准确率是否真的超过抛硬币，以及研究本身的样本与方法是否站得住脚。
HN 评论精选
这几条评论里：质疑 3
质疑质疑样本由心理学一年级学生构成、并把研究生算作"外行"，可能使结果偏向论文结论。
根据"方法"部分，研究 257 名候选参与者中有 138 人（最终 233 人）是心理学一年级学生——我不禁怀疑这是否会偏倚研究结果。研究者还把研究生也算作"外行"，我觉得这不太合理。
science4sail查看英文原文
According to the "method" section, 138 out of 257 candidate (233 final) participants in the study were first-year psychology students - I can't help but wonder if this might have biased the study's results. The investigators also classified graduate students as laypeople, which doesn't quite feel right to me.
质疑认为外行预测成功可能主要来自对社科政治风向（哪些结论"政治不正确"）的敏感，而非对科学合理性的判断。
我很好奇这其中有多少是外行在评估"合理性"，又有多少是在评估"政治"。我在大学只修过必修的最低限度社科课程，但如果你明白性别和 LGBTQ+ 议题实际上是不容真正批评的，你就能很容易猜出哪些假设多半对、哪些多半错——标准是：它成立是否会印证对这类群体的负面解读。基本上，凡是让人扫兴的结论在美国社会科学里都行不通，除非你能用它批评白人或者顺性别者；懂这一点，你就能预测大部分重要结果，因为其余的一切不过是伪装成科学的修辞框架。
r6r7rurufuru查看英文原文
I'm curious how much of this is lay people evaluating plausibility vs. politics. I only know the mandatory minimum of social science I was required to take in college but if you understand that gender and lgbtq+ matters are de facto immune to real criticism then you can pretty easily guess which hypothesis are likely to be right/wrong by whether or not them being correct would validate a negative interpretation of any of those groups. Basically anything that harshes the vibe is a no go in American social science unless you can use it to criticize white people or cis people, if you know that then you can predict most big stuff since everything else is just rhetorical frameworks masquerading as science.
质疑指出 59% 仅略高于随机基线；在缺少可重复/不可重复研究数量和对照条件的情况下，这一结果的说服力有限。
他们声称"外行"能预测研究是否可重复，但准确率只有 59%。技术上这确实成立，但离 50% 太近了。我找不到那 27 项研究里有几项可重复、几项不可重复。尤其是因为一半被试是心理学一年级学生，他们理应对这个学科有基本了解。而当被试被告知证据强度时，准确率升到 67%，这更不惊艳。一只只会复述信息的鹦鹉能有多高准确率？公平地说，他们把证据强度从数字量表转换成简单词语量表，被试要再把它转回数字量表。真正的问题是：在随机给数字、不给研究描述等额外信息的情况下，人们做这个任务能有多好。
gus_massa查看英文原文
They claim that "laypeople" can predict if the study is reproducible, but they only got a 59% accuracy. It's technically true, but it's too close to 50%. I can't find how many of the 27 studies there "reproducible" and how many no. Specially because half of the subject were first year students of psychology that should have a minimal idea of the subject. And the 67% when the people is informed about the strength of evidence is even less impressive. How much accuracy would have a parrot that just repeat the information? To be fair they translate the strength to the evidence from a numeric scale to a simple words scale, and the participants should translate it back to a numeric scale. The real question is how good is people doing this task with random numbers, without additional information like the description of the study.
历次讨论
- 2020Hacker News 讨论帖150 分 · 69 评
同领域还值得读
一切的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
利用1870–2015年多国的长期数据，估算股票、住房等各类资本的回报率，并将其与经济增长率进行比较。
经济与社会科学2019 · 487 分 · 260 评进阶 · 约 100 分钟编辑精选一切资产的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
构建了 1870–2015 年 16 个国家的长周期资产回报数据集，覆盖股票、住房、政府债券和短期票据，系统比较各类资产的真实回报与波动性。
经济与社会科学2018 · 215 分 · 151 评进阶 · 约 120 分钟编辑精选一切资产的回报率，1870–2015（2019）
The Rate of Return on Everything, 1870–2015 (2019)
这篇发表于《经济学季刊》的论文构建了 1870–2015 年间 16 个主要发达国家的股票、债券、房地产等资产收益率的长周期数据库。
经济与社会科学2024 · 190 分 · 148 评进阶 · 约 80 分钟编辑精选想法是否越来越难找？
Are ideas getting harder to find?
探讨“想法是否越来越难找到”：通过衡量多个领域的“研究生产率”，发现维持相同的增长需要投入指数级增长的研究资源，即研究效率在持续下降。
经济与社会科学2016 · 182 分 · 106 评入门 · 约 60 分钟编辑精选比特币与区块链的经济极限
The Economic Limits of Bitcoin and the Blockchain
芝加哥大学 Eric Budish 的论文从经济学角度分析比特币与区块链的根本限制：核心论点是只要攻击网络（双花或砸盘做空）的收益超过挖矿成本，51% 算力攻击就有利可图，而挖矿…
经济与社会科学2018 · 176 分 · 37 评进阶 · 约 90 分钟编辑精选