其他2018tandfonline.com
电子表格中的数据组织
Data Organization in Spreadsheets
入门 · 约 25 分钟读完前置知识:电子表格基本操作、数据整理基础
导读
这篇论文(The American Statistician 刊载的实务指南)讨论的是如何在电子表格中规范地组织数据,使其便于后续分析。作者主张表格最适合录入和存储数据,分析与可视化应交由统计软件完成,并给出一系列具体建议:一列一个变量、避免空单元格与多表混排、保持格式一致等。文中也提醒注意 Excel 自动把基因名或日期误转成日期等问题。
HN 关注点:几乎所有行业都在用 Excel,HN 读者围绕“表格到底该用来录数据还是做分析”以及被 Excel 篡改数据的真实事故展开了讨论。
后来怎么样
这篇指南成为科研数据管理与数据科学教学中电子表格整理的常用参考,其“一列一变量、分析交给统计软件”等原则被广泛采用,并推动了 tidy data 实践的普及。
HN 评论精选
这几条评论里:质疑 1 补充 2 亲历 1
质疑论文的建议与现实中的表格使用方式恰好相反
论文说“表格最适合录入和存储,分析和可视化应该分开做”,但我工作过的每个组织基本都相反:源数据来自 SAP、Salesforce、Quickbooks 等系统,表格反倒被用来做分析和出报表。
cascom查看英文原文
>"Spreadsheets are often used as a multipurpose tool for data entry, storage, analysis, and visualization. Most spreadsheet programs allow users to perform all of these tasks, however we believe that spreadsheets are best suited to data entry and storage, and that analysis and visualization should happen separately." in every organization I've worked in, its usually the exact opposite - spreadsheets are used to do analysis and create reports while the source data is coming from other systems (SAP, Salesforce, quickbooks, etc)
补充补充文献:Excel 把基因名误转成日期,已在科研文献中造成广泛错误
有一篇被本文引用的有趣论文讲基因表达数据里的错误:电子表格(至少 Excel)是主要祸首,比如把基因名 SEP15 识别成 9 月 15 日。当这种错误只发生在部分数据(某些列)里时尤其危险。Gene name errors are widespread in the scientific literature, Genome Biology 2016, 17:177,开放获取:https://doi.org/10.1186/s13059-016-1044-7
bagrow查看英文原文
There's a interesting recent paper, also cited by these folks, about errors in gene expression data. Spreadsheets (or at least Excel) are a major culprit, interpreting gene SEP15 as September 15, for example. This is dangerous when it happens in only part of the data, like some columns. Gene name errors are widespread in the scientific literature Genome Biology 2016 17:177 https://doi.org/10.1186/s13059-016-1044-7 (Open Access)
补充推荐 tidy data 与科研计算最佳实践等延伸资料
Hadley Wickham 的 tidy data 也很值得一读:http://vita.had.co.nz/papers/tidy-data.html。我与社会科学研究者合作紧密,在这些学科里把叙述性文字和展示用数据嵌进表格很常见。这篇文章和《Good Enough Practices in Scientific Computing》(http://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005510)都是很好的规范实践总结。
anonymouslee查看英文原文
Hadley Wickham's tidy data is also an excellent read: http://vita.had.co.nz/papers/tidy-data.html I work closely with social scientists and it's common in those disciplines to embed narrative and presentation data in spreadsheets.. articles like this and the Good Enough Practices in Scientific Computing (http://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005510) are nice summaries of good practices.
亲历亲历经验:数据放 SQLite,表格只做展示层
我的做法是:用 SQLiteStudio 把数据录入 sqlite3 数据库,表格只用于导入、导出和展示。
yannis查看英文原文
A technique I use, is to enter the data in an sqlite3 database, using SQLiteStudio and use spreadsheets for importing, exporting and presentation only.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2018Hacker News 讨论帖77 分 · 27 评
- 2020Hacker News 讨论帖20 分 · 0 评
- 2021Hacker News 讨论帖60 分 · 4 评
同领域还值得读
每个好的系统调节器都必须是该系统的一个模型 (1970)
Every Good Regulator of a System Must Be a Model of That System (1970)
这是控制论经典论文(Conant 与 Ashby,1970):它试图论证,任何“好的”调节器都必须是其所调节系统的模型——即调节器与被控系统之间必须存在同构或模型关系。
其他2018 · 202 分 · 59 评进阶 · 约 45 分钟编辑精选复杂系统如何失效
How complex systems fail (2002)
总结了复杂系统如何失败的若干条经验法则:系统总是在多重故障的边缘运行,事故是多重因素叠加的结果,操作者实际上同时承担着维持生产与防范故障的双重角色,而事后归因往往把事故简化为某个…
其他2017 · 154 分 · 19 评入门 · 约 30 分钟编辑精选如何阅读论文
How to Read a Paper (2016)
介绍如何高效阅读学术论文,提出“三遍阅读法”:先快速浏览摘要、结论和图表把握概览,再理解主要内容,最后深入细节。
其他2017 · 715 分 · 80 评入门 · 约 10 分钟公元 1021 年欧洲人已在美洲存在的证据
Evidence for European presence in the Americas in AD 1021
这篇 Nature 论文用树木年轮定年,并结合公元 993 年宇宙射线事件标记,把纽芬兰 L'Anse aux Meadows 的 Norse 活动精确到公元 1021 年,为欧…
其他2021 · 655 分 · 391 评进阶 · 约 45 分钟一次通古斯级空爆摧毁了约旦河谷青铜时代城市 Tall el-Hammam
A Tunguska size burst destroyed Tall el-Hammam, Bronze Age city in Jordan Valley
研究约旦河谷青铜时代城市 Tall el-Hammam 被毁的原因。
其他2021 · 653 分 · 342 评入门 · 约 45 分钟