其他2024arxiv.org
Newswire：一个世纪历史新闻的大规模结构化数据库
Newswire: A large-scale structured database of a century of historical news
进阶 · 约 60 分钟读完前置知识：OCR 与文本数字化基础、NLP 数据集构建常识、版权法基础
导读
论文构建了一个名为 Newswire 的大规模结构化历史新闻数据库，覆盖近一个世纪的新闻文本。由于版权法在1978年更新并自动适用于新闻通讯稿，该数据集只收录到1978年；用户反馈样本中存在较多OCR错误。
HN 关注点：数据集的版权限制（只到1978年）和数据质量（OCR错误）问题。
HN 评论精选
这几条评论里：质疑 1 补充 2
补充指出数据集截止1978年的版权原因，并批评学术界受版权约束而大实验室不受限。
根据论文，数据集只到1978年，因为那时版权法更新，自动适用于新闻通讯稿。不幸的是，我们陷入了这样的局面：学术界必须遵守版权规则，而大型私人实验室却无视规则。
rileyphone查看英文原文
According to the paper, the dataset goes up to 1978 because that's when copyright law was updated to automatically apply to newswires. It's unfortunate that we got into the situation where academia has to play by the rules wrt copyright while big private labs flaunt it.
质疑反映数据集存在大量OCR错误，质疑数据质量。
我随机搜索了一个词，在我用的样本里，文章数据似乎满是拼写错误和OCR错误。这让我怀疑这是不是个更大的问题。
donohoe查看英文原文
Just randomly searched for a term and the article data appears full of typos and OCR mistakes in the sample I used. Makes me wonder if this is a bigger problem.
补充提出用信息论中的“惊讶度”来定义新闻价值，并设想利用该数据集筛选出最具深远影响的事件。
我一直在想能否根据世界事件打造一种新新闻。我试图定义什么最有新闻价值，类似香农所说的“最令人惊讶”的条目，但通常惊讶是主观的，只影响个人。我们想把它应用到大的群体，或者新闻所针对的群体。所以，哪些新闻条目对该群体造成最大的“变化”（或惊讶）？我们的理解和真理观念基于大量推理链，这些推理链基于前提和价值观。当新事件改变我们理解所基于的前提时，哪些事件会导致这些DAG中最大的变化？我们经常被“新闻”轰炸，但它们不会改变太多，而具有深远影响的微妙事件经常被错过。也许这是一种凸显那些事情的方法。我想知道有没有更聪明的人能分析这样的数据集，并想出一套修订过的历年头条和文章，最好地传达最重要的变化。
tunesmith查看英文原文
I've wondered for a while if a new kind of news could be fashioned from the events of the world. Basically, if I were to try and define what items are most newsworthy, it'd be along the lines of what (according to my pop-culture understanding) Claude Shannon described, of the items that are most "surprising". But while we normally look at surprise as a subjective thing that impacts only one person, like an item that most conflicts with my current understanding and requires me to update my own model the most, we'd instead apply that to very large groups of people, or whatever group the "news" is being tuned to. So, what items of news cause the most "change" (or surprise) to that group of people. All our understandings and notions of truth are based off of large chains of reasoning that are based off of premises and values. When a new event happens that changes a premise our understandings are based on, which events cause the largest changes in those dags? We're regularly subjected to "news" that doesn't change anything very much, while subtle events of deep impact are regularly missed. Maybe it would be a way to surface those things. I wonder if someone smarter than me could analyze a data set such as this and come up with a revised set of headlines and articles over the years that do the best job of communicating the most important changes.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖165 分 · 39 评
同领域还值得读
每个好的系统调节器都必须是该系统的一个模型 (1970)
Every Good Regulator of a System Must Be a Model of That System (1970)
这是控制论经典论文（Conant 与 Ashby，1970）：它试图论证，任何“好的”调节器都必须是其所调节系统的模型——即调节器与被控系统之间必须存在同构或模型关系。
其他2018 · 202 分 · 59 评进阶 · 约 45 分钟编辑精选复杂系统如何失效
How complex systems fail (2002)
总结了复杂系统如何失败的若干条经验法则：系统总是在多重故障的边缘运行，事故是多重因素叠加的结果，操作者实际上同时承担着维持生产与防范故障的双重角色，而事后归因往往把事故简化为某个…
其他2017 · 154 分 · 19 评入门 · 约 30 分钟编辑精选如何阅读论文
How to Read a Paper (2016)
介绍如何高效阅读学术论文，提出“三遍阅读法”：先快速浏览摘要、结论和图表把握概览，再理解主要内容，最后深入细节。
其他2017 · 715 分 · 80 评入门 · 约 10 分钟公元 1021 年欧洲人已在美洲存在的证据
Evidence for European presence in the Americas in AD 1021
这篇 Nature 论文用树木年轮定年，并结合公元 993 年宇宙射线事件标记，把纽芬兰 L'Anse aux Meadows 的 Norse 活动精确到公元 1021 年，为欧…
其他2021 · 655 分 · 391 评进阶 · 约 45 分钟一次通古斯级空爆摧毁了约旦河谷青铜时代城市 Tall el-Hammam
A Tunguska size burst destroyed Tall el-Hammam, Bronze Age city in Jordan Valley
研究约旦河谷青铜时代城市 Tall el-Hammam 被毁的原因。
其他2021 · 653 分 · 342 评入门 · 约 45 分钟