经济与社会科学2024academic.oup.com
大语言模型减少了在线问答平台上的公共知识分享
Large language models reduce public knowledge sharing on online Q&A platforms
入门 · 约 30 分钟读完前置知识：大语言模型基础、Stack Overflow 等问答平台的使用经验
导读
这篇论文研究了 ChatGPT 等大语言模型的普及对在线问答平台的影响，发现 LLM 的出现显著减少了用户在平台上公开分享知识的意愿和行为。由此引出一个循环依赖的隐忧：LLM 依赖人类公开产出的语料来训练，却正在抑制这些语料的持续产生。
HN 关注点：HN 读者多为 Stack Overflow 的重度用户和贡献者，讨论焦点是平台衰落该归咎于社区氛围恶劣还是 LLM 冲击，以及未来训练数据从何而来。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1 亲历 1
支持LLM 不创造新信息，公开语料枯竭后其能力将受限
问题在于，最终 LLM 能从哪里获取素材？它们并不创造新信息，只是复述和组合已有信息。这就是为什么它们在缺乏大量公开样本（如 SO/Reddit 回答）的代码领域表现很差。
insane_dreamer查看英文原文
The problem is eventually what are LLMs going’s to draw from? They’re not creating new information, just regurgitating and combining existing info. That’s why they perform so poorly on code for which there aren’t many many publicly available samples, SO/reddit answers etc.
亲历SO 社区氛围让人却步，向 LLM 提问更轻松
能找到一个提问时不用担心被羞辱的平台，真是让人松了口气。半开玩笑，但我确实受够了 Stack Overflow 那种学究式的吹毛求疵。
melenaboija查看英文原文
It’s been a relief to find a platform where I can ask questions without the fear of being humiliated Half joking, but I am pretty tired of SO pedantry.
质疑SO 被弃用的主因是社区态度恶劣，ChatGPT 只是首个可行替代品
Stack Overflow 的版主和资深用户太刻薄，这本身就降低了人们使用 SO 的意愿，ChatGPT 只是第一个可行的替代品。
timhh查看英文原文
Stackoverflow mods and power users being arseholes reduces the use of Stackoverflow. ChatGPT is just the first viable alternative.
补充训练语料的围墙花园守不住；更应关注创作者用户而非平台的权益，且 LLM 本身是过渡性的
想为这些对训练 LLM 有价值的人类文本语料维护围墙花园是场注定失败的战斗，马大概已经跑了。但我认为这只是暂时问题，因为 LLM 是过渡性的：统计模型的能力有明显上限，而且人类学习也不是靠读一百万本书——你一生读过几百上千本书就够了。有意思的是，这个问题（说白了就是盗窃）被框定为从「拥有」数据的公司那里偷，而不是从创造内容的用户那里偷；所有 UGC 网站都注定衰亡，因为其动机与用户背离，无止境的逐利终将赶走用户。另一个问题是多少 IP 消费构成盗窃？LLM 看遍所有电影大概是盗窃，但多少算多？《现代启示录》大致取材自《黑暗之心》，但你不能因为一个人读了《黑暗之心》就指控他「盗窃」。一切艺术都是衍生的。
jmyeet查看英文原文
It's a losing battle to try and maintain walled gardens for these corpuses of human-generated text that have become valuable to train LLMs. The horse has probably already bolted. I see this as a temporary problem however because LLMs are transitional. At some point it won't be necessary to train an LLM on the entirety of Reddit plus everything else ever written because there are obvious limits to statistical models like this and, as a counter point, that's not how humans learn. You may have read hundres of books in your life, maybe even thousands. You haven't read a million. You don't need to. I find it interesting that this issue (which is theft, to be clear) is being framed as theft from the site or company that "owns" that data, rather than theft from the users who created it. All these user-generated content ("UGC") sites are doomed to eventually fail because their motivations diverge from their users and the endless quest to increase profits inevitably drives users away. Another issue is how much IP consumption constitutes theft? If an LLM watches every movie ever made, that's probably theft. But how many is too many? Like Apocalypse Now was loosely based on or at least inspired by Heart of Darkness (the novel). Yet you can't accuse a human of "theft" by reading Heart of Darkness. All art is derivative, as they say.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖448 分 · 358 评
同领域还值得读
一切的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
利用1870–2015年多国的长期数据，估算股票、住房等各类资本的回报率，并将其与经济增长率进行比较。
经济与社会科学2019 · 487 分 · 260 评进阶 · 约 100 分钟编辑精选一切资产的回报率，1870–2015
The Rate of Return on Everything, 1870–2015
构建了 1870–2015 年 16 个国家的长周期资产回报数据集，覆盖股票、住房、政府债券和短期票据，系统比较各类资产的真实回报与波动性。
经济与社会科学2018 · 215 分 · 151 评进阶 · 约 120 分钟编辑精选一切资产的回报率，1870–2015（2019）
The Rate of Return on Everything, 1870–2015 (2019)
这篇发表于《经济学季刊》的论文构建了 1870–2015 年间 16 个主要发达国家的股票、债券、房地产等资产收益率的长周期数据库。
经济与社会科学2024 · 190 分 · 148 评进阶 · 约 80 分钟编辑精选想法是否越来越难找？
Are ideas getting harder to find?
探讨“想法是否越来越难找到”：通过衡量多个领域的“研究生产率”，发现维持相同的增长需要投入指数级增长的研究资源，即研究效率在持续下降。
经济与社会科学2016 · 182 分 · 106 评入门 · 约 60 分钟编辑精选比特币与区块链的经济极限
The Economic Limits of Bitcoin and the Blockchain
芝加哥大学 Eric Budish 的论文从经济学角度分析比特币与区块链的根本限制：核心论点是只要攻击网络（双花或砸盘做空）的收益超过挖矿成本，51% 算力攻击就有利可图，而挖矿…
经济与社会科学2018 · 176 分 · 37 评进阶 · 约 90 分钟编辑精选