AI 与机器学习2024arxiv.org
通过超额词汇探究 ChatGPT 在学术写作中的使用
Delving into ChatGPT usage in academic writing through excess vocabulary
入门 · 约 30 分钟读完前置知识：基础统计学、词频分析概念
导读
该论文通过分析 2010-2024 年间 1400 万篇 PubMed 摘要的词汇频率变化，发现 LLM 出现后某些风格词（如 delves、crucial、significant 等）的出现频率骤增，据此提出用“过剩词汇”来估计学术写作中 ChatGPT 的使用程度。
HN 关注点：如何检测学术写作中的 LLM 使用，讨论焦点包括这种词汇检测法的成因解释、可靠性，以及论文标题用了 'Delving' 一词的讽刺意味。
HN 评论精选
这几条评论里：质疑 2 补充 1 亲历 1
质疑调侃论文标题用了 LLM 标志词 'Delving'，暗示作者自己可能也用了 LLM。
（引用摘要后调侃）"Delving"……听起来作者写这篇论文时可能也用了 LLM。
lioeters查看英文原文
> We study vocabulary changes in 14 million PubMed abstracts from 2010-2024, and show how the appearance of LLMs led to an abrupt increase in the frequency of certain style words. "Delving".. Sounds like the authors might have used an LLM while writing this paper as well.
补充认为 LLM 爱用这些词是因训练数据含大量营销文案，并好奇刻意提示下会更夸张到什么程度。
他们的词表是：delves、crucial、potential、these、significant、important。这不是第一个注意到此现象的研究，别人也发现 LLM 爱用 'delves'。LLM 的训练文本包含大量营销材料，所以生成伪学术内容时会带上一些营销词汇，这并不奇怪，我反而惊讶情况没更糟。如果提示词写'用营销效果最大化的风格写作'会怎样？（'你不能总用 Free，但总能用 New'——出自一本文案写作书。）
Animats查看英文原文
Their list: delves crucial potential these significant important They're not the first to make this observation. Others have picked up that LLM's like the word "delves". LLMs are trained on texts which contain much marketing material. So they tend to use some marketing words when generating pseudo-academic content. No surprise there. I'm surprised it's not worse. What happens if you use a prompt containing "Write in a style that maximizes marketing impact"?" ('You can't always use "Free", but you can always use "New"' - from a book on copywriting.)
质疑质疑这种检测方法很快会失效，因为 LLM 可以模仿个人文风、去掉标志词来规避检测。
用不了多久，就可以通过让文本听起来更像人写的、避免这些过剩词汇来掩盖 LLM 的使用。从现在 LLM 的写作风格到专业科学家的论文文风，跨度可能并不大。现在就已经可以用自己的写作风格来训练模型了。
aussieguy1234查看英文原文
It won't take long before it's possible to mask LLM use by making the text sound more human like, without the excess vocab. The leap from how the LLMs write now to how a professional sounding scientist might write their paper is probably not that big. Its possible now to train them on your own writing style.
亲历以亲历指出过剩词汇可能来自用 ChatGPT 粗改论文的编辑（受计薪配额驱动），而非作者本人。
这有可能是编辑造成的，而不是作者。我的一位前伴侣曾为一家大型出版商编辑论文——大多由非母语者撰写且已经过大量机器翻译——当需要大改时，她几乎总是用 ChatGPT 做第一遍修改。她按字数计酬，还有相当紧张的每日最低配额，所以实际上必须这样做才能挣到够生活的工资，避免被另一个远程'承包商'顶替。
silver_silver查看英文原文
It’s possible this is caused by the editors rather than the authors. An old partner edited papers for a large publisher - largely written by non-native speakers and already heavily machine translated - and would almost always use ChatGPT for the first pass when extensive changes were needed. She was paid by the word and also had a pretty intense daily minimum quota so it was practically required to get enough done to earn a liveable wage and avoid being replaced by another remote “contractor”.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 评论区提到的论文
历次讨论
- 2024Hacker News 讨论帖164 分 · 105 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选