AI 与机器学习2025arxiv.org
自动微分任意 LLM 工作流:告别手工提示工程
Auto-Differentiating Any LLM Workflow: A Farewell to Manual Prompting
进阶 · 约 45 分钟读完前置知识:自动微分基础、LLM 提示工程、计算图
导读
这篇论文研究如何免去手工编写和调优提示词,提出对任意 LLM 工作流做「自动微分」:把提示视为可优化的参数,借助工作流的计算图与反馈信号自动改进提示,而不是靠人工反复试写。摘要将提示工程描述为困难且劳动密集的任务,主张用自动化优化取代手工提示。
HN 关注点:两点:自动微分 LLM 工作流在技术上是否可行(是否需要反向训练的模型),以及它与 DSPy 中 MIPRO 等提示优化方法的关系。
HN 评论精选
这几条评论里:质疑 1 补充 1
质疑质疑自动微分要求模型具备反向传播能力,而目前没有接近 SOTA 规模的反向 LLM。
这难道不需要一个经过反向训练的 LLM 吗?我不认为有人预训练过规模接近 SOTA 的反向模型。
nullc查看英文原文
requires a backwards trained llm no? I don't think anyone has pretrained a remotely-close-to-SOTA sized backwards model.
补充把该工作与 DSPy 的 MIPRO 提示优化器类比,感叹该领域进展迅速。
哇,我刚说服自己接受 DSPy 里的 MIPRO 就是魔法,这就又来了新东西。进展真是一刻不停。
thom查看英文原文
Wow, just when I’d accepted MIPRO in DSPy was magic, here we are. Things continue apace.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖137 分 · 32 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选