AI 与机器学习2024arxiv.org
AutoDev：微软提出的自动化 AI 驱动开发
AutoDev: Automated AI-driven development by Microsoft
进阶 · 约 40 分钟读完前置知识：LLM 基础、LLM 代理、软件测试与基准评测
导读
AutoDev 是微软提出的自动化 AI 驱动开发框架，利用 LLM 代理自动完成编码、测试等软件开发任务。论文在 HumanEval 等基准上展示了代理式方法的能力，但评论指出基准测试与现实软件工程之间仍有差距。
HN 关注点：AI 代理能否真正替代或改变软件工程师的工作，以及基准分数在真实开发场景中的可迁移性。
HN 评论精选
这几条评论里：质疑 2 补充 1
补充探讨 AI 参与开发后软件工程师角色的转型方向或消失可能。
如果 LLM/代理参与软件开发，软件工程师的角色会如何演变？工程师应该聚焦于系统设计、集成、项目管理等，还是这个岗位会在 10 年内消失？
saran945查看英文原文
If LLM/Agents contribute to software development, how does the role of software engineers evolve? SE should focus on : - System design - Integrations - Project management etc or the job will disappear in 10 years ?
质疑质疑 AI 替代讨论过度聚焦工程师，而忽视公司里大量同样可被自动化的非工程岗位。
我是做软件和产品的；我不理解的是，为什么我们只想着替换底层工程师，而不替换公司人力结构中的很大一部分。离工程近的，SCRUM master、测试人员、产品负责人、devops 呢？更远一点，负责休假登记、差旅预算报销、甚至面试官的人呢？在我最亲近的朋友圈里（都是各自领域的资深人士，彼此很坦诚），我发现只有建筑工人的工作应该是安全的。和我以及 devops 那位相比，大多数人自己都形容自己的工作琐碎无聊：开个会、推推纸、签签文件、喝杯咖啡，下午一点一天就结束了。我是不是因为身处一个程序员很多的论坛，才觉得 AI 要替换的是编程？其他岗位也一样吗？如果 LLM 真能构建优秀软件，在替换被雇佣的人之前，先自动化面试流程不是更合理吗？每天用 LLM 用了几年，我对这种炒作非常困惑。
ThalesX查看英文原文
I'm a software and product guy; what I don't get, is how we're going to replace us lowly engineers and not a substantial percentage of a company's Human stack. Close to engineering, what about the SCRUM masters? The testers. What about the product owners? What about devops? Further from us, what about the people signing up on our vacation? Or the ones signing up on our daily budgets when traveling, or hell, even the ones we interview with. In my closest group of friends (we're all seniors in our domains, and very honest with eachother), I find that only the construction worker's job should be safe. And compared to myself and the devops guy, most others have what they themselves describe as trivial and bullshit jobs. Join a meeting, do some paper pushing, some document signing, a little coffee and the day is over by 1PM. Am I seeing all these AIs replacing programming because I'm on a board where maybe a lot of us are programmers? Is it the same for other roles? Wouldn't it make more sense to have the interview process automated by LLMs if they're capable of building great software, before we replace those hired? I'm very confused by all the hype when matched with my experience of using LLMs daily for the past years.
质疑肯定基准表现，但指出无代理的 Claude 3 Opus 已接近高分，并质疑 HumanEval 与现实软件工程的相关性。
我想看看它在 Devin 使用的同一基准上表现如何。很难否认这令人印象深刻。但我觉得有两点值得注意：Claude 3 Opus 在没有“AutoDev”式代理方法的情况下，已经在这些基准上拿到约 85-86% 的分数；而且 HumanEval 的所有老问题依然存在——题目风格的选择局限，以及与真实世界的相关性。我讨厌写这种评论，因为我清楚自己有一部分只是担心，担心进步的速度，担心变化的格局。但我仍然怀疑，这些东西有多少能迁移到真实的软件环境中。
PodgieTar查看英文原文
I guess I'd be interested to see how this performs against the same benchmark Devin was using. It's hard to deny that this isn't impressive. But I think there's two interesting parts to it. Claude 3 Opus already scored around 85-86% on these benchmarks, without an "AutoDev" style agentic approach. And all the same problems with HumanEval remain, the limitations in terms of what style of problems are chosen, and real world relevance. I hate writing these styles of comments because I'm acutely aware that a part of me is just worried. Worried about the speed of progress and worried about a changing landscape. But I still wonder how much of this stuff is going to be transferrable to a real life software context.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
- 自称作者的回复
- 代码
- 评论区提到的论文
历次讨论
- 2024Hacker News 讨论帖163 分 · 213 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选