AI 与机器学习2022arxiv.org
神经网络通过程序合成求解并生成数学问题
A neural network solves and generates mathematics problems by program synthesis
进阶 · 约 45 分钟读完前置知识：大语言模型基础、程序合成、Python/SymPy 使用
导读
论文提出让神经网络通过"程序合成"来解题：把数学题改写成可执行代码（主要借助 OpenAI Codex 生成 Python 程序），运行程序得到答案，并反过来自动生成新的数学题；作者报告在取自 MIT 课程材料的大学数学题目上达到接近 100% 的正确率。核心做法之一是用领域知识人工改写题目，使其能被模型稳定地转成代码。
HN 关注点："100% 准确率"背后的水分：题目被人工改写、且有交互式提示，大家还质疑自动生成的题目质量是否真能用于教学。
后来怎么样
把“让模型写代码来推理”确立为解决数学与推理任务的一条主流路线，后续 program-of-thought、PAL 等一系列工作沿用并扩展了这一范式。
HN 评论精选
这几条评论里：质疑 3 补充 1
质疑100% 准确率依赖人工交互式改题，度量"改题距离"的做法说服力不足。
我不想泼太多冷水，但"100% 准确率"有个巨大前提。论文第 4 页写道：交互（Interaction）——原始问题未必能提示出一个执行后得到正确答案的程序，答案还可能需要多步推理、图表或其他模态。因此他们可能反复交互式地提示 Codex，直到得到正确答案或可视化结果，并且对原题做"最小必要的改动"。在我看来这基本就是有个会做这些数学题的人在循环里，不断改题直到模型答对。他们确实用句向量模型度量了原题与最终答对版本之间的距离，但这感觉很刻意。不过，正确答案确实存在于模型之中，这一点还是很酷。
bcaine查看英文原文
Not to pour too much cold water on this, but the claim of 100% accuracy has a huge caveat. In the paper (Page 4) they state: Interaction. The original question may not be a prompt that synthesizes a program whose execution results in the correct answer. In addition, the answer may require multiple steps with clear plots or other modalities. We therefore may interactively prompt Codex until reaching the correct answer or visualizations, making the minimum necessary changes from the original question Which to me basically sounds like they had a human in the loop (that knows how to solve these math problems) that kept changing the question until it gave the correct answer. They do measure the distance (using a sentence embedding model) of the original question to the one that yielded the correct answer, but that feels a bit contrived to me. Nevertheless, its still really cool that the correct answer is indeed inside the model.
质疑喂给模型前人工改写题目（甚至改成"用 Sympy 求导"），等于换了个问题。
他们在把题目喂给 AI 之前会重写题目，这让"100% 正确"大打折扣。例如他们把"用导数定义求函数 f(x) = (x²−1)/(2x−3) 的导数"手动改写成"用 Sympy 求 f(x)=(x*2-1)/(2*x-3) 的导数"，这完全改变了问题，而且改写还保证了 AI 不会在解析数据等环节失败。
Jensson查看英文原文
They rewrite the questions before feeding it into the AI. That makes "100% correct" significantly less impressive. For example, they manually rewrote the question: > Find the derivative of the function using the definition of a derivative. f(x) = (x2 − 1)/(2x − 3) To > Use Sympy to find the derivative of f(x)=(x*2-1)/(2*x-3) Which completely changes the question, and also their rewrite ensures that the AI doesn't fail to parse any data etc.
质疑自动生成的题目质量差、不像真实教材题，因此谈不上教育价值。
"这代表了高等教育的一个里程碑"——光是这句话就让人觉得论文可疑。无论算法本身有什么价值，都没有理由相信它产出的东西（一堆随机自动生成的题目）对真正的教育有任何用处。还有更多危险信号，比如自动生成的题目 U9："若 f(x) = (x^2 - x)/(x^2 + x)，f(2) 是多少？"——你上次见到（大学水平的）人类老师给你一个没有约分的有理多项式是什么时候？我最喜欢的是 X7："求能被 7 和 13 整除的最小质数。"
vanusa查看英文原文
This represents a milestone for higher education. Just from that sentence, you know the paper is suspect. Whatever the merits of the algorithm -- there's no reason to be believe that what it produces (a set of random auto-generated questions) will be useful for actual education in any way. There are more red flags -- see autogen question U9, for example: If f(x) = (x^2 - x) / (x^2 + x), what is f(2)? When was the last time your human teacher (at university level) handed you a rational polynomial that was not in reduced terms? And my favorite, X7: Find the smallest prime number that is divisible by 7 and 13.
补充方法本质是调用 Codex 加人工注入领域知识的改写，并非新训练的网络；由此引发对大公司垄断的担忧。
我本以为他们训练了一个新网络来解题，结果看来他们是用了 OpenAI Codex（和 GitHub Copilot 类似的网络）来生成答案。他们的洞见在于编辑问答对，加入领域知识，并把题目当作 Python 代码来求解。结果还是相当惊人！这也让人思考：这类问题能否用定制方案解决，还是说只有训练能从海量信息中泛化的大网络才行——如果是后者，那这类解决方案都会被大公司垄断。
resiros查看英文原文
I expected them to have trained a novel network to solve the problems. In fact, it seems they have used OpenAI Codex (a similar network to the one used by Github copilot) to generate the answer. Their insight was to edit the question-answer pairs to include domain knowledge and solve the questions as python code. Quite impressive results nevertheless! It makes wonder whether this kind of problem can be solved using a custom-made solution, or is training large networks that can generalize from vast quantity of information the only way. Because if it is, then all these solutions would be monopolized by the large players..
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2022Hacker News 讨论帖209 分 · 86 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选