AI 与机器学习2024arxiv.org
在微预算下从头训练扩散模型
Diffusion Training from Scratch on a Micro-Budget
进阶 · 约 60 分钟读完前置知识：扩散模型基础、生成模型训练基础
导读
论文研究如何在极小的算力和经费预算下从零训练扩散模型（而不是微调现成的大模型），并给出/比较了在 micro-budget 设定下的训练配置与取舍。论文中包含与其他低成本模型（如 PixArt-α）的对比实验，用来检验这种低成本训练路线的实际效果。
HN 关注点：训练成本曲线的快速下降：这既让更多人能亲手训练模型，也牵涉到 AI 监管在开源低成本模型面前是否还有意义。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 1
补充训练成本骤降会让 AI 监管在实践中失效，合规负担只落在守规矩者身上。
成本曲线正以极快的速度趋于平缓，以至于到今年年底，AI 监管可能实际上变得毫无意义。如果你想要不受管制的输出，你会有大量可选的海外模型。风险在于，最终可能只有守规矩的人被束缚住。但愿这个负担不至于大到让违规者、尤其是那些“还行”的玩家（比如阿里巴巴这种真有实力的）获得巨大优势。
worstspotgain查看英文原文
Asymptotic improvements are flattening the cost curves so fast that AI regulation might become practically meaningless by the end of the year. If you want unregulated output you'll have tons of offshore models to choose from. The risk is that the good guys end up being the only ones hampered by it. Hopefully it won't be so large a burden that the bad guys and especially the so-so guys (those with a real chance, e.g. Alibaba) get a massive leg up.
支持降低门槛的研究有教学和普及价值，期待消费级 GPU 能训出 SD1.5 级模型。
这类研究很棒，既降低了训练成本，也让更多人能动手实验训练大模型。希望 5-10 年后我们能用消费级 GPU 训出与 SD 1.5 同等水平的模型，那对教学模型开发会非常有价值。
Flux159查看英文原文
This kind of research is great for reducing training costs as well as enabling more people to experiment with training large models. Hopefully in 5-10 years we'll be able to train a model on par with SD 1.5 with consumer gpus since that would be great for teaching model development.
质疑质疑低成本训练的实际质量：论文对比显示 PixArt-α 似乎更连贯，玩具模型不等于可用模型。
这让我想起 PixArt-α，它也是用差不多同样微小的预算（2.8 万美元）训出来的[0]。不过它的结果到底有多好？训练一个玩具模型是一回事，做出能用的东西（更别说有竞争力的）是另一回事。补充：论文里确实有对比，PixArt-α 看起来……更连贯一些？
orbital-decay查看英文原文
Reminds me of PixArt-α which was also trained on the similarly tiny budget ($28,000). [0] How good is their result, though? Training a toy model is one thing, making something usable (let alone competitive) is another. Edit: they do have comparisons in the paper, and PixArt-α seems to be... more coherent? [0] https://pixart-alpha.github.io/
历次讨论
- 2024Hacker News 讨论帖208 分 · 27 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选