AI 与机器学习2024arxiv.org编辑精选
Yi：01.AI 的开放基础模型
Yi: Open Foundation Models by 01.AI
进阶 · 约 50 分钟读完前置知识：Transformer 基础、大语言模型预训练、基准评测方法
导读
这篇论文由 01.AI 团队发布，介绍了 Yi 系列开源双语（中英文）大语言基础模型，包括 Yi-34B 等不同规模的模型。论文阐述了模型的训练方法、数据构建以及在多项基准测试上的表现，Yi-34B 在当时的多项榜单上位居开源模型前列。
HN 关注点：这款来自中国团队的高性能开源模型能否与 Llama、Mixtral 等竞争，同时讨论其许可证限制和审查行为等争议点。
HN 评论精选
这几条评论里：支持 1 质疑 3
支持引用官方数据说明 Yi-34B 在多项基准上领先其他开源模型
GitHub 仓库提供了更好的介绍和使用指南。Yi-34B-Chat 在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），超过了 GPT-4、Mixtral、Claude 等模型；Yi-34B 在 Hugging Face Open LLM Leaderboard 和 C-Eval 等基准上，在所有开源模型（如 Falcon-180B、Llama-70B）中排名第一（基于 2023 年 11 月前的数据）。
helsinkiandrew查看英文原文
The Github repository, gives a better introduction/howto: https://github.com/01-ai/yi > Yi-34B-Chat model landed in second place (following GPT-4 Turbo), outperforming other LLMs (such as GPT-4, Mixtral, Claude) on the AlpacaEval Leaderboard (based on data available up to January 2024). > Yi-34B model ranked first among all existing open-source models (such as Falcon-180B, Llama-70B, Claude) in both English and Chinese on various benchmarks, including Hugging Face Open LLM Leaderboard (pre-trained) and C-Eval (based on data available up to November 2023).
质疑指出模型权重并非真正开源，质疑其'开源'宣传
仓库源码是 Apache 2.0 许可，但模型权重不是。免得其他人被'构建下一代开源双语 LLM'的口号误导而兴奋。
orra查看英文原文
The repo source code is Apache 2.0 licensed, but the weights are not. Just in case anybody else is excited then misled by their tagline "Building the Next Generation of Open-Source and Bilingual LLMs".
质疑观察到模型对政治敏感问题存在中英文差异，质疑其审查机制
在对齐方面可能有点意思：根据我的经验，在 ollama 上运行的 yi-6b 模型对政治敏感问题（如天安门、彭帅失踪等）用中文提问时更容易拒绝回答，用英文提问时更可能提供信息。我很好奇这种差异是训练数据的自然结果、有意的国际化选择，还是只是我测试样本的噪声。
gyre查看英文原文
Potentially interesting on the alignment front: In my experience the yi-6b model running on ollama is more likely to refuse politically sensitive queries (relating to Tiananmen Square, Peng Shuai’s disappearance, etc) when asked in Chinese, and more likely to provide information when asked in English. I wonder if this difference falls out naturally from available training data, is a deliberate internationalization choice, or is just noise from the queries I happened to run.
质疑用逻辑测试题展示 Yi 的推理能力仍落后于顶级模型
它在我最喜欢的测试题上失败了：两辆车进行 100 英里比赛，A 车时速 10 英里，B 车时速 5 英里但有 10 小时领先优势，谁赢？我试了 3 次，每次 Yi 都选了某辆车作为赢家。几个月来我一直在观察 LLM 在这道题上的进步，很多模型仍然做不好，但如今顶级的模型大多能答对。
mg查看英文原文
Hmm.. it fails for my favorite test prompt: https://www.gnod.com/search/ai#q=Two%20cars%20have%20a%20100%20mile%20race.%20Car%20A%20drives%2010%20miles%20per%20hour.%20Car%20B%20drives%205%20miles%20per%20hour%2C%20but%20gets%20a%2010%20hour%20headstart.%20Who%20wins%3F I gave it 3 tries and each time, Yi picked one of the cars as the winner. I've been watching for many months now, how LLMs got better and better at solving it. Many still struggle with it, but the top ones nowadays mostly get it right.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖205 分 · 81 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选