AI 与机器学习2025arxiv.org
Teuken-7B-Base 与 Teuken-7B-Instruct:迈向欧洲 LLM(2024)
Teuken-7B-Base and Teuken-7B-Instruct: Towards European LLMs (2024)
进阶 · 约 60 分钟读完前置知识:大语言模型基础、多语言 NLP 基础、Tokenizer 原理
导读
论文发布 Teuken-7B-Base 与 Teuken-7B-Instruct,目标是推进面向欧洲的多语言大模型。评论显示其涉及欧洲语言覆盖、欧洲基准以及从零训练的 tokenizer 等设计;具体训练细节和效果需以论文为准。
HN 关注点:欧洲多语言 LLM 的多样性与小语种表现,并讨论其基准设计和从零训练 tokenizer 的合理性。
HN 评论精选
这几条评论里:质疑 3 补充 1
补充小模型非英语直接问答较弱,经英语中转可显著改善,反映语言能力不均衡。
我曾有一个相关但不同角度的问题:用小模型时,用英语提问表现不错,同样问题用土耳其语问就一般;但如果让模型先把问题翻成英语、得到答案再翻回土耳其语,表现又变好。比如用 Llama 3.3 70B 规划伊斯坦布尔三日游,让它在英土之间翻译时答案明显更好。有人观察到类似现象吗?
ozgune查看英文原文
I had a related, but orthogonal question about multilingual LLMs. When I ask smaller models a question in English, the model does well. When I ask the same model a question in Turkish, the answer is mediocre. When I ask the model to translate my question into English, get the answer, and translate the answer back to Turkish, the model again does well. For example, I tried the above with Llama 3.3 70B, and asked it to plan me a 3-day trip to Istanbul. When I asked Llama to do the translations between English <> Turkish, the answer was notably better. Anyone else observed a similar behavior?
质疑肯定多样性,但认为部分欧洲小语种未必缺可用模型,Mistral 已表现不错。
LLM 领域更多多样性总是好事。不过作为较少使用的欧洲语言的母语者,我的经验是 Mistral 的模型已经用得挺好了。
JKolios查看英文原文
More diversity in the LLM space is always good. In my experience though, speaking as a native speaker of one of the less-used European languages, Mistral's models already use it pretty well.
质疑质疑 EU-ARC 基准的必要性及从零训练 tokenizer 的做法,认为应比较多语言/低资源语系而非仅限 EU。
>European versions of ARC 但这是图像类基准。有人看过 EU-ARC 的文章吗,区别是什么?为什么不能在普通 ARC 上测?我扫了一眼没马上找到,但看 tokenizer 他们是从零训练。总体上我不喜欢针对当前任务用这种方法:大语种已有好模型,他们却不想比较;低资源语言则很重要,应多纳入同一语系的语言,不一定属于 EU。
miros_love查看英文原文
>European versions of ARC But this is an image-like benchmark. Has anyone looked at the article about the EU-ARC, what is the difference? Why can't you measure it on a regular one? I glanced through it, didn't find it right away, but judging by their tokenizer, they are learning from scratch. In general, I don't like this approach for the task at hand. For large languages, there are already good models that they don't want to compare with. And for low-resource languages, it is very important to take more languages from this language group, which are not necessarily part of the EU
质疑以首句语法错误质疑论文写作质量与严谨性。
一篇关于语言的论文,第一句就有语法错误:> LLMs represents a disruptive technology,这不太让人有信心。
smokel查看英文原文
A paper on languages that begins with a grammatical error in the first sentence does not inspire confidence: > LLMs represents a disruptive technology
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2025Hacker News 讨论帖248 分 · 95 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选