AI 与机器学习2016research.google.com编辑精选
用于 YouTube 推荐的深度神经网络
Deep Neural Networks for YouTube Recommendations
进阶 · 约 45 分钟读完前置知识:推荐系统基础、深度学习基础、多类分类与 softmax
导读
这是 Google 团队(YouTube)公开介绍其推荐系统技术细节的论文,讲述如何用深度神经网络同时完成两件事:候选视频召回和排序/ ranking。做法是把推荐当作极端多类分类问题,用用户观看历史与上下文特征训练模型,再从输出中检索出最可能被观看的视频。对 HN 读者来说,这是工业级深度学习推荐系统少见的一手技术分享。
HN 关注点:焦点在于:深度学习是否真的比传统方法更好,以及推荐系统是否只是把算力和数据用蛮力整合起来,还是能体现对问题结构的理解。
后来怎么样
该文提出的“候选召回+排序”两阶段架构,以及把推荐建模为极端多类分类的思路,成为工业推荐系统的常见范式,并被大量后续工作沿用。
HN 评论精选
这几条评论里:质疑 2 补充 1 亲历 1
亲历论文作者现身,愿意答疑并收集反馈。
我是论文作者,乐意回答关于论文中技术的问题。很高兴终于能对外分享这项工作,也欢迎对 YouTube 推荐整体提出反馈。
pcovington查看英文原文
Author here - happy to answer questions about the techniques in the paper. We're super excited to finally share this work externally. Feedback about YouTube recommendations in general also welcome.
质疑效果好,但担心这类工作只是通用模型加算力,对问题结构的洞察有限。
我注意到 YouTube 的推荐突然变好了!我还以为他们用了新的统计方法,或者终于开始认真优化了,因为原来的推荐极其粗糙。说实话有点失望,发现可能只是又一个深度学习应用。(效果是有的,但当你读到的大多是“我们丢了一个通用函数逼近器,加上 3 万小时 GPU 时间”,对问题结构的理解就少了。)
Eliezer查看英文原文
I noticed that YouTube's recommendations had suddenly gotten better! I wondered if they were using a new statistical approach, or had just started really optimizing at all because the old recommendations were extremely naive. I'm actually a little disappointed to find out that it might just be another deep learning thing. (Yes, it works, but I feel like you learn a little less about problem structure when what you read is mostly "we threw a generic function approximator and 30,000 hours of GPU time at it".)
质疑批评 YouTube 推荐过度依赖地理位置,导致推荐不相关。
我对推荐功能持怀疑态度。在我少数没有完全无视它们的时候,我的反应从“嗯?”到“什么鬼?”都有。具体到 YouTube,它给地理位置权重太高了——仅仅因为我住在某个国家,不代表我对当地那些流行垃圾音乐或无聊的“搞笑”视频感兴趣。
kbart查看英文原文
I'm skeptic about recommendation feature. My reaction to them, in these rare occasions when not get ignored all together, in all sites ranges from 'huh?' to 'wtf?'. Specifically Youtube gives geographic location too much weight -- just because I live in a certain country, it doesn't I'm interesting in all these trending local shit-pop music or stupid 'fun' videos.
补充以 Spotify Discover Weekly 为例,说明优秀推荐能带来惊喜体验。
我遇到过最好的推荐引擎之一是 Spotify 的“Discover Weekly”播放列表。它帮我重新审视了自己与音乐的关系——我原以为在挖掘新艺人上陷入停滞之后,这段关系已经死了。SlideShare 上有一个关于它如何制作的精彩演示。
dsco查看英文原文
One of the very best recommendation engines I've encountered is the "Discover Weekly" playlist from Spotify. It's helped me reconsider my relationship to music which I basically thought was dead since I had hit a rut on exploring new artists. There's an interesting presentation of how it's created on SlideShare http://www.slideshare.net/MrChrisJohnson/from-idea-to-execution-spotifys-discover-weekly/8-Discover_Weekly_Started_in_2006
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2016Hacker News 讨论帖150 分 · 96 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选