AI 与机器学习2012research.google.com编辑精选
使用大规模无监督学习构建高层特征
Building high-level features using large scale unsupervised learning
进阶 · 约 60 分钟读完前置知识：机器学习基础、神经网络/自编码器、无监督学习
导读
这篇论文探索用大规模无监督学习，从无标注的 YouTube 视频中自动学习高层特征/对象类别；系统据称自行发现了约 2 万个类别，其中包含人脸和猫，且专门的人脸检测单元达到约 81.7% 的识别率。它属于早期大规模神经网络与无监督特征学习的代表性工作。
HN 关注点：HN 读者既惊叹系统无监督地自建类别并识别人脸，也争论这是否被夸成“奇点临近”，以及 16000 核算力其实只相当于少量 GPU。
后来怎么样
作为 Google Brain 的早期标志性工作，它让“猫神经元”广为人知，推动了工业界对大规模神经网络与分布式训练的投入；但其无监督特征学习路线后来并未成为主流，更多影响体现为深度学习复兴的催化剂。
HN 评论精选
这几条评论里：支持 1 质疑 1 补充 2
质疑质疑标题夸大，识别面孔不等于人机融合。
能不能把标题里的“奇点临近”删掉？这听起来很厉害，但一堆机架能识别人脸轮廓，与机器和人类融合差得远。
forgotusername查看英文原文
Can we perhaps edit "singularity is near" out of the title? This sounds impressive, but having a bunch of racks able to classify the outline of a face is vastly disconnected from machine and humanity merging.
支持核心价值是无监督自建类别及人脸检测单元的高准确率，不应只看 15%。
人们没抓住重点。是的，15% 准确率看起来不高。但检测器自己构建了类别！它在 YouTube 视频中找到了 20000 个不同对象类别，其中一类对应人脸，另一类对应猫。当实验者找到“人脸检测神经元”并用它测试人脸时，那个神经元达到 81.7% 的检测率！忘掉奇点，想想这多惊人：系统无需人工标注自我训练，正确区分人脸超过 80%。
nl查看英文原文
People are missing the point here. Yes, 15% accuracy doesn't seem great. BUT the detector built its own categories(!). It managed to find 20,000 different categories of objects in Youtube videos, and one of these categories corresponded to human faces, and another to cats. Once the experimenters found the "face detection neuron" and used it to test faces THAT neuron managed 81.7% detection rate(!). Forget the singularity, and just think about how amazing that is. The system trained itself - without human labelling - to distinguish human faces correctly over 80% of the time.
补充补充讨论，强调连接结构和动态功能比规模更重要。
Quora 最近有个相关讨论。最相关的一句大概是：“大脑的魔力不在神经元数量，而在电路如何连接和如何动态运作。把 10 亿个晶体管放一起，你不会得到一个能工作的 CPU；把 1000 亿个神经元放一起，你也不会得到一个智能大脑。”
Homunculiheaded查看英文原文
There was an interesting discussion on Quora about this recently[0] The most relevant quote being perhaps: "The magic of the brain is not the number of neurons, but how the circuits are wired and how they function dynamically. If you put 1 billion transistors together, you don't get a functioning CPU. And if you put 100 billion neurons together, you don't get an intelligent brain." 0. http://www.quora.com/How-big-is-the-largest-feedforward-neural-network-ever-trained-and-what-for
补充硬件规模实际只相当于少量 GPU，讨论算力效率与 GPU 优势。
16000 核听起来很厉害，直到你意识到它只相当于 5 到 10 块现代 GPU。对 Google 来说，直接跑 1000 台机器的任务比申请 GPU 更容易。提醒：GPU 将毁灭世界。
seiji查看英文原文
16,000 cores sounds impressive until you realize it's just five to ten modern GPUs. For Google, it's easier to just run a 1,000 machine job than requisition some GPUs. See: http://www.nvidia.com/object/tesla-servers.html (4.5 teraflops in one card) Reminder: GPUs will destroy the world.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2012Hacker News 讨论帖279 分 · 183 评
同领域还值得读
DeepSeek-R1：通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力，提出 DeepSeek-R1，并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代：面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重，即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2：推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告，延续了 DeepSeek 开源权重模型的路线，目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋（AlphaZero）
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文：用通用强化学习算法（自我博弈 + MCTS + 神经网络），从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor，用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选