AI 与机器学习2024arxiv.org
ReALM:作为语言建模的指代消解
ReALM: Reference Resolution as Language Modeling
进阶 · 约 35 分钟读完前置知识:指代消解基础、LLM 与上下文学习、对话系统/语音助手
导读
这篇 Apple 的论文研究指代消解问题,即理解对话或屏幕上下文中“它/那个”等指代词具体指向哪些实体(包括屏幕上和后台的实体)。核心做法是将指代消解转化为语言建模任务,用 LLM 处理对话、屏幕等非对话上下文中的实体解析。
HN 关注点:是因为这被视为 Apple 新一代 Siri 的技术基础,且展示了 LLM 在设备端智能助手场景的应用。
HN 评论精选
这几条评论里:质疑 2 补充 1 亲历 1
亲历开发者分享了自己做屏幕实体解析本地助手产品的亲历经验
我对这个方向的工作非常兴奋。我正在做一个类似的产品:后台运行、本地 LLM、能访问屏幕上的实体并执行某些操作,用起来感觉很神奇(在 3090Ti 上运行,M1 MBP 上慢一些但仍可用)。目前用 Mistral-7B-Instruct-v0.2,正在构建微调数据集,让它更好地适配本地应用界面(终端、浏览器、邮件、Slack、Discord、Word、Excel 等)。
dvt查看英文原文
I'm very excited about work being done in this area. In fact, I'm working on a product that does exactly this (runs in the background, local LLM, has access to screen-space entities, can take certain actions). It feels pretty magical to use (here it's running on my 3090Ti; much slower but still serviceable on my M1 MBP): https://www.youtube.com/watch?v=JH1noETdQEA Currently using Mistral-7B-Instruct-v0.2, but working on a fine-tuning dataset which should make it work better with local applications interfaces (console, browser, email client, Slack, Discord, Word, Excel, etc.).
质疑指出这是 Apple 新 Siri 的基础,但质疑其效果受限于 Apple 的 POI 数据质量
背景:这是 Apple 新一代 Siri 的基础。不过考虑到 Apple 的 POI(兴趣点)数据质量很差,我怀疑这是否真能带来多大改变。
threeseed查看英文原文
For context this is the basis for Apple's Siri replacement. I wonder whether this is going to make such a difference given Apple's POI data is so poor.
补充请求科普指代消解的概念
有人能用大白话解释一下什么是 reference resolution 吗?听起来像是识别实体,因为论文提到“屏幕上和后台”。
danielvaughn查看英文原文
Can someone ELI5 what is meant by reference resolution? Sounds like it means identifying entities, given that it talks about “on screen and in the background”.
质疑猜测论文的技术实现方式
他们是不是只是把文本的 2D 坐标位置加进了特征向量?
ultra_nick查看英文原文
Did they just add 2D text position to the feature vectors?
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2024Hacker News 讨论帖12 分 · 1 评
- 2024Hacker News 讨论帖140 分 · 15 评
同领域还值得读
DeepSeek-R1:通过强化学习激励 LLM 的推理能力
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via RL
研究如何用强化学习激励大语言模型的推理能力,提出 DeepSeek-R1,并探讨 RL 训练对模型推理表现的影响。
AI 与机器学习2025 · 1,351 分 · 1,056 评 · 引用 30进阶 · 约 80 分钟编辑精选1-bit LLM 时代:面向低成本计算的三值参数
The Era of 1-bit LLMs: ternary parameters for cost-effective computing
提出用三值参数 {-1, 0, 1} 替代 LLM 中的浮点权重,即所谓“1-bit LLM”。
AI 与机器学习2024 · 1,040 分 · 447 评 · 引用 19进阶 · 约 45 分钟编辑精选DeepSeek-V3.2:推进开放大语言模型的前沿
DeepSeek-v3.2: Pushing the frontier of open large language models
这是 DeepSeek-V3.2 的技术报告,延续了 DeepSeek 开源权重模型的路线,目标是让开放模型继续逼近甚至追平前沿闭源模型。
AI 与机器学习2025 · 982 分 · 465 评进阶 · 约 90 分钟编辑精选通过自我对弈与通用强化学习掌握国际象棋和将棋(AlphaZero)
Mastering Chess and Shogi by Self-Play with General Reinforcement Learning
DeepMind 的 AlphaZero 论文:用通用强化学习算法(自我博弈 + MCTS + 神经网络),从零开始仅数小时训练便在国际象棋和将棋上击败了世界顶级引擎 Stock…
AI 与机器学习2017 · 539 分 · 270 评 · 引用 13进阶 · 约 90 分钟编辑精选用强化学习发现更快的矩阵乘法算法
Discovering faster matrix multiplication algorithms with reinforcement learning
论文提出 AlphaTensor,用强化学习搜索矩阵乘法算法。
AI 与机器学习2022 · 518 分 · 111 评专业 · 约 90 分钟编辑精选