神经科学与心理学2018biorxiv.org
从人类大脑活动中深度重建图像
Deep image reconstruction from human brain activity
进阶 · 约 60 分钟读完前置知识:深度学习基础、fMRI 成像原理、卷积神经网络
导读
这篇论文研究如何从人脑 fMRI 信号中重建人所看到的图像:作者用深度神经网络解码大脑活动来还原视觉刺激,甚至能部分重建被试仅凭想象(而非直接观看)的图像,重建结果在人类评估中优于随机水平。
HN 关注点:“读脑”技术的进展与边界:既惊叹于从脑信号重建图像甚至想象内容的能力,也讨论其实际限制(fMRI 时间滞后、需要长时间想象)和思想隐私方面的隐忧。
后来怎么样
这项工作是神经表征解码领域的标志性研究,展示了从 fMRI 信号重建视觉图像(包括想象内容)的可行性,被广泛引用并推动了后续脑活动图像解码研究的发展。
HN 评论精选
这几条评论里:支持 1 补充 3
支持肯定研究亮点:不仅重建所见图像,还能从想象中重建并优于随机水平
他们训练了一个深度神经网络,从 fMRI 信号重建病人所看到的图像,取得了初步成功,很酷!图 4 更精彩:让病人想象一幅图像/符号,然后尝试从 fMRI 信号中重建它。虽然只有少数成功案例,但人类评估这些重建形状时表现优于随机水平,太棒了!
jostmey查看英文原文
They trained a deep neural network to reconstruct what a patient was seeing from fMRI signals and were mildly successful. Cool! Things get really awesome in Figure 4. They had patients imagine an image/symbol that that they would then try to reconstruct from fMRI signals. They had a few successes and were able to operate at better than chance when humans evaluated the reconstructed shapes. That's awesome!
补充指出 fMRI 时间滞后限制:需要 8 秒想象期,转瞬即逝的想法读不出来,思想隐私暂无风险
结果很酷。但需要指出,“想法”与 fMRI 信号出现之间存在时间滞后,这解释了为什么图像需要被想象长达 8 秒(每个想象块包含 4 秒提示、8 秒想象、3 秒评估和 1 秒休息)。大多数想法转瞬即逝,无法用 fMRI 读出,所以暂时不必太担心思想隐私问题 :)
paulsutter查看英文原文
Cool results. Just want to point out that there's a time lag between "thoughts" and the appearance of a signal through fMRI, which explains why the image needed to be imagined for a long period of time (8 seconds). Most thoughts are more fleeting than this, and couldn't be read with fMRI. So there's no need to get /too/ concerned about the privacy of our thoughts. Not yet :) > Each imagery block consisted of a 4-s cue period, an 8-s imagery period, a 3-s evaluation period and a 1-s rest period.
补充提出设想:若将重建结果实时反馈给视觉系统,或可实现“所见即所想”
好奇如果用 VR 把输出近乎实时地反馈到视觉系统中会怎样——你能“看到”任何你能想到的东西吗?
andy_ppp查看英文原文
I wonder what would happen if you could feed back the output into the visual system using VR in near real time. Would you be able “see” anything you could think of?
补充补充 1999 年更侵入性的相关研究,并担忧强行读取不配合者想法的应用风险
非常令人印象深刻。注意这是用磁共振成像做的。更具侵入性的方法是 1999 年的《从外侧膝状体集群响应重建自然场景》。有点令人担忧的是其应用,比如从不愿配合的人身上强行提取想法。
partycoder查看英文原文
Very impressive. Please note this was done with magnetic resonance imaging. A more invasive approach was this: "Reconstruction of Natural Scenes from Ensemble Responses in the Lateral Geniculate Nucleus" (1999). - http://www.jneurosci.org/content/19/18/8036 - http://www.jneurosci.org/content/jneuro/19/18/8036/F2.large.jpg What is a bit concerning are the applications, e.g: forcibly extracting thoughts from non-collaborating people.
相关资源
从这篇论文所有 HN 讨论帖的全部评论里整理出来的链接。
历次讨论
- 2018Hacker News 讨论帖178 分 · 34 评
同领域还值得读
神经科学家能理解微处理器吗?(2017)
Could a Neuroscientist Understand a Microprocessor? (2017)
提出一个思想实验:把神经科学常用的分析方法(损伤实验、电生理、功能定位等)应用到一个我们完全了解其原理的工程系统——6502 微处理器(运行游戏)上,检验这些方法能否真正“理解”…
神经科学与心理学2017 · 411 分 · 135 评进阶 · 约 60 分钟编辑精选大脑衰老呈现非线性转变,提示中年“关键窗口”
Brain aging shows nonlinear transitions, suggesting a midlife "critical window"
这篇 PNAS 论文研究大脑衰老的非线性变化,发现大脑老化并非匀速进行,而是在中年(约 40-60 岁)存在一个关键的"临界窗口期",此时干预可能有效。
神经科学与心理学2025 · 295 分 · 159 评进阶 · 约 75 分钟编辑精选社交网络中大规模情绪传染的证据(2014)
Evidence of massive-scale emotional contagion through social networks (2014)
这篇 2014 年发表于 PNAS 的论文研究了 Facebook 上约 70 万用户的信息流中,减少正面或负面内容是否会传染性地影响用户自己发布内容的情绪。
神经科学与心理学2020 · 285 分 · 72 评入门 · 约 45 分钟编辑精选裸盖菇素使人类大脑去同步化
Psilocybin desynchronizes the human brain
这篇 Nature 研究用个体化的 fMRI 精密成像追踪受试者服用裸盖菇素(psilocybin)前后的脑功能连接变化,发现药物会造成大范围的脑网络「去同步化」,尤其是默认模式…
神经科学与心理学2024 · 273 分 · 259 评进阶 · 约 60 分钟编辑精选对智力的赞扬会削弱儿童的动机与表现(1998)
Praise for Intelligence Can Undermine Children's Motivation (1998)
这篇 1998 年的经典论文(Dweck 等人)通过实验研究表扬方式对儿童动机的影响:夸孩子“聪明”(表扬智力)会让他们回避挑战、害怕失败,而表扬努力则更能培养坚持性。
神经科学与心理学2016 · 253 分 · 155 评入门 · 约 45 分钟编辑精选