← 返回文献列表

IT Literature Intelligence 终审版本 (VERIFIED) 论文编号: 161 | 原始基线: V0_ZCODE_BASELINE | 语义审核: pass | 图表审核: pass

Emerging Object Representations in the Visual System Predict Reaction Times for Categorization

Ritchie · PLOS Computational Biology · 2015 · Zotero itemID=1554

这项研究把"脑解码"与行为决策时间连了起来：用脑磁图（magnetoencephalography, MEG）逐时刻测出脑内浮现的物体类别表征，再问——表征离类别边界的远近，什么时候能预测人的分类反应时。首句可改为：相关自解码起点即出现并大体追踪解码时程，而作者关于峰值窗的预测仅在按有/无生命分开后（主要由有生命样例）得到支持；或直接在首句点明160-180 ms的反常失效。它值得细读，是因为它明确区分了"信息可解码"与"信息被大脑使用"这两件事，对解释时间分辨解码结果是一个很好的方法学示范。

研究背景

视觉系统完成物体识别只需一瞬：行为研究表明，用眼跳（saccadic eye movements）做反应，被试最早在刺激出现后约 120 ms 就能可靠地对物体样例分类，面孔甚至快到 100 ms。与行为相呼应，把多变量模式分析（multivariate pattern analysis, MVPA，俗称"脑解码"）应用于 MEG 等时序数据后发现，物体类别信息最早在刺激后 60–100 ms 即可被解码；而且解码峰值出现的时间随类别层级而变——区分下属类别（如面孔、身体）的分类器峰值更早。这提示解码峰值可能标志着大脑"读取"（read out）类别信息的最佳时刻。

在此背景上，前一项 fMRI 工作（Carlson 等，2014）提出了"距离假说"（distance hypothesis）：在人下颞叶（inferior temporal cortex, IT）的激活空间（activation space）里，样例表征离类别决策边界的距离与分类反应时（reaction time, RT）负相关——离边界越远，证据越不含糊，反应越快，这正是经典信号检测论（signal detection theory）的自然推论。尚存的缺口是时间维度上的：解码研究展示的是随时间变化的"浮现表征"，但这个浮现的激活空间究竟在哪个时刻开始与行为产生联系，此前无人刻画。此外，"可解码"只说明信息存在，并不说明大脑真的使用了它。

研究思路

作者的策略是把 fMRI 上已确立的距离—反应时关系搬到高时间分辨率的 MEG 上，逐时间点检验：在每个 20 ms 的时间点上，用当刻的传感器活动模式构造多维激活空间，求出动画/非动画类别的判别轴与决策边界，再计算每个物体样例到边界的距离，并把这个随时间变化的"表征距离"与被试间规范化的中位反应时做秩相关。核心逻辑链是：若解码峰值确是读取类别的最佳时刻，则距离—反应时相关应在峰值期附近成立，并大体追踪解码强度的时间进程。

为了排除两种次要解释，设计上有意加了两层对照：一是注意力/任务对照——被试在分块 trials 里要么对图像做有/无生命分类（分类任务），要么对叠加在注视点上的字母做元音/辅音判断（分心观看任务）；若距离—反应时相关是任务无关的浮现表征所致，则分类任务的表征距离也能预测另一组数据的反应时（cross-over 相关），而分心任务自身按样例汇总的字母判断反应时则不应与动画边界距离有任何相关。二是感觉反应对照——若该相关只是诱发电位波幅或峰潜伏期的换装，那么直接用感觉峰的潜伏期/波幅去预测反应时也应显著；作者对此做了否定性检验。

方法

30 名马里兰大学被试（15 名女性，平均年龄 21.1 岁；1 人数据损坏，实际分析 29 人）参与。刺激为 24 幅分割好的自然物图像（12 有生命 + 12 无生命：人/动物面孔与身体、人造物与自然物），约 4 度视角，注视圆内叠加元音（A/E/I/O/U）或辅音（R/N/X/S/G）字母。每个刺激呈 500 ms，含刺激时长共 1000 ms 反应窗，试次间刺激间隔 900–1200 ms；每图每 run 出现 8 次，共 192 试次/run，每任务 4 个 run，即每任务 768 试次。为排除运动相关混淆，类别/字母类型与按键的映射在 run 间交替；每次按键后注视圆闪绿（正确）或红（错误）作逐试次反馈。

脑磁信号用 160 通道（157 记录 + 3 参考）全头轴式梯度计采集，数字化 1000 Hz、在线带通 0.1–200 Hz；离线用时间移位主成分分析（TSPCA）去噪，按 -100 至 600 ms 分段，自动剔除眼动伪迹（平均剔除率 2.1%）。解码分析时先把数据下采样到 50 Hz（20 ms 分辨率、36 个时间点，滤波引入的约 20 ms 延迟偏移经模拟估计后校正），用保留 99% 方差的 PCA 降维，再在每个时间点以朴素贝叶斯实现的线性判别分析（linear discriminant analysis, LDA）做单试次分类，9:1 训练—测试比做 k 折交叉验证，解码成绩以 d' 表示，显著性用 Wilcoxon 符号秩检验并做错误发现率（FDR）校正。行为结果：分类任务准确率 91.8%（SD 5.6%），平均反应时 469 ms（SD 82）；分心任务准确率 87.2%（SD 8.5%），平均反应时 516 ms（SD 96）。

主要结果

  1. 动画/非动画类别可从 MEG 时间序列中极早解码（图 3）：两个任务的解码起点（onset）都在刺激后 60 ms；此后出现带双小峰的宽峰，第一小峰 140 ms（两任务相同），第二小峰分心任务 220 ms、分类任务 240 ms。以两小峰的均值（d' = 0.61）为基准，120–240 ms 内的时间点与峰值无显著差异，作者将此段定义为"峰值解码期"。任务间解码曲线基本一致。

  2. 表征距离与分类反应时的相关几乎贯穿整个解码时程，但反常地在峰值期中段失效（图 4）：距离—反应时（Spearman's ρ）相关在解码起点后的多个时间点显著，包括峰值期之前（<120 ms）与之后（>240 ms）；唯独 160–180 ms 这一段显著失败。值得强调的是，这是"固定效应"层面的相关（被试间平均表征距离对被试间中位反应时）。

  3. 两个对照成立，说明相关出自任务无关的核心表征（图 4）：分心任务的字母判断反应时按样例汇总后，与动画边界距离在任何时间点都不显著相关——这是预期的零结果；而"交叉"相关（用分心任务数据算出的表征距离去预测分类任务反应时）却几乎在解码起点后的整个时程显著，同样仅在 160–180 ms 失效。被试在"被动"观看时视觉系统也构建出了这套表征，因此它独立于任务特异的决策或运动加工。

  4. 相关强度追踪解码强度，且主要由有生命样例驱动（图 5–7）：将两套解码时程与两套显著的相关时程互相求相关，每对之间均显著负相关（图 5）——解码越好，负相关越强。按有无生命分开分析（图 6），有生命样例的相关呈一致的负值形态，在峰值期附近及约 380 ms 后显著；时间平均（0–600 ms）后有生命样例的相关显著大于无生命样例，后者虽也显著但更弱（图 7），且只有有生命样例的相关时程与解码时程显著相关。鉴于分类任务平均反应时 469 ms，峰值期之后仍显著的时点很可能反映了有生命样例在被试已做（或本可做）决策后的持续表征。

  5. 感觉峰的潜伏期或波幅都不能预测反应时（图 8）：把 160 ms 前的早期感觉峰（每样例在总平均数据上的峰潜伏期与峰波幅）分别与中位规范反应时求相关，无论预期符号为正（潜伏期）还是负（波幅），无论分类还是交叉相关，均不显著；按有/无生命分开亦然。可见距离—反应时关系并非经典诱发电位性质的简单镜像。有趣的是，有生命样例的表征距离在 160–180 ms 出现整体塌缩，对应图 3 解码曲线中的"谷"——彼时类别间相对距离大、类别内相对距离小，排序与反应时的次序失配，解释了为什么解码成绩仍高而相关却不显著。

图注解读

图 1 · 距离假说的原理图

原文图注：Fig 1. Distances from a decision boundary through activation space can be used to predict reaction times (RT). (A) A hypothetical 2D activation space for human IT representing animate and inanimate object exemplars. Activation patterns for individual exemplars are projected onto a discriminant axis, which differentiates patterns based on animacy. A decision boundary placed along the axis allows for classification of animate and inanimate exemplars. Gaussian distributions along the discriminant axis reflect "decision noise". Exemplar representations closer to the boundary produce more ambiguous evidence compared to exemplar representations far from the boundary. An implication of classic signal detection theory is that RTs will correlate negatively with distance from the boundary. (B) A hypothetical emergent activation space for animate vs. inanimate object exemplars as would be revealed using MEG decoding methods. Stimulus onset is the time the stimulus is presented. The decoding onset (dashed line) is the first time point that a classifier trained to discriminate between animate and inanimate examplars performs significantly above chance. Peak decoding (gray box) is the optimal time point to read out information about stimulus category. Clusters depict the hypothetical 2D activation spaces at notable points in the decoding time-course.

两个子图分别交代"空间"与"时间"。A 图是概念图：一个假想的二维激活空间，散点为各物体样例的活动模式，沿动画/非动画判别轴投影后，轴上放一条决策边界；类内落在边界附近的分布代表"决策噪声"，从属于信号检测论的推论——离边界越远证据越不含糊、反应时越短。B 图把这条逻辑随时间展开：解码起点（虚线，首次显著高于随机）之后，类别簇随时间逐渐分开，灰框标出的峰值解码期被假定为读取类别信息的最佳时刻。本图为主结果的解读提供了全部坐标化的直觉：后文的横轴都是刺激后时间，纵轴的距离以决策边界为零点。

Figure 1

图 2 · 双任务实验范式

原文图注：Fig 2. Behavioral paradigm. Trial structure for the two experimental tasks. On each trial a letter (vowel or consonant) was superimposed on the fixation circle in the centre of each object exemplar. When performing the categorization task subjects judged whether the exemplar stimulus was animate or inanimate, while during the distracted viewing task subjects judged whether the letter was a vowel or consonant. After subjects responded the fixation circle briefly flashed green (correct response) or red (incorrect response or no response) to provide trial-by-trial feedback on performance.

本图展示试次结构：物体图像中央的注视圆内叠一个字母，分类任务下被试判断物体能否自主运动（有/无生命），分心任务下判断字母是元音还是辅音，按键后注视圆以绿色（正确）或红色（错误/未答）瞬间反馈。读图时注意两条平行通路——图像信息与中央字母——正是任务对照的实现方式：分心任务把视觉资源引向字母，同时物体仍在视野中被"被动"观看。这一设计支撑主要结果第 3 条：交叉相关成立而字母反应时相关不成立，说明预测行为的是任务无关的浮现表征而非任务特异加工。

Figure 2

图 3 · 动画/非动画解码的时间进程

原文图注：Fig 3. MEG decoding for animacy. Mean classifier performance (d') for both the categorization task (red) and distracted viewing task data (orange) plotted over time. Shaded regions above and below the mean lines indicate +/- 1 SEM across subjects. Color-coded asterisks indicate time points at which classifier performance was significantly above chance, using a Wilcoxon signed rank test (* = false discovery rate (FDR) adjusted p < 0.05). Decoding onset for both data sets (60ms) is indicated by a dashed vertical line. The period of peak decoding is indicated by a gray box extending 120–240 ms post-stimulus onset. The bar along the x-axis indicates the stimulus duration.

横轴为刺激后时间（-100 至 600 ms），纵轴为分类器成绩 d'；红线为分类任务、橙线为分心任务，阴影为被试间 ±1 SEM，星号标 FDR 校正后显著高于随机的时间点，虚线为解码起点 60 ms，灰框为峰值解码期 120–240 ms，底部横条为刺激呈现时长（500 ms）。读图要点是双峰形态："峰中带谷"——140 ms 第一小峰、160–180 ms 处下陷、220/240 ms 第二小峰。这个谷在结果第 5 条里会再次出现：恰是相关时程失去显著性的地方。本图确立全文的时间坐标与窗口定义，支撑主要结果第 1 条。

Figure 3

图 4 · 距离—反应时相关的时间进程

原文图注：Fig 4. Time-series correlation between representational distances from the animacy boundary and categorization task reaction times. The time-varying rank-order correlation (Spearman's ρ) between the average object exemplar representational distance and average reaction time across subjects for the categorization task (red), distracted viewing task (orange), and cross-over between the tasks (blue), in which representational distances from the distracted viewing task were correlated with the median RTs for the categorisation task. Color-coded asterisks indicate time points at which a correlation between distance and RT achieves significance (* = FDR adjusted p < 0.05). The decoding onset is indicated by dashed vertical line (60 ms). The period of peak decoding is indicated by the gray shaded region extending from 120–240 ms post-stimulus onset. The bar along the x-axis indicates the stimulus duration.

横轴仍是时间，纵轴是距离与反应时的 Spearman 秩相关（负值表示离边界越远反应越快）。三条曲线：红为分类任务距离对分类反应时（主预测），橙为分心任务距离对该任务自身的字母反应时（预期为零），蓝为交叉相关（分心任务距离对分类任务反应时）。红线在解码起点后的多个时间点显著，但唯 160–180 ms 处例外地失去显著；橙线自始至终无任何显著点；蓝线几乎在解码起点后的整个时程显著，同样在 160–180 ms 失效。这一张图同时给出了主结果、零对照与交叉验证，是支撑主要结果第 2、3 条的核心证据。

Figure 4

图 5 · 解码强度与相关强度的对齐

原文图注：Fig 5. Matrix of correlations between decoding time-courses and representational distance-RT correlation time-courses. The "heat" of each tile reflects the strength of the rank-order correlation (Spearman's ρ) between a decoding time-course and a representational distance-RT correlation time-course. Asterisks indicate significant correlations (* = p < .01; ** = p < .001).

这是一张相关矩阵热图：每个小格显示一条解码时程（分类任务或分心任务）与一条距离—反应时相关时程之间的秩相关强度，颜色越"热"相关越强，星号标显著（p < .01 / p < .001）。读图要点在符号：解码时程与相关时程显著负相关，意思是分类器表现越强的时刻，距离与反应时的负相关也越陡。它把图 3 与图 4 缝在一起，支撑主要结果第 4 条"相关强度追踪解码强度"。

Figure 5

图 6 · 按类分开的逐样例表征距离

原文图注：Fig 6. Time varying representational distance for individual exemplars separated by object category. Time varying (A) categorization task (red) and (B) cross-over (blue) rank-order correlations (Spearman's ρ) for animate and inanimate exemplar stimuli. The color-coded asterisks in the top row of plots indicate time points at which there is a significant correlation between distances and RTs (* = FDR adjusted p < 0.05). The bottom row of plots displays the distances from animacy decision boundaries at each time point, computed for both the categorization task and distractor task data sets. Each time-varying line depicts the representational distance for an individual exemplar stimulus, at each 20 ms time point (either animate or inanimate). The color of each line is based on the rank-order of the median RT for each exemplar (rank is always within category). In all plots, decoding onset is indicated by dashed vertical line (60 ms). The period of peak decoding is indicated by a gray box extending 120–240 ms post-stimulus onset.

上下两行结构：上行是按时段画的相关时程，A（红）为分类任务、B（蓝）为交叉相关，各有生命/无生命两条；下行是逐样例的表征距离曲线，一条线一个物体样例、每 20 ms 一点。读下行时先看大致形态：有生命样例的距离在峰值期前后明显拉开、彼此更可分，而在 160–180 ms 恰好整体塌缩；再看颜色——若反应时排位与距离高低一致，应呈现有序的由深到浅。全图的关键直觉是：有生命样例驱动了负相关形态，在峰值期附近取得显著，而这正是主要结果第 4 条后半句的直接图示。

Figure 6

图 7 · 时间平均后的有/无生命比较

原文图注：Fig 7. Time-averaged (0–600 ms) correlations between representational distance and RTs for both animate and inanimate object exemplars. Mean time-averaged categorization (red) and cross-over (blue) correlations (Spearman's ρ) between representational distances and RTs. Asterisks indicate significant comparisons (Wilcoxon Signed Rank Test; * = p < .01; ** = p < .001). Error bars indicate +/- 1 SEM across time-points.

把 0–600 ms 逐时间点的相关取均值，比较有生命与无生命两组：按有/无生命分组，纵轴为平均相关，红色代表分类任务、蓝色代表交叉相关，误差条为跨时间点 ±1 SEM，星号用 Wilcoxon 符号秩检验标记显著比较（p < .01、p < .001）。结论一目了然：两组平均相关均为负且显著，但有生命组显著更强。这是主要结果第 4 条"有生命样例驱动整体相关"的定量总结——所谓驱动效应，指相关时程不仅有生命样例上更陡，且只有它能与解码时程对齐。

Figure 7

图 8 · 经典感觉峰的否定性检验

原文图注：Fig 8. Correlations between sensory peak latencies and amplitudes and categorization task RTs. Scatter plots for the rank-order (A) categorization and (B) cross-over correlations (Spearman's ρ) between peak latency and peak amplitude and median normalized RTs for the categorization task. (A) Red circles indicate animate exemplar data points, while red rings indicate inanimate data points. (B) Blue circles indicate animate exemplar data points, while blue rings indicate inanimate data points. Peak amplitude scale is in units of 10−14 T. For comparison also plotted are the correlations between representational distance and RTs at 120 ms. Asterisks indicate significant correlations (* = p < .01; ** = p < .001).

两个散点图面板（A 分类、B 交叉），每点一个物体样例：实心圆为有生命样例、空心环为无生命样例，横轴为感觉峰潜伏期或波幅（波幅单位 10^-14 T），纵轴为该样例的中位规范反应时。若反应时反映峰潜伏期应见正相关，反映峰波幅应见负相关；实际两面板中无论潜伏期还是波幅、无论是否分生命性，相关均不显著——为对照反而画出了 120 ms 处的距离相关（显著）。这张图是排除"距离—反应时相关只是诱发电位波幅换装"这一备择解释的关键证据，支撑主要结果第 5 条。

Figure 8

讨论

作者把发现归为三层含义。其一，对超快分类研究：类信息在 60 ms 即可解码、距离相关在解码起点即出现，与低于 200 ms 的可靠眼跳反应时心理学数据相容；而"上义类别反应更快"（动物先于狗被看到）与"下义类别解码峰值更早"之间的表面张力，可用这套距离方法进一步刻画。其二，对时间分辨解码结果如何诠释：显著高于随机的分类器只说明信息可用，不说明大脑在用；距离—反应时相关来自人类的行为表现，可能是表征何时真正"解开缠结"（untangled）的更好代理指标——这种"峰中带谷"的形貌在 Carlson 等（2013）与 Cichy 等（2014）的结果中同样可见，160–180 ms 谷内解码成绩仍高、但相关失效，说明此刻分类器可用而大脑未必在用这一信息；同时相关与解码的紧密追踪又为"大脑确实是自身信号的解码器"提供了正面证据。其三，对知觉决策模型：序列分析模型（sequential analysis models，如漂移扩散类）把反应时差异归结为向决策阈积累证据的漂移率（drift rate）；引用 Carlson 等的做法，当漂移率是唯一自由参数时，可由样例距离固定——距离短意味着漂移慢、距离长意味着漂移快。本研究未拟合该模型，但作者论证了这种应用在分析上是直接可行的；他们倾向于把决策变量理解为"在多维激活空间中随时间展开的轨迹"，主张"表征本身部分构成了识别的决策过程"。

局限方面，作者坦承所报告的相关很可能反映的是多脑区的综合效应，而非单一随时间积累的决策变量；模型对接也未在本数据上实际执行。此外，负相关在有生命样例上更强这一事实，与此前 fMRI 中"相关完全由有生命样例驱动"的观察一致，但其机理（为何无生命类弱得多）文中未详述。

一句话总结

这篇文章最打动我的一点，是它把"解码得到信息"与"信息被用于决策"用同一组数据区分开了：在 160–180 ms 那个解码高峰的凹陷处，分类器读得出来，行为却不兑现——只有当表征距离与反应时对上号时，我们才真正看到"大脑什么时候读自己的信号"。我个人的判断是，distance-to-boundary 大概率只是决策证据质量的一种投影而非全部，但作为把表征几何与序列决策模型衔接起来的第一步，这是很干净的做法。

审校与证据追溯 (Verification & Evidence)

图表审计结果

关键事实与局限性声明