← 返回文献列表

IT Literature Intelligence 终审版本 (VERIFIED) 论文编号: 066 | 原始基线: V0_ZCODE_BASELINE | 语义审核: pass | 图表审核: pass Astra裁决: accept_kimi (revise)

Matching Categorical Object Representations in Inferior Temporal Cortex of Man and Monkey

Kriegeskorte · Neuron · 2008 · Zotero itemID=807

这篇论文是表征相似性分析（representational similarity analysis，RSA）的奠基之作：作者给猴子（单细胞记录）和人类（高分辨率 fMRI）呈现同一组 92 张真实世界物体照片，把 IT 皮层对每张图片的响应模式两两比较，得到一张表征相异矩阵（representational dissimilarity matrix，RDM），再直接在矩阵层面比较两物种。结果发现人与猴的 IT 都以"生物/非生物"为顶层划分、面孔与躯体为亚簇，且簇内逐个范例的细粒度相似结构也在两物种间一致——灵长类 IT 可能共享一套"类别 + 连续"的编码。这篇文章值得精读，不仅因为结论，更因为 RDM 这一方法此后成为连接脑、行为与计算模型的通用货币。

研究背景

猴与人类是否以相似的方式看世界？猴是否像人一样对物体分类？这些都是比较神经科学的核心问题，而高级视觉客体表征正处于知觉与认知的接口，又恰好在两个物种里都被深入研究过。此前的跨物种比较走的是经典激活映射路线：把同一类别内不同刺激引发的响应模式平均掉，再做空间平滑，从而在粗尺度上建立起早期视区与物体敏感的 IT 皮层的区域同源关系。这类方法能回答"哪些脑区参与处理某类刺激"，却无法回答"这些区域如何表征一张张具体的图像"——而表征层面的物种比较，恰恰是判断猴脑能否作为人脑模型系统的关键。

表征层面比较的根本障碍在于：任何跨个体的逐神经元空间对应都不存在（不同个体连神经元数量都不同），猴用电极记录、人用 fMRI 测量，模态又完全不同。作者的解法是不做空间对应映射，改为在物种内部对每对刺激计算响应模式的相异度（相关距离 1−r），得到以刺激为行列索引的 RDM——它刻画表征强调哪些刺激区分、弱化哪些区分，且天然可以在物种间直接比对。与此并行的第二个问题是 IT 的分类角色：明确"阶跃式"类别响应此前多见于内侧颞叶与前额叶，这让人怀疑 IT 在分类中的作用有限；而已有的猴 IT 群体研究（Kiani et al., 2007）显示响应模式中内嵌着自然类别层级，人类 IT 是否同样如此、两物种是否一致，均未可知。

研究思路

整体设计有五个关键特征，环环相扣。第一，同一组 92 张孤立真实物体照片（含自然与人造非生物、人及非人动物的面孔与躯体）同时呈现给两物种，用完全不同的手段测 IT 活动——猴为钨电极逐一记录的 674 个细胞，人为四个被试的双侧 IT 高分辨率 fMRI（316 个对视觉物体响应最强的体素）。第二，刺激随机呈现，实验设计与分析都不预设任何分组，类别结构只能由数据自己"长出来"。第三，每个刺激作为独立条件估计响应模式，不做空间平滑或跨刺激平均。第四，分析对象是分布式响应模式中的信息而非激活峰值。第五，通过 RDM 在物种间、脑区间（早期视觉皮层 vs IT）以及与计算模型之间做定量比较——这便是 RSA 方法。

这一逻辑链的妙处在于把"比较"从空间问题转化为信息问题：RDM 以刺激为公共坐标系，于是电生理与 fMRI、猴脑与人脑的差距被同构化为两张 92×92 矩阵的相似度问题。围绕这张矩阵，作者安排了层层递进的三问：RDM 整体是否相似（图 1、图 3）？类别结构是否在无监督条件下自发涌现且两物种一致（图 2 的多维标度、图 4 的层次聚类）？类别效应是 IT 特有还是低层视觉就有（图 5、图 6 及模型对照）？

方法

猴子实验沿用 Kiani et al. (2007) 的数据：两只清醒猕猴做注视任务，92 张图（约 7° 视角）以 105 ms 呈现、零刺激间隔快速串行闪现（嵌在 1000 余张图的更大集合中），随机顺序，每位点平均重复 9±2 次；钨电极一次记录一个细胞，细胞位于前部 IT（猴 1 在右半球、猴 2 在左半球），共 674 个；每个细胞的响应取刺激呈现后 71 ms 起的 140 ms 窗内平均放电率。人类实验为 4 名被试的快速事件相关 fMRI（3T，体素 1.95×1.95×2 mm³，覆盖双侧 IT 与早期视觉皮层的 5 cm 厚 slab）：每张图（2.9° 视角）注视点中央呈现 300 ms，每 run 恰好出现一次，被试持续注视并做注视点变色的颜色分辨任务（蓝/绿按键），以把注意从图像内容上移开；4 人各扫 2 个 session、每人 11–14 个 run，共 49 个 run（约 7 小时 24 分钟数据）。将该句替换为：“IT 感兴趣区在解剖定义的 IT 掩膜内，依据独立实验 runs 中的视觉响应性，为每名被试、每个 session 分别选取双侧合计 316 个体素。”。

分析上，每对刺激的相异度取跨细胞（或跨体素）Pearson 相关的距离 1−r；RDM 以百分位着色便于目视。多维标度（multidimensional scaling，MDS）把 92 张图按响应相似性排进二维平面（不预设类别），两物种排布经 Procrustes 刚性对齐以便比对；"纤维流"（fiber-flow）可视化再以连线粗细标出各刺激跨物种定位的不一致程度。层次聚类用平均相异度作为合并准则，自下而上建树。类别边界效应（category-boundary effect）定义为跨"生物/非生物"边界的刺激对平均相异度与同类别对平均相异度之差（以百分位点计），显著性用刺激集 bootstrap 与刺激标签随机化两种检验交叉验证。低层与中层计算模型（CIELAB 彩色图、灰度图、剪影、颜色直方图、V1 模型、HMAX-C2）则以同样方式生成 RDM 供对照。

主要结果

  1. 两物种的 IT RDM 结构惊人一致（图 1）：两张完全独立实验与分析流程产出的矩阵呈现高度相似的块状结构——生物与非生物之间的相异度普遍偏大，同类别内部偏小，面孔之间尤其小。这一匹配在视觉上即可辨认，且并非数据挑选的结果（体素与细胞的选择均与跨物种匹配无关）。

  2. 无监督排布与层次聚类自发涌现相同的类别层级（图 2、图 4）：MDS 排布中，两物种都以"生物 vs 非生物"为全局分组，生物内部面孔与躯体各占一区，面孔在两物种中都形成特别紧致的簇（动物面孔虽与人类面孔视觉差异大仍归入面孔簇）。层次聚类树在两物种间也高度相似：顶层为生物/非生物，面孔与躯体为生物内部的亚簇（水果蔬菜归入非生物一侧）；个别偏离常规类别的 placements 更可能源于 92 条件下响应估计的噪声。

  3. 相异度的逐对相关量化了物种匹配（图 3）：全部 4186 个刺激对上猴-人相异度相关 r=0.49（p<0.0001，10000 次标签随机化）；关键是这一相关在生物类内部（r=0.51）与非生物类内部（r=0.20）、跨边界对（r=0.19）都显著存在，且在人类图像内高达 r=0.66——说明簇内连续变化的范例信息并非噪声，而是两物种一致的"连续表征"。例外集中在小样本子集（人类面孔内 r=−0.05、动物面孔内 r=0.12、非人躯体内 r=0.12，均不显著），其中一项后续分析（图 S4）显示人类面孔之间的相异度在人类 IT 中显著大于猴 IT（p=0.009），提示每种 IT 也许更擅长区分同种面孔。

  4. 单刺激一致性约覆盖三分之二刺激（图 2B）：单个刺激的跨物种一致性 r_i 显著者约占三分之二（p<0.05，多重比较校正后）；一致性最低的两个刺激（茄子、人头背面）恰是事后访谈中被试唯一描述为"语义模糊"的两张图，提示 IT 表征不止反映视觉外观，还反映概念解释。

  5. 类别效应是 IT 的标志而非早期视觉的（图 5、图 6）：类别边界效应在 IT 为 36 个百分位点（p<0.001），在早期视觉皮层仅 7%/5%/2%（分别定义于 224/1057/5000 个体素，5000 体素时已不显著），且 IT 显著大于早期视觉（p<0.0001）；线性解码分析显示生物/非生物在 IT 可线性分离而早期视觉不可。但两区域并非无关：早期视觉与 IT 的相异度相关 r=0.38（p<0.0001）——早期视觉携带的视觉相似性信息延续到 IT，只是 IT 在此之上叠加了强烈的类别边界效应（跨边界分布仅沿 IT 轴偏移）。

  6. 低层与中层模型无法解释类别聚类（图 S6、S7）：彩色图、灰度图、剪影、颜色直方图、V1 模型乃至中层复杂度的 HMAX-C2，其 RDM 与排布均不呈现 IT 式的类别簇。

图注解读

图 1 · 人猴 IT 的表征相异矩阵

原文图注：Figure 1. Representational Dissimilarity Matrices for Monkey and Human IT. For each pair of stimuli, each RDM (monkey, human) color codes the dissimilarity of the two response patterns elicited by the stimuli in IT. The dissimilarity measure is 1 − r (Pearson correlation across space). The color code reflects percentiles (see color bar) computed separately for each RDM (for 1 − r values and their histograms, see Figure 3A). The two RDMs are the product of completely separate experiments and analysis pipelines (data not selected to match). Human data are from 316 bilateral inferior temporal voxels (1.95 × 1.95 × 2 mm3) with the greatest visual-object response in an independent data set.

读法：矩阵行列均为 92 张刺激图，第 (i, j) 格的颜色编码图 i 与图 j 引发的 IT 响应模式之间的相异度（跨神经元/体素的 Pearson 相关距离 1−r），色标为每张矩阵内部计算的百分位，颜色越亮两图表征越远。两张矩阵左（猴）右（人）并排，肉眼可见几乎相同的深浅纹理——浅色的对角块即类别簇。务必记住图注强调的一点：两矩阵来自完全独立的实验与分析管线，体素与细胞的选择没有任何"为了匹配"的偏置。这张图支撑主要结果第 1 条，是全文所有定量分析的直觉底座。

Figure 1

图 2 · 按响应相似性排布刺激与跨物种"纤维流"

原文图注：Figure 2. Stimulus Arrangements Reflecting IT Response-Pattern Similarity in Monkey and Human and the Interspecies Relationship. (A) The experimental stimuli have been arranged such that their pairwise distances approximately reflect response-pattern similarity (multidimensional scaling, dissimilarity: 1 − Pearson r, criterion: metric stress). In each arrangement, images placed close together elicited similar response patterns. Images placed far apart elicited dissimilar response patterns. The arrangement is unsupervised: it does not presuppose any categorical structure. The two arrangements have been scaled to match the areas of their convex hulls and rigidly aligned for easier comparison (Procrustes alignment). The correlations between the

A 面板把 92 张图按响应模式相似性做 MDS 排进二维平面：排得近的图引发相似响应，排得远的引发相异响应，全程无监督、不预设类别。读图时先看全局分组——两物种的排布都干净地分出生物与非生物两半，面孔与躯体在生物一侧各占一隅；再看图注给出的量化指标：二维排布距离与高维相异度的相关，猴为 0.67（Pearson）/0.69（Spearman），人为 0.78/0.78，说明二维图没有过度失真。B 面板的纤维流可视化把两张排布并置、以"纤维"连接同一刺激的两处位置，纤维粗细正比于 (1−r_i)²（r_i 为该刺激的跨物种一致性）——绝大多数纤维细而直，意味着绝大多数刺激在两物种表征空间中的"邻里关系"一致；几根粗纤维则指出个别（如茄子）定位分歧的刺激。此图支撑主要结果第 2、4 条。

Figure 2

图 3 · 猴-人相异度的逐对相关

原文图注：Figure 3. Correlation of Representational Dissimilarities between Monkey and Human IT. (A) For each pair of stimuli, a dot is placed according to the IT response-pattern dissimilarity in monkey (horizontal axis) and human (vertical axis). As before, the dissimilarity between the two response patterns elicited by each stimulus pair is measured as 1 − r (Pearson correlation). Dot colors correspond to all pairs of stimuli (gray), pairs within the animate objects (green), pairs within the inanimate objects (cyan), and pairs crossing the animate-inanimate boundary (red). Marginal histograms of dissimilarities are shown for the three subsets of pairs using the same color code.

A 面板是核心散点图：每个点是一对刺激，横坐标为猴 IT 相异度、纵坐标为人 IT 相异度。整图相关 r=0.49；绿色（生物内）点云的相关 0.51、青色（非生物内）0.20、红色（跨生物-非生物边界）0.19——三个子集都显著大于零，这正是"类别内连续信息也跨物种一致"的直接证据。边缘直方图还显示红色（跨边界）分布整体右移，即跨类别对在两物种中都更相异。B 面板把同样的分析细化到各类别子集（人类图像内 r=0.66 最强），并把不显著的子集（人类面孔内 −0.05、动物面孔内 0.12）与样本量小、效应量也小的事实并置。此图支撑主要结果第 3 条。

Figure 3

图 4 · 层次聚类树：无监督涌现的类别层级

原文图注：Figure 4 shows hierarchical cluster trees computed for the IT response patterns in monkey and human. Unlike the unsupervised stimulus arrangements (Figure 2), hierarchical cluster analysis (Johnson, 1967) assumes the existence of some categorical structure, but it does not assume any particular grouping into categories. We find very similar cluster trees for both species. The top-level distinction is that between animate and inanimate objects. Faces and body parts form subclusters within the animate objects. Note that the clustering conforms closely, though not perfectly, to the these human-conventional categories.

（按：meta.json 中此条实为正文引述，正文实际图注为 "Figure 4. Hierarchical Clustering of IT Response Patterns. In order to assess whether IT response patterns form clusters corresponding to natural categories, we performed hierarchical cluster analysis for human (top) and monkey (bottom)... The vertical height of each horizontal link indicates the average response-pattern dissimilarity (the clustering criterion) between the stimuli of the two linked subclusters..."，两者含义一致。）读法：每棵树自下而上从 92 个单图簇出发，逐步合并平均相异度最近的两个簇，横连线的高度即两子簇间的合并相异度（1−r），线越高合并越"勉强"。人（上）猴（下）两棵树形状高度相似：顶层分叉是生物 vs 非生物，生物枝内先分出面孔（红）与躯体（品红）亚簇，非生物枝为浅蓝。与 MDS（图 2）的互补在于：MDS 只保证类别占据连续区域，聚类才证明响应模式在表征空间中形成分立的簇（多峰分布）。此图支撑主要结果第 2 条，也把"IT 分类角色有限"这一旧疑虑推倒——类别结构无需类别标签即可从数据中读出。

Figure 4

图 5 · 早期视觉皮层 vs IT 的类别边界效应

原文图注：Figure 5. Early Visual Cortex and IT in the Human: Representational Dissimilarity Matrices and Category-Boundary Effects. (A) RDMs for human IT (top left, same as in Figure 1) and human early visual cortex (top right). As in Figure 1, the color code reflects percentiles (see color bar) computed separately for each RDM (for 1 − r values and their histograms, see Figure 6). The bar graph below each RDM shows the average dissimilarity (percentile of 1 − r) within the animates (green bars), within the inanimates (cyan bars), and for pairs crossing the category boundary (red bars). Error bars indicate the standard error of the mean estimated by bootstrap resampling of the stimulus set. We define the category-boundary effect as the difference (in percentile points) between the mean dissimilarity for between-animate-and-inanimate pairs and the mean dissimilarity for within-animate and within-inanimate pairs.

读法：左上为人 IT 的 RDM（同图 1），右上为早期视觉皮层的 RDM——后者的纹理明显更均匀，没有 IT 那种类别块状结构。每张 RDM 下方的条形图给出三类刺激对的平均相异度：绿（生物内）、青（非生物内）、红（跨界），"类别边界效应"即红条减去绿、青两条均值，数值标在条上方（n.s./*/**/***）。结果一目了然：IT 中红条显著高出（36 个百分位点，p<0.001），早期视觉中红条只高出 7%/5%/2%（随 ROI 定义为 224/1057/5000 个体素），5000 体素时已不显著；B 面板重复小/大两种早期视觉 ROI 定义以证稳健。此图支撑主要结果第 5 条的前半：类别性是 IT 而非早期视觉的属性。

Figure 5

图 6 · 表征连接：视觉相似性从早期视觉延续到 IT

原文图注：Figure 6. Representational Connectivity between Early Visual Cortex and IT in the Human. (A) For each pair of stimuli, we plot a dot with horizontal position reflecting early visual response-pattern dissimilarity and vertical position reflecting IT response-pattern dissimilarity. Scatter plots and correlation analyses (insets) show that pairs of stimuli eliciting more dissimilar response patterns in early visual cortex also tend to elicit more dissimilar response patterns in IT. This suggests that visual similarity as reflected in the early visual representation carries over into the IT representation. However, IT additionally exhibits a strong category-boundary effect: when a stimulus pair crosses the animate-inanimate boundary (red) the two response patterns tend to be more dissimilar than when both stimuli are from the same category (green, cyan).

读法：A 面板横轴换成了早期视觉皮层的相异度、纵轴仍是 IT 相异度，整体相关 r=0.38——沿对角拉长的点云说明早期视觉"看见的"形状相似性会传递到 IT。但关键信息在分布的形状：红色（跨生物-非生物边界）点云只沿纵轴（IT 方向）整体上移，横轴（早期视觉）不动；B 面板的示意椭球把这一点画得很清楚——视觉相似性效应为两区域共享（各分布均沿对角拉长），类别边界效应仅存在于 IT（红椭球垂直而非水平偏移）。由于所有刺激均以同一视网膜位置与尺寸呈现，早期视觉的相似性主要反映形状，因此结论可表述为：形状相似性信息延续到 IT，但 IT 在其上叠加了类别结构。C 面板以不同尺寸的早期视觉 ROI 复验，结论不变。此图支撑主要结果第 5 条的后半。

Figure 6

讨论

作者把四个开篇问题逐一作答：两物种 IT 的响应模式按相同类别结构成簇；簇内范例信息也跨物种一致，可能兼指亚类区分与高层视觉相似；类别性在 IT 涌现而基本不见于人类早期视觉皮层；低层与中层模型都无法再现这一类别结构。对话对象有三组。其一，与"类别敏感区"文献（FFA、PPA 等）的关系：类别敏感区本身并不预测类别效应会主导表征到"无标签即可聚簇"的程度，也不预测层级形状；而把 FFA、PPA 双侧剔除后结果几乎不变，猴侧记录也未瞄准类别敏感区——作者因此主张类别区只是更大范围类别敏感特征图上"扎堆"的特征集中区，IT 的类别性本质上是群体现象，不要求任何单细胞呈阶跃式响应（与内侧颞叶、前额叶的报告形成对照）。其二，与快速分类行为的关系：由于两物种的任务都以极短呈现、注意移开来最小化自上而下的反馈，IT 类别性更可能源于前馈连接，这为人类极短延迟的动物检测（Thorpe et al., 1996）提供了表征层面的解释，也把 Serre 等（2007）前馈模型中归给前额叶的"类别判别阶段"前移到 IT。其三，与语义表征文献的关系：特征或许不只是分类的手段，而服务于从视觉输入推断非视觉属性（Mahon et al., 2007）——茄子与人头背面这两个"语义模糊"刺激的跨物种分歧正与此相容。作者最后向读者发出邀请：拿自己的模型来对这套公开的刺激与 RDM 做检验，并承认低层解释永远无法被形式化排除（模型空间无限），以及 fMRI 与单细胞两模态的匹配中混有"物种效应"这一局限。

一句话总结

在我看来，这篇论文真正的遗产是方法而非结论：它示范了"不问脑区在哪里激活、只问表征强调什么区分"的问法能把电生理、fMRI 与模型放到同一张桌子上比较。类别簇与簇内连续结构在人猴间同时成立，意味着灵长类 IT 可能真的共享一套"类别骨架 + 连续血肉"的编码——虽然 92 张图的样本与测量模态的混杂提醒我们，这更像一个强有力的起点而非定论。

审校与证据追溯 (Verification & Evidence)

图表审计结果

关键事实与局限性声明