← 返回文献列表

IT Literature Intelligence 终审版本 (VERIFIED) 论文编号: 251 | 原始基线: V0_ZCODE_BASELINE | 语义审核: pass | 图表审核: pass

View-invariant representations of familiar objects by neurons in the inferior temporal visual cortex

Booth · Cerebral Cortex · 1998 · Zotero itemID=2324

Booth 与 Rolls 在两只完全未经物体辨别训练的猕猴的下颞叶视觉皮质（inferior temporal cortex, IT）中识别出一小群对同一物体所有视角都做出相似放电的神经元，并用信息论分析证明这些细胞携带的是"哪个物体"而非"哪个视角"的信息——因为物体只是作为真实玩具放在笼里被猴子把玩了半年多，这等于证明视角不变表征（view-invariant representation）可以靠自然经验而非强化训练形成。这篇文章是腹视通路不变性学习研究绕不开的实证锚点：它把 Logothetis 等需要数千次训练的结论拉回到"日常俯仰皆是的物体经验即可"，同时给出了当时最干净的编码格式证据（稀疏分布式而非"祖母细胞"）。

研究背景

临床证据早已提示颞叶在"物体层面"处理视觉：人类与非人灵长类的颞叶损伤会造成物体识别障碍，而这种障碍可以在视敏度、对比敏感度、波长/颜色辨别等基础视觉能力基本完好的情况下发生——说明颞叶视觉皮质关心的不是简单视觉特征，而是物体本身。电生理工作则勾勒了 IT 的功能谱系：这里有对复杂视觉特征响应的细胞（Desimone et al. 1984; Tanaka 等），有对物体局部或个别视角响应的细胞（Nakamura et al. 1994; Logothetis et al. 1995），也有面孔、身体与手的选择性细胞。面孔细胞作为一个方便的模型系统显示：部分细胞对大小、对比、视网膜位置和空间频率的变化相对不变，一些甚至对视角相对不变——对一个面孔的血统偏好不随观察角度剧烈改变——同时也存在只认某个侧脸不认正面像的视角依赖细胞。这些"视角依赖与视角无关表征同区并存"的现象支持 Rolls（1992）提出的假说：视角无关表征是把对同一物体不同视角响应的神经元输出通过学习"关联"到一起而构建的，该处理已被做成网络模型（Wallis & Rolls 1997）。

但物体层面（而非面孔层面）的视角不变表征当时证据稀薄。Nakamura 等（1994）显示部分 IT 细胞对同一批实验室仪器的不同局部视图响应，即便这些局部视图包含不同特征；Logothetis 等（1995）则走了另一条路：让猴经数千次试验的强化训练把计算机生成的线框"物体"的各视角视为同一物，才在 IT 找到一小群对各视角响应的细胞。于是问题变成：这种不变表征必须靠正式训练吗？作者考虑的备择假说是——神经元应当能快速学会，只需让同一物体的不同视角在时间上彼此接近地出现，而这正是现实中把玩、检查物体时自然发生的事。作者同时点出为什么要关心这件事：视皮质上游若真有视角、大小、位置不变的表征，海马与杏仁核等下游结构就不必为每个物体的每种外观单独学习，泛化也变得容易。本文的设计直指这一问题。

研究思路

实验逻辑是"自然熟悉化 + 受控呈现 + 两级量化检验"。第一，作者刻意不用正式物体辨别训练，而是把十个真实塑料/橡胶玩具放到猴的笼中数月至半年，让猴子自由抓取把玩、从各个角度端详——选物时特意挑那些"换一个角度看就很不一样"的物体，以避免靠单一不变特征（如某种颜色）就能认出物体。第二，正式记录时把每个物体的四个数字化视角作为影像在注视任务内随机呈现，测单细胞反应。判据有两级：反应率层面，视角不变意味着同一物体的四个视角响应相似、跨物体响应不同；信息论层面更严格——把同一物体各视角的反应合并，问"单次试验（在不知道视角的前提下）能解码出多少关于物体身份的信息"，若细胞对视角敏感，这部分信息会急剧缩水。两个辅助设计扭转可能的反驳：去色与灰度实验回答"是不是颜色特征在作祟"，真实三维物体与未见视角实验回答"是不是只认那四张曝光过的图片"；再以"笼中物体 vs 从未见过的物体"的不变性指数对比，直接检验视角不变性是否是笼中经验教出来的。

方法

被试为两只清醒猕猴（Macaca mulatta，约 3 kg；AY 雄性、BD 雌性），用玻璃绝缘钨丝微电极在上颞沟（superior temporal sulcus, STS）与 IT 内做单细胞记录；眼位用巩膜搜索线圈监测，注视用"眨眼式"任务（注视点在测试刺激出现前 100 ms 从屏幕上消失）。刺激流程：每猴一套 10 个笼中玩具（AY 放置 9 个月、BD 放置 6 个月），用 Adobe Capture 数字化为 512×384 像素的四视角位图并串成 AVI 视频，录像期间物体始终留在笼里；呈现时屏幕距猴 50 cm、刺激约对应 12° 视角。试探阶段先筛面孔、物体、光栅等常规刺激，若某细胞对任一笼物体视角的响应强于非笼刺激，则启动正式测试：40 个刺激（10 物体 × 4 视角）计算机随机序列，直到每个视角至少呈现 5 次。后续扩展实验包括灰度呈现、用大孔径快门揭示实物、以及偶能补测的非标准视角。

分析上，每试验取刺激出现后 100 ms 起的 500 ms 放电率（该区细胞潜伏期通常 100 ms 以上）；先以"按物体"的单因素方差分析（ANOVA，P<0.0001）筛查跨物体差异（注意此分析只说明跨物体不同，不直接证明视角内相似），核心检验是信息论分析：用 Shannon 公式计算单次试验放电率对"10 选 1 物体"的互信息，放电率按可用试验数分箱以控制有限采样偏差（Panzeri & Treves 1996 校正）；多细胞分析用伪同步群体向量加交叉验证（每 stimulus 留一试做测试、其余做训练），解码用贝叶斯概率估计器（PE）算法与神经生理上更可信的归一化点积（dot product, DP）算法各跑一遍。另计算稀疏度 a（Treves & Rolls 1991）：细胞对整集刺激的放电率平方和与均值的比值型指标，当细胞只对一个刺激响应时 a=1/S（稀疏），对所有刺激等率响应时 a=1（弥散）。记录位点以 X 光片、微电灼伤与 50 µm 连续组织切片重建。

主要结果

  1. 视角不变的"物体细胞"确实存在，但只占少数。 共记录 737 个细胞，其中 290 个（39%）为视觉神经元；57 个（视觉神经元的 20%）最优刺激是面孔；233 个非面孔视觉神经元中 21 个（9%）对一个或多个笼物体表现出视角不变反应——即对某物体的全部四个视角响应、对其他物体不响应。换算到能充分测试的视觉神经元（153 个）：面孔选择 37%、笼物体视角不变 14%、特征/视角依赖 49%。21 个细胞的平均最大诱发放电率 60.4 spikes/s（SD 29.6），平均自发率 10.4 spikes/s（图 2、3 给典型例证）。

  2. 响应确实绑定"物体"而非某视角或某特征。 ay101b 对苹果去核器（物体 9）的四个视角放电，对其他黄色影像或带圆形/长条部分的物体无反应——而该物体视角 1、4 与视角 2、3 在形状上互不相同；ay095b 对物体 4 的四个视角响应，却对影像更相似的物体 7 无反应；bd054b 对物体 6 的四视角在 PSTH/raster 水平一致（图 4）。去色实验（图 5–7）：ay095b 对彩色影像、灰度影像与实物的响应组无显著差异；10 个可测细胞中 7 个去色后响应无显著变化，彩色与灰度版本的群体响应相关达 0.816（P<0.004）。

  3. 不变性来自笼中自然经验，且能泛化到未训练过的视角。 对 4 个细胞定义不变性指数（物体内响应方差 / 物体间响应方差，越小越不变）：笼中物体 0.48±0.22（SEM），从未见过的非笼物体的影像 2.39±0.95，Wilcoxon 单侧检验 P=0.034——同一颗神经元对熟悉物体的不变性显著高于对陌生物体影像。另有两个细胞可对最适物体"常规四视角之外"的未见视角做出同等响应（图 8）。

  4. 信息论证实这些细胞显式编码物体身份、独立于视角。 单细胞 500 ms 内单次试验的平均信息：AY 14 个细胞平均 0.37 bits，BD 7 个细胞平均 0.53 bits（t(19)=3.573, P<0.01；图 9、10）；对细胞最适物体的信息 AY 平均 1.11 bits、BD 1.76 bits（t(19)=3.05, P<0.01），与面孔选择性细胞对 20 张面孔的数据量级相当。作为对照，反应剖面"各个视角放电参差"的视角依赖细胞（如 ay077b，图 12）平均只携带 0.08 bits（三个同类细胞均值 0.079 bits）——视角不变的空间与视角不变编码的差异因此是可量化的。

  5. 编码格式是稀疏分布式的。 群体信息随加入细胞数近似线性增长，14 细胞（AY）与 7 细胞（BD）均达约 1.6 bits，PE 与 DP 两种解码算法结果一致（图 11）——信息线性增长意味着各细胞提供相对独立的信息、可辨别物体数随细胞数指数增长，这是分布式编码的特征；平均稀疏度 0.80（扣除自发率的"响应稀疏度"0.60；面孔细胞相应为 0.65/0.33），也排除了一个物体一个细胞的"祖母细胞"方案。作者把 BD 细胞信息量高于 AY 归因于 B 组物体视觉特征更丰富，两猴的稀疏度、响应稀疏度与最大放电率并无差异（表 1）；图 14 还显示信息也可以搭载在次优的低放电率上（对物体 3–5 的低率"聚簇"高于自发）。

图注解读

图 1 · 两猴各自记忆的物体刺激集

原文图注：Figure 1. The two sets of object stimuli. The upper set is set A for monkey AY, the lower set is set B for monkey BD

这是十加十个真实玩具的图版：上排为给猴 AY 的 A 组，下排为给猴 BD 的 B 组，每个物体的四个数字化视角由此取材。它界定了本文"熟悉物体"的操作定义——被试真实把玩过数月的塑料/橡胶玩具，而非屏幕训练物或线框合成体。后文所有"物体 N"编号都对应这张图版。

Figure 1

图 2 · AY 的两例视角不变细胞

原文图注：Figure 2. Firing rate profiles of two example neurons (ay101b, upper and ay095b, lower) from monkey AY that responded similarly to different views of the same object, and had responses that were different across objects. The images, grouped by object, run along the abscissa; the firing rates (in spikes/s) are shown on the ordinate. On this and subsequent firing rate profiles, the different symbols and the error bars (solid or broken lines) are solely meant to aid the presentation of the data points as coming from the same object.

这类"放电剖面图"是全文标准读法：横轴按物体分组排开 40 张视角影像，纵轴为放电率；符号与误差棒的作用只是把同一物体的数据点视觉上归拢。看上排 ay101b：苹果去核器的四个视角（其中视角 1、4 与 2、3 形状两样）放电率都高，而其他黄色调或含圆形/长条元素的物体不引发反应；下排 ay095b 对物体 4 的四视角高放，对形状更接近的物体 7 却沉默。这正是"对同一物体的不同视角响应相似、跨物体响应分化"的画面定义，支撑主要结果第 1、2 条。

Figure 2

图 3 · BD 的两例视角不变细胞

原文图注：Figure 3. Firing rate profiles of two example neurons (bd026b, upper and bd054b, lower) from monkey BD that responded similarly to different views of the same object, and had responses that were different across objects. The images, grouped by object, run along the abscissa; the firing rates (in spikes/s) are shown on the ordinate.

读法与图 2 完全相同，只是换了动物（BD）与物体组（set B）。bd026b（上）与 bd054b（下）各对某物体四视角一致地高放、跨物体低放。它的意义在于说明视角不变物体细胞不是 AY 独有的偶然——两只独立记忆了不同物体集的猴都给出了同类细胞。

Figure 3

图 4 · bd054b 对物体 6 四视角的单试验结构

原文图注：Figure 4. Peristimulus time histograms and associated rasterplots of neuron bd054b's responses to the four views of object 6. The four views are presented adjacent to the appropriate firing rate plots.

本图给了比平均放电率更细一层的数据结构：刺激后时间直方图（peristimulus time histogram, PSTH）加每试验一行的 raster 点图，四个面板分别对应物体 6 的四个视角，视角影像就贴在各自面板旁。读图时注意四个直方图的放电时程与高度彼此相仿——视角不变不仅在平均率上成立，在单试验、逐毫秒的响应形态上也成立。

Figure 4

图 5 · 灰度与实物呈现不改变响应

原文图注：Figure 5. The averaged responses of neuron ay095b to the four views of object 4, shown in both colour and greyscale, and to views of the real object. These three sets of responses were not significantly different.

本图把 ay095b 对物体 4 的响应三组并排：彩色四视角、灰度四视角、实物视角，三组无显著差异。它一举排除了两个反驳：响应不是由颜色特征驱动（否则灰度版会掉下去），也不是数字化平面影像的伪现象（否则实物的三维视角会掉下去）。这是"编码物体本身"最直观的一块控制证据。

Figure 5

图 6 · 十个细胞的去色检验汇总

原文图注：Figure 6. The responses of 10 neurons where the effect of colour removal from the stimuli was possible. The neurons (cases) are plotted on the abscissa (with bars for coloured and greyscale stimuli respectively); the firing rate (in spikes/s) is plotted on the ordinate with the associated standard deviation. In three cases, this manipulation caused a significant decrease in the firing rate of the neuron to the stimuli (t-test P < 0.05), and these cases are indicated by asterisks '*' on the graph. In addition, the cases in which the variance was significantly altered (Levene's test, P < 0.05) are indicated by a 'v' below the neuron number.

横轴是十个可做去色检验的细胞（每个细胞一对柱子：彩色在左、灰度在右），纵轴为对各细胞最适物体四视角的平均放电率与标准差。读图要点在标记：星号标出三个去色后显著下降的例（t 检验 P<0.05），字母 v 标出两个方差显著改变的例（Levene 检验 P<0.05）；其余七例均值与方差都稳。即便在三个下降例中，多数方差未变，说明去掉色影后细胞仍以近似一致的方式响应各视角。这一群体水平汇总把"颜色不是不变性的关键特征"坐实。

Figure 6

图 7 · bd019 彩色与灰度的逐试验对照

原文图注：Figure 7. Peristimulus time histograms and associated rasterplots of neuron bd019's responses to coloured and to greyscale views of object 1. These two sets of responses are not significantly different.

与图 4 同型的 PSTH/raster 展示，但对比的是同一批视角的彩色版（上）与灰度版（下）。上下两套直方图的时程与幅度无显著差异，把去色证据下沉到了单试验水平。它与图 5、6 共同构成对"这些细胞其实是颜色特征检测器"质疑的三重回应。

Figure 7

图 8 · 对从未见过视角的泛化

原文图注：Figure 8. (A) The averaged responses of neuron bd054b to three classes of stimuli from object 6: unfamiliar views (n = 3); familiar views (n = 4); greyscale views (n = 4) (see text). (B) Greyscale versions of the three unfamiliar views of object 6 used to test neuron bd054b. They were presented in colour in the experiment but are reproduced in greyscale here.

A 面板对比 bd054b 对物体 6 三类刺激的平均响应：常规测试集之外的未见视角（3 张）、每天看惯的四张熟悉视角、熟悉视角的灰度版——三组无显著差异；B 面板给出那三张未见视角（实验时以彩色呈现，此处印成灰度）。读图关键是"未见视角不输熟悉视角"：视角不变性不是对四张幻灯片的记忆，而是对物体的泛化能力，呼应主要结果第 3 条。

Figure 8

图 9 · 单细胞信息量的个体分布

原文图注：Figure 9. Single-cell information analysis. The average amounts of information (across stimuli) provided by the responses of each cell are indicated in the histograms (shown separately for the two monkeys). Neurons from monkey AY are represented by the histogram on the left, and those recorded from monkey BD are represented in the histogram on the right.

这是一对直方图：左为 AY 的 14 个视角不变细胞、右为 BD 的 7 个，每根柱子代表一个细胞对"10 选 1 物体"的平均互信息（bits）。读图能看出个体内与个体间的波动，且可见右图（BD）的柱子整体偏右——BD 细胞的信息量更高（组均 0.53 对 0.37 bits）。这是主要结果第 4 条的原始数据呈现，也是把"视角不变"翻译成信息量陈述的那一步。

Figure 9

图 10 · AY 与 BD 的信息量组间比较

原文图注：Figure 10. The mean averaged information about object across 14 AY cells and 7 BD cells. These two values are significantly different [t(19) = 3.573, P 0.01]. BD cells carry more information about which object is being seen than do neurons from monkey AY.

把图 9 的两组柱缩成两个平均值：BD（0.53 bits）显著高于 AY（0.37 bits），t(19)=3.573、P<0.01（原注排版中"<"脱落）。作者对此的解释在讨论中搁置为"刺激集差异"而非动物差异：B 组物体视觉特征更丰富，细胞自然有更多可编码的信息。本图本身是次要的量化脚注，意义在于提示"信息量取决于物体集的复杂度"。

Figure 10

图 11 · 群体信息随细胞数线性增长

原文图注：Figure 11. Multiple-cell information analysis. The information provided by different numbers of neurons about which of the 10 objects had been shown. As the number of cells in the sample increases, the information about which object was shown increases in an approximately linear manner. Separate diagrams are provided for the two monkeys, as the object sets were different, and the analysis only makes sense within a single individual. The solid symbols show results with the Bayesian probability estimator (PE) algorithm, and the open symbols with the dot product decoding which is neurophysiologically plausible (see Rolls and Treves, 1998).

横轴为纳入分析的细胞数，纵轴为解码出的物体信息（bits）；实心点用贝叶斯概率估计器（PE）解码，空心点用具备神经生理合理性的点积（DP）解码；两猴分别作图，因为两套物体不同、跨个体的群体分析没有意义。读图的关键是曲线形状：信息随细胞数近似线性上升至约 1.6 bits，两种解码算法结果重叠。线性增长等于"各细胞提供相对独立的信息"——这是分布式编码的直接证据，也是排除"祖母细胞"与估出可辨别刺激数指数增长的核心图。

Figure 11

图 12 · 视角依赖细胞的反例

原文图注：Figure 12. Firing rate profile of neuron ay077b across the 10 objects in set A. The neuron did not have invariant responses to the objects in the set. The images, grouped by object, run along the abscissa; the firing rates (in spikes/s) are shown on the ordinate.

这是与图 2/3 对照的"负样本"：ay077b 沿 10 个物体的放电剖面里，同一物体的不同视角响应悬殊（物体 7、9、10 尤甚），把同一物体各视角反应合并后平均只含 0.08 bits 信息（三个同类细胞均值 0.079 bits）。它一石二鸟：说明视角依赖响应在 IT 中是多数派（对应那 49% 的特征/视角依赖细胞），也说明视角不变细胞携带的物体信息并非分析方法的副产品——同一分析对不同响应结构的细胞给出截然不同的信息值。

Figure 12

图 13 · 记录位点的组织学重建

原文图注：Figure 13. Reconstructed histological sections, for both monkey AY and monkey BD showing (filled circles) the sites at which the view-invariant object neurons were recorded. Numbers alongside the sections indicate the distance (in mm) posterior to the sphenoid bone reference point, and these distances are further illustrated in the upper left of the figure in the sagittal view. A full coronal section is illustrated at the bottom right of the figure, and the area of cortex investigated in this study is indicated by the shaded region encompassing the superior temporal sulcus (STS) and the lateral portion of the inferior temporal gyrus (IT).

组织学切片重建图：实心圆标出 21 个视角不变细胞的记录位点（全部在右半球），片旁数字为距蝶骨参考点向后的毫米数（左上矢状视图解释这些距离），右下完整冠状面的阴影区圈出本次探查的皮质范围——上颞沟（STS）上下唇及颞下回外侧部。读图要点是圆点的空间分布：从 STS 下唇到中颞沟外侧呈带状铺开、不聚成孤岛。这为"视角不变细胞与视角依赖细胞解剖上混杂共生"提供了位置证据，支持二者之间是加工关系而非分区关系。

Figure 13

图 14 · 次优放电率上的信息聚簇

原文图注：Figure 14. Firing rate profile of neuron bd021b across the 10 objects in set B. There is a degree of clustering at low (suboptimal) rates, especially to objects 3–5 (see text). The images, grouped by object, run along the abscissa; the firing rates (in spikes/s) are shown on the ordinate.

bd021b 沿 B 组十物体的放电剖面：最适刺激是物体 1 的视角 1，但对物体 3–5 存在一个高于自发率、彼此相近的低放电率"聚簇"带。此图的方法学意涵是作者选择"多刺激全谱扫描"而非 Tanaka 式的"寻找最适刺激再微调"范式之后才能看到的现象——IT 细胞的编码不只靠最适响应的高放电，次优低率同样携带信息（作者引 Rolls et al. 1997a 的工作），讨论中被用来支持"用足动态范围、提高编码效率"的推测。

Figure 14

讨论

作者对结果的自我解读采取了非常谨慎的两步。第一，先论证这些细胞"编码的是物体而不仅是特征"：同一物体的不同视角在颜色、形状、特征构成上迥异却得到同样响应，其他物体在影像上相似却无响应，而同一研究中 49% 的其他细胞对视角有依赖，反衬出这 14% 细胞的特殊性。作者也坦白真实物体的特征空间没有被完全控制（与合成线框相比，无法逐特征对齐），缓解的办法是特意挑选尺寸、表面质地、色彩范围相近且以凸面为主的物体，让特征空间尽量收窄。第二，对形成机制的假说交代得更坦诚：经验最可能的塑形方式是"自然变换序列下的时间关联"——同一物体连续变换的特征在短时间内先后出现，带上短时记忆痕迹的修正 Hebb 规则即可把它们"绑定"到一个后续层级里（Foldiak 1991；Rolls 1992），Wallis & Rolls（1997）已经用这种规则构造出能学会视角、平移、大小不变性的网络模型（亦可经由层间前馈等级结构或反馈侧支上的痕迹学习实现，Parga & Rolls 1998）。四项不变性指数实验（笼物体 0.48 vs 非笼物体 2.39，P=0.034）、视角依赖细胞远多于视角不变细胞（每个视角都要单独表征，故前者理应更常见，与 Hasselmo 等 1989 的面孔同类结果一致）、以及不变细胞与视角依赖细胞在组织学上混杂（图 13），都被引为这一假说的旁证。作者同时认真对待备择方案——鼻周皮质（perirhinal cortex）：它与 IT 双向连接、与腹前部 IT 功能双重分离（Buckley et al. 1997），TE 前腹侧区对它有弥散投射（Saleem & Tanaka 1996），Miyashita 团队更用"记录+切除"显示它介导 IT 神经元对成对刺激的关联记忆；但那些研究都依赖大量配对训练，而本研究没有正式训练，因此"鼻周皮质如何参与自然经验的绑定"被明确列为未来方向。在编码层面，作者与 Barlow 的"祖母细胞"论直接交锋：这些细胞对多个物体、甚至其他物体的某些视角响应，稀疏度 0.80、群体信息线性增长，一切指向稀疏分布式编码及其优点（泛化、优雅退化、任意子集仍可表征大量信息）；并且仅凭放电率即可读出约 1.6 bits 的物体信息，无需诉诸放电时间相关性（与 Singer & Gray 1995 的假说对照）。BD 高于 AY 的信息量被归因于刺激集而非动物的差异，两猴其余指标并无不同。

一句话总结

在我的理解里，这篇文章最漂亮的地方是把"熟悉"变成了实验变量：建议软化绝对论断并交代关键样本量，例如改为：'在接受进一步对比测试的 4 个细胞中，笼里把玩过的熟悉物体不变性指数是 0.48，而从未见过的新物体是 2.39——这有力地提示视角不变表征可能并非天生，而是能够通过日常把玩等自然经验塑形出来的。'另外两个数字常被后来的模型文章引用而比例常被忽略：21/153 的不变细胞、49% 的视角/特征依赖细胞再一次提醒我们，不变性是 IT 里的少数派方案，它与视角依赖表征混杂共存，恰是层级关联模型预测的样子。

审校与证据追溯 (Verification & Evidence)

图表审计结果

关键事实与局限性声明