← 返回文献列表

IT Literature Intelligence 终审版本 (VERIFIED) 论文编号: 070 | 原始基线: V0_ZCODE_BASELINE | 语义审核: needs_revision | 图表审核: pass Astra裁决: compromise_revision (revise)


Human face perception using electroencephalography and magnetoencephalography

Miki · Frontiers in Physiology · 2022 · Zotero itemID=816

这是一篇"自传式"综述:作者团队把过去二十多年里自己做的 5 组脑电(electroencephalography,EEG)与脑磁图(magnetoencephalography,MEG)人脸知觉实验串成一条时间线,回答"人脸在脑内什么时候、在哪里、被怎样加工"。它值得读,是因为每一组实验都只改一个视觉要素(轮廓、眼睛朝向、倒置方向、亮度),从而把 170–250 ms 时段的几个成分一步步归因到下颞区(inferior temporal area,IT)与上颞沟(superior temporal sulcus,STS)——对做视觉 ERP/MEG 的人来说,这是一份可以直接复用的成分-脑区对照表。

研究背景

人脸承载性别、熟悉度、表情等社会信息,是心理学经典议题,早有 Bruce 与 Young 1986 的认知模型。方法学上,fMRI 以出色的空间分辨率发现了一个专门负责面孔知觉的梭状回面孔区(fusiform face area,FFA,Kanwisher et al., 1997),但它回答不了"什么时候";EEG 则以毫秒级时间分辨率确立了面孔特异的负成分 N170(约刺激后 170 ms,对脸比对椅子、汽车更大,Bentin et al., 1996),但它回答不了"在哪里"。MEG 兼具两者优点。于是问题变成:从视网膜到 FFA 这条加工链上,各环节的时间序列与皮层位置是什么?哪些要素(整脸 vs 眼睛、轮廓 vs 特征、注视方向、上下方向)在哪个环节起作用?

作者的起点是 1999 年他们自己的两篇 MEG 研究:记录到面孔诱发约 132 ms 的 1M 成分(对应枕区初级视知觉、由亮度变化驱动)与约 179 ms 的 2M 成分(源估计在 FFA 附近的 IT 区),并发现"认出眼睛比认出整张脸更慢"。由此他们提出 IT 区 2M 成分反映"面孔检测"过程,随后用一系列参数化实验逐层拆解这个检测过程受什么因素影响。

研究思路

整篇综述的逻辑链非常线性:先证明"IT 区 2M 成分 = 面孔检测"(Watanabe 1999a, b),再问"为什么脸比眼睛检测得快"——答案落在轮廓(Miki 2007);接着问"检测之后,面孔的社会信息(视线朝向)何时加工"——把 ERP 眼偏效应归给 STS(Watanabe 2002);再问"面孔的上下方向为什么重要"——用半场刺激与轮廓/特征分别倒置的范式分离右半球(受特征方向支配)与左半球(受轮廓-特征方向匹配支配)的分工(Watanabe 2003;Miki 2011);最后是方法学收尾:既然亮度变化会激起强烈的枕区初级活动、淹没 IT 信号,就设计"随机点闪烁"(random dots blinking,RDB)这种亮度恒定的呈现方式,把 IT 活动干净地分离出来(Miki 2009)。每个实验都用前一个实验的结论作为下一步的动机,这种"接力式"问题推进是这篇综述的骨架。

方法

各实验均为正常视力或矫正视力正常的成人被试,样本量在 10–14 人之间。MEG 实验主要用 306 通道全头生物磁强计(其中 204 个梯度计),在双侧颞-枕区覆盖放置传感器,分别对左右半视野刺激独立考察对侧半球响应;源分析用单等效电流偶极子(equivalent current dipole,ECD)模型(Hämäläinen et al., 1993),以偶极矩最大时刻作为峰值潜伏期,最大偶极矩作为强度指标;多源建模时比较不同偶极子数模型的适配。ERP 实验采用国际 10–20 系统,记录电极置于颞区(T5′/T6′ 为 T5/T6 下方 2 cm,T5/T6 用于 RDB 实验),提取负成分峰值潜伏期与最大振幅。刺激方面,实验一用真实人脸照片(睁眼、闭眼、仅眼睛);实验二用示意图式人脸(圆轮廓+两点眼+横线嘴),构成 CDL(轮廓+点+线)、CD(轮廓+点)、DL(点+线)、D(仅点)四种条件;实验三用直视、左偏、右偏三种视线;实验四/五用正立、倒置面孔与蝴蝶,及轮廓、特征分别倒置的 U&U(正立轮廓+正立特征)、U&I(正立轮廓+倒置特征)、I&I(倒置轮廓+倒置特征);RDB 实验以黑底白点、伪随机明暗翻转呈现图形——构成图形的点保持不变,其余点持续变化,被试在不发生亮度变化的前提下感知到形状,条件为正立脸、倒置脸(空间关系保留)、打乱脸(轮廓-特征空间关系被破坏、上下左右对称)与星形(要求计数星形个数以分散注意)。

主要结果

  1. IT 区 2M 成分反映"面孔检测",脸比眼睛检测得快(图 1)。Watanabe 1999a研究纳入12人:睁眼脸和闭眼脸诱发约132 ms的1M及约179 ms的2M,源分别估计在枕区及FFA附近的IT区;两种面孔条件的2M均在右半球10/12人、左半球5/12人中检出,两条件的2M潜伏期无显著差异。另一项Watanabe 1999b研究纳入10人,比较睁眼脸、闭眼脸与单独眼睛;右半球10人各条件均记录到2M,左半球比较基于整脸2M清晰的5人。在这些有效样本中,眼睛条件的2M潜伏期在两半球均显著长于两种整脸条件。

  2. 轮廓是面孔检测中最重要的要素(图 2、图 3)。示意图脸实验(13 人,11/13 人双侧 IT 均可估计 ECD)中,含轮廓的条件(CDL、CD)峰值潜伏期在两半球都显著短于无轮廓条件(DL、D);CDL 的最大偶极矩虽在两半球均为各组最大,但受个体间变异影响未达显著。这与此前 N170 对比有轮廓/无轮廓的报道一致,作者结论是"轮廓是面孔知觉最重要部分之一,它缩短检测过程"。

  3. 视线偏转增大颞区 N190,效应更可能属于 STS 而非 IT(图 4、表 1)。14 人 ERP 实验中,刺激后约 190–200 ms 在 T5′/T6′ 出现大负成分 N190;三种视线条件的潜伏期无差异,但右偏视线的 N190 在 T6′ 显著大于直视(−3.8 vs −3.1 µV,p<0.01),左右偏的平均("偏转")在 T6′ 也显著大于直视(−3.6 vs −3.1 µV,p<0.01),T5′ 则只有数值上的增大。由于此前工作显示 IT 活动不受面孔内部眼睛/嘴巴形态影响,作者把眼偏效应归到 STS——这正与 fMRI 证据"视线知觉更多由 STS 介导"吻合;右偏条件的N190负峰绝对幅度数值上大于左偏条件,但表1未报告二者直接比较的显著性。作者推测该不对称可能与所有被试均为右利手有关;研究缺少左利手对照,尚未验证这一解释。

  4. 面孔倒置效应与两半球分工:右半球看特征方向,左半球看轮廓-特征匹配(图 5、图 6、图 7、表 2、表 3)。半场刺激实验(10 人)中 2M 为最大成分:倒置使右半球 2M/3M 潜伏期延长(如 2M 161.6→164.3 ms)而左半球缩短(155.1→153.8 ms),趋势与 McCarthy 等"正立脸右半球加工更快、倒置脸左半球更快"一致(组间未达显著);蝴蝶(非面孔)不改变潜伏期,但左半球 3M 振幅显著小于正立/倒置面孔;多源建模显示三偶极子模型(早期视区+IT+外侧颞区)适配面孔条件而不适配蝴蝶。轮廓/特征分离倒置实验(10 人)中,ECD 全部定位在 IT/FFA:右半球 U&I 与 I&I 的峰值潜伏期均显著长于 U&U,左半球则只有 U&I 显著长于 U&U 与 I&I——作者据此提出:右 IT 受"特征方向"影响,左 IT 受"轮廓与特征方向是否匹配"影响。偶极矩上右半球 U&U 反而小于 U&I/I&I,但同样未达显著。

  5. RDB 方法可在无亮度变化下分离 IT 面孔活动(图 8、表 4)。RDB 实验(10 人)的 ERP 中没有约 100 ms 的 P1 成分,代之以约 250 ms 的清晰负成分 N-ERP250(T5/T6 双侧颞区);其潜伏期在正立脸最短(246.7/247.8 ms),显著短于倒置(258.3/258.5 ms)与打乱(261.0/259.4 ms)、略短于星形;振幅在 T6(右颞区)上正立、倒置、打乱均显著大于星形。源估计落在 IT/FFA。与颅内 ERP 文献"腹侧/外侧区最早清晰响应约在 200 ms"相比,N-ERP250 更晚,作者推测 RDB 先经由传导更慢的皮层下通路抵达 IT。

图注解读

图 1 · 三种刺激下右侧半球的 MEG 波形

原文图注:FIGURE 1 | The MEG waveforms of a representative subject in response to the presentation of stimuli, face with opened eyes, face with closed eyes, and eyes recorded from the right hemisphere. The MEG waveforms recorded from 37 channels are superimposed [adopted from Watanabe et al. (1999b)]. MEG, magnetoencephalography.

这是单个代表性被试右侧半球的 37 通道波形叠加图,横轴为时间(刺激后),三种刺激(睁眼脸、闭眼脸、单独眼睛)的响应叠画。读图重点是约 179 ms 处的 2M 波峰:三种条件都能看到,但眼睛条件的高峰明显更晚——这正是"眼睛的 2M 潜伏期显著长于整张脸"这一结论的原始波形证据。它支撑主要结果第 1 条(IT/2M 反映面孔检测、脸快于眼)。

Figure 1

图 2 · 示意图式脸四种条件下的 MEG 波形

原文图注:FIGURE 2 | MEG waveforms (upper) of a representative subject following the stimulus onset in the CDL condition. MEG waveforms (lower) at sensors A and B in the upper image show a clear component recorded for CDL, CD, DL, and D in the right and left hemispheres. (A) Representative waveforms at sensor A in the right hemisphere of the upper image. (B) Representative waveforms at sensor B in the left hemisphere of the upper image. Black arrows show the stimulus onset and white arrows show the response selected for further analysis [adopted from Miki et al. (2007)]. MEG, magnetoencephalography; CDL, contour, dots, and line; CD, contour and dots; DL, dots and line; D, dots only.

上半部分是 CDL 条件(完整示意脸)在全头传感器上的波形图,下半部分抽出右半球(A)与左半球(B)两个代表性传感器,把 CDL/CD/DL/D 四种条件的响应叠画。黑色箭头标刺激起点,白色箭头标进入分析的目标响应。读图要点:含轮廓条件(CDL/CD)与无轮廓条件(DL/D)相比,同等幅度成分出现得更早——潜伏期差异在波形上一目了然。它支撑主要结果第 2 条(轮廓加速面孔检测)。

Figure 2

图 3 · 四种条件下的峰值潜伏期与偶极矩柱状图

原文图注:FIGURE 3 | Bar graphs of peak latency (upper) and the maximum amplitude of dipole moment (lower) for all conditions after stimulus onset in the right and left hemispheres. Error bar shows the SD [adopted from Miki et al. (2007)]. ∗p < 0.05 and ∗∗p < 0.01. SD, standard deviation.

上图是潜伏期、下图是最大偶极矩,横轴为 CDL/CD/DL/D 四种条件,左右半球分开呈现,误差棒为标准差,星号标显著性。核心读法:潜伏期图中 DL、D 的柱显著高于 CDL、CD(两半球均如此);偶极矩图中 CDL 虽然最高但没有星号——被个体差异淹没。这张图把"轮廓效应体现在时间而非强度上"讲得很直白,支撑主要结果第 2 条。

Figure 3

图 4 · 三种视线条件下颞区 N190 的 ERP 波形

原文图注:FIGURE 4 | ERP waveforms in two representative subjects for straight eyes, left averted, and right averted conditions at T5′ and T6′ electrodes in the left and right temporal areas, respectively. A negative component, N190, was clearly identified for all stimuli [adopted from Watanabe et al. (2002)]. ERP, event-related potentials.

两名代表性被试在左颞 T5′ 与右颞 T6′ 电极上、对直视/左偏/右偏三种视线的 ERP 波形。读图要点:约 190–200 ms 处三种条件都出现清晰负峰 N190,但右颞 T6′ 上右偏视线的负峰更深(绝对值更大)。配合表 1 的数值(直视 −3.1、右偏 −3.8 µV),这就是"眼偏效应显著、且偏大于直视"的波形基础;潜伏期无差异则提示强度而非时间被视线朝向调制,支撑主要结果第 3 条。

Figure 4

图 5 · 半场刺激下正立/倒置脸与蝴蝶的 MEG 成分

原文图注:FIGURE 5 | The MEG waveforms for LHF and RHF stimulation in two representative subjects. MEG components (1M, 2M, and 3M) were clearly recorded in the right (LHF stimulation) and left hemispheres (RHF stimulation) in upright (upright face), inverted (inverted face), and objects (butterfly) conditions. The vertical gray and brown arrows indicate the peaks of 2M and 3M, respectively. In addition, the vertical gray and brown dotted lines indicate the peak latencies of 2M and 3M, respectively. 2M and 3M latencies for objects were not significantly different from those for faces (upright and inverted) [adopted from Watanabe et al. (2003)]. MEG, magnetoencephalography; LHF, left hemifield; RHF, right hemifield.

左半视野(LHF)刺激投射到右侧半球、右半视野(RHF)到左侧半球,两名代表性被试在三条件(正立脸、倒置脸、蝴蝶)下的 1M/2M/3M 成分被垂直箭头与虚线标出。读图要点:2M 是最大成分;倒置与正立在左右半球的峰位关系方向相反(右半球倒置更晚、左半球更早),蝴蝶不改变峰位但左半球 3M 明显变小(左半球3M中,正立脸的绝对振幅为88.8±31.2 fT;以各被试正立脸振幅归一化后,倒置脸为89.6±23.1%,蝴蝶为65.5±17.3%(均为均值±SD)。蝴蝶条件显著低于正立脸(p<0.001)和倒置脸(p<0.01)。)。这支撑主要结果第 4 条中"半球差异"与"面孔 vs 非面孔"两个证据点。

Figure 5

图 6 · U&U/U&I/I&I 三条件下左右半球的 MEG 波形

原文图注:FIGURE 6 | MEG waveforms (upper) of a representative subject following stimulus onset in the U&U condition. MEG waveforms (lower) at sensors A and B in the upper image show a clear component recorded for U&U, U&I, and I&I conditions in the left and right hemispheres. (A) Representative waveforms at sensor A in the left hemisphere of the upper image. (B) Representative waveforms at sensor B in the right hemisphere of the upper image. Black arrows show the stimulus onset and white arrows show the response selected for further analysis. Responses after the stimulus onset were longer in latency for U&I and I&I than for U&U in the right hemisphere, but longer in latency for U&I than for U&U and I&I in the left hemisphere in this subject [adopted from Miki et al. (2011)]. MEG, magnetoencephalography; U&U, upright contours and upright features; U&I, upright contours and inverted features; I&I, inverted contours and inverted features.

与图 2 同一套呈现方式,但条件换成 U&U(正立轮廓+正立特征)、U&I(正立轮廓+倒置特征)、I&I(倒置轮廓+倒置特征)。读图关键在于两半球的模式差异:右半球上 U&I 与 I&I 的峰都晚于 U&U,左半球上只有 U&I 晚——U&I 恰好是唯一破坏"轮廓与特征方向匹配"的条件。这一不对称正是"右半球看特征方向、左半球看轮廓-特征匹配"结论的原始证据,支撑主要结果第 4 条。

Figure 6

图 7 · 三条件下的峰值潜伏期与偶极矩柱状图

原文图注:FIGURE 7 | Bar graph of peak latency (upper) and the maximum amplitude of dipole moment (lower) for all conditions after stimulus onset in the right and left hemispheres. Error bar shows the SD [adopted from Miki et al. (2011)]. ∗p < 0.05 and ∗∗p < 0.01. SD, standard deviation.

图 3 的姊妹图,条件换为 U&U/U&I/I&I。上排潜伏期是这张图的主角:右半球 U&I、I&I 显著长于 U&U,左半球 U&I 显著长于 U&U 与 I&I;下排偶极矩中右半球 U&U 反而最小,但三种条件间无显著差异。读者应把注意力放在潜伏期的"半球×条件"交互模式上——那是作者立论的核心,支撑主要结果第 4 条。

Figure 7

图 8 · RDB 呈现下四条件的全群平均 ERP

原文图注:FIGURE 8 | The grand-averaged waveforms from all ten subjects of ERP for upright (schematic face), inverted (the upright stimulus inverted), scrambled (the same contours and features as in upright but with the spatial relation distorted), and star (a star shape whose occurrence was enumerated and then reported after sessions by the subjects) conditions at the T5 and T6 electrodes in the left and right temporal areas, respectively [adopted from Miki et al. (2009)]. ERP, event-related potential.

10 名被试的全群平均波形,T5(左颞)与 T6(右颞)电极,四条件为正立脸、倒置脸、打乱脸与星形。读图要点一:没有约 100 ms 的 P1——亮度恒定的 RDB 成功"屏蔽"了枕区初级活动;要点二:约 250 ms 处出现清晰负成分 N-ERP250,其峰在正立脸条件下最早、在面孔类条件下振幅大于星形(T6 上显著)。星形条件要求被试数星形个数,是防止注意偏向面孔类刺激的对照设计。这张图支撑主要结果第 5 条:RDB 能把 IT 面孔活动从亮度驱动的背景里分离出来。

Figure 8

讨论

讨论部分按四条主线收束全文。第一,IT 区(对应 FFA)的事件相关成分在面孔呈现后被诱发,面孔的检测过程比眼睛短——作者的解释带一点功能色彩:脸对社会交流太重要,所以系统优先整脸检测,而轮廓正是缩短这一过程的关键要素。第二,与 STS 活动相关的成分在视线偏转时大于直视,说明视线朝向(尤其回避视线)是一种自动、无意识的注意指示器;作者也注意到这一效应更可能定位于 STS 而非 IT,与前作"IT 不受面孔内部眼嘴形态影响"一致。第三,半球分工:正立脸在右半球加工更快,倒置脸在左半球更快;特征方向支配右半球加工,轮廓-特征方向匹配则支配左半球——这把面孔知觉的半球差异从"哪个半球占优"细化为"哪个变量在哪个半球起作用"。第四,RDB 在不改变亮度的前提下呈现图形,避免了枕区初级视知觉活动的干扰,是研究 IT 面孔加工的干净工具;保持现状,不予修改与文献的对话贯穿始终:N170(Bentin 1996)、FFA(Kanwisher 1997)、双眼/整脸加工速度(Shibata 2002;Itier 2006)、倒置效应的半球时序(McCarthy 1999)、颅内 ERP 的 200 ms 首响应(Allison 1999)、STS 与视线知觉(Hoffman & Haxby 2000)以及 RDB 的源头工作(Okusa 1998, 2000)。局限方面,综述没有设专门的局限性小节(文中未详述系统性局限),但散见的自认包括:偶极矩振幅指标受个体间变异影响大、多次未达显著;全部证据来自本团队 10–14 人样本的小实验;源定位依赖 ECD 假设,N-ERP250 晚于颅内记录的 200 ms 首响应也被作者自己解读为"经由更慢的皮层下通路",属于对方法敏感度的坦承。

一句话总结

(以我的阅读判断)这篇综述的价值不在提出新理论,而在提供一套罕见的"干净参数":每改一个视觉要素就知道哪段潜伏期、哪个成分、哪块皮层会变——轮廓决定检测快慢、视线偏转属于 STS、特征方向与轮廓-特征匹配分属两半球。我特别欣赏 RDB 那一段,因为它直面了视觉 ERP 研究最大的脏东西(亮度驱动的枕区活动)。但也要提醒:全部证据出自同一个实验室的小样本,且定位依赖偶极子建模,这些结论要当作"强有力的工作假说"而非定论来引用。


审校与证据追溯 (Verification & Evidence)

图表审计结果

关键事实与局限性声明