语音加工的功能性近红外脑成像研究进展(1)
摘要 功能性近红外光谱技术(fNIRS)是近十多年兴起的一种用于研究脑功能成像的新手段。与其他研究手段相比，它具有便于移动、造价低、对运动伪迹不敏感等优势。本文首先简要介绍fNIRS技术的原理、算法类型、应用与特点，然后总结了fNIRS在语音加工领域的研究进展，其中包括音长、音位序列、音节结构、重音、语调等内容，最后基于已有成果与研究现状，对fNIRS在中文语音加工方面的应用提出了展望。
关键词 语音加工，脑机制，功能性近红外光谱技术。
分类号 B84
1.引言
功能性近红外光谱技术(functional near-infraredspectroscopy，fNIRS)，也称为近红外脑功能成像技术，初现于20世纪70年代末(Jobsis，1977)。近20年来，该技术同脑电图、功能性核磁共振脑成像等技术一样，成为人类探索脑机制发生发展的有效工具。fNIRS是一种非侵入式的脑功能成像技术，它利用近红外光，穿过头皮及脑组织，直接监测神经活动引发的脑区血液动力学的变化状况。通过氧合血红蛋白浓度(HbO)、脱氧血红蛋白浓度(HbR)、总含氧量(HbT)等指标反映出来脑各区域的活跃情况(Rossi，Telkemeyer，Wartenburger，& Obrig，2012)。
目前，fNIRS在认知心理学、教育心理学、临床心理学等领域得到广泛应用(Gallagher，2013；Kahla-oui，et al.，2012；Yu，Pan，Ang，Guan，& Leamy，2012)。在国内的研究中也涉及到语义编码、脑机接口、阅读障碍儿童词加工、孤独症儿童抑制功能、神经痛调控等领域的研究(胡汉彬，祝晔，蒋田仔，2010；李鹏程等人，2000；苏艳丽等人，2010；吴汉荣，姚彬，2004；辛佳炜，王岩，敖强，左焕琮，2012)。
在语音加工研究方面，fNIRS有自己独特的优势。一方面，fNIRS可提供一个安静的实验环境，这样既能避免噪声对实验结果的污染，也能提高实验的生态效度；另一方面，fNIRS实现了相对较高的时间分辨率和空间分辨率，更有利于语音加工脑功能的定位研究。此外，fNIRS具有非侵入性和对头动的相对高容忍度特点，从而可以实现婴儿与儿童在觉醒状态下的实验；而且，fNIRS还适用于一些特殊的被试群体，如多动症患者儿童，精神分裂症等被试，这些被试通常在其他成像技术上很难进行实验，近红外技术可以帮助研究者更加全面地揭示语音加工的相关机制(Bortfeld，Wruck和Boas，2007；Diel-er，Tupak，& Fallgatter，2012；Lloyd-Fox，Blasi，& El-well，2010)。
2.语音加工脑机制的fNIRS研究
目前，fNIRS在语音加工方面的很多领域都取得了不错的进展，主要内容包括对音长、音位序列、音节结构、重音和语调的研究。
2.1 音长
音长就是声音的长短。在很多语言中，音长决定着单词的意义，也就是说音长不同，词汇的含义就不一样，尤其是元音的音长，如英语中的bark与buck，一个是长元音/a/，一个是短元音/∧/，尽管只是音长不同，单词的含义却大相径庭。因此音长识别的准确性对言语知觉起着非常重要的作用。有人(Minagawa-Kawai，Mori，Furuya，Hayashi，& Sato，2002)使用fNIRS研究了日语的长元音和短元音在听觉皮层区的表征情况。实验材料为4种不同条件的非词，刺激以从/mamo/到/mama：/连续音体上最后一个元音的不同延时作为区别，时长分别为151ms(刺激A)、184ms(刺激B)、217ms(刺激C)、250ms(刺激D)。实验程序是由Rokubunken软件(Imagawa & Kiritani，1989)写成的程序，所有非词都做了合成，保证第二个元音具有稳定的音高线和共振峰结构，并且第一个音节的音长为110ms，而中间的/m/音素为90ms。由于前人研究发现当日语长短元音的音素边界在B和C条件之间，所以实验选用四种刺激间毗邻的两个刺激作为一个周期进行分析，共三个周期，在AB周期中，刺激A在20s中，以1.25s出现一次的频率呈现，之后以伪随机的方式交替呈现刺激A和刺激B，时间为20s，出现频率同上，实验把前20s作为基线水平，而后20s作为目标分析，如此至少重复5次。BC与CD周期与AB周期一样。三个周期随机呈现给每个被试。刺激通过耳机以70dBSPL的水平依次呈现给被试。结果发现，当评估刺激间音位边界时，也就是BC周期中，对比的刺激可以引起左脑听觉区更大的变化。而对于那些相等时长且属于相同音位类别的刺激而言，也就是AB和CD周期中，听觉区却没有表现出显著变化。
同时，音素加工的大脑左侧化效应也得到证实。相关的MEG和ERP研究已发现，人们对母语的音素变体相比非母语的音素变体的脑功能反应不同(Alho，et al.，1998；Dehaene-Lambertz，1997；Koya-ma，et al.，2000)，而且第二语言学习者在识别新语言的某些不同音素时出现了困难(如日本被试识别英语中的/r/和/l/时)(Miyawaki，et al.，1975)，所以Minagawa-Kawai等人又研究了学习日语的韩国被试在日语的音位对比方面的血氧反应和行为表现(Mi-nagawa-Kawai，Mori，& Sato，2005；Minagawa-Kawai，Mori，Sato，& Koizumi，2004)，研究中被试为7名日语熟练的韩国人，测试区域为双侧颞叶的听觉区，刺激材料同上述研究(Minagawa-Kawai，et al.，2002)，程序也相同，不过该研究加了一个控制条件，即一对日语的合成词/itta/与/itte/，前者为基线，两者同时出现为目标。结果发现，日本被试的左脑听觉区存在音位特异性反应效应，而韩国被试则没有表现出对母语中相同时长的类别特异性反应，这说明他们的脑区加工模式同日语被试不同。但实验的行为数据表明在类别知觉方面韩语被试同日语被试没有差别。这说明第二语言的音位类别知觉仅仅通过行为数据来确定是还不够充分。也证明了近红外脑成像技术的使用价值。 (杨海波 张雪健 周菘 刘颖 白学军)
关键词 语音加工，脑机制，功能性近红外光谱技术。
分类号 B84
1.引言
功能性近红外光谱技术(functional near-infraredspectroscopy，fNIRS)，也称为近红外脑功能成像技术，初现于20世纪70年代末(Jobsis，1977)。近20年来，该技术同脑电图、功能性核磁共振脑成像等技术一样，成为人类探索脑机制发生发展的有效工具。fNIRS是一种非侵入式的脑功能成像技术，它利用近红外光，穿过头皮及脑组织，直接监测神经活动引发的脑区血液动力学的变化状况。通过氧合血红蛋白浓度(HbO)、脱氧血红蛋白浓度(HbR)、总含氧量(HbT)等指标反映出来脑各区域的活跃情况(Rossi，Telkemeyer，Wartenburger，& Obrig，2012)。
目前，fNIRS在认知心理学、教育心理学、临床心理学等领域得到广泛应用(Gallagher，2013；Kahla-oui，et al.，2012；Yu，Pan，Ang，Guan，& Leamy，2012)。在国内的研究中也涉及到语义编码、脑机接口、阅读障碍儿童词加工、孤独症儿童抑制功能、神经痛调控等领域的研究(胡汉彬，祝晔，蒋田仔，2010；李鹏程等人，2000；苏艳丽等人，2010；吴汉荣，姚彬，2004；辛佳炜，王岩，敖强，左焕琮，2012)。
在语音加工研究方面，fNIRS有自己独特的优势。一方面，fNIRS可提供一个安静的实验环境，这样既能避免噪声对实验结果的污染，也能提高实验的生态效度；另一方面，fNIRS实现了相对较高的时间分辨率和空间分辨率，更有利于语音加工脑功能的定位研究。此外，fNIRS具有非侵入性和对头动的相对高容忍度特点，从而可以实现婴儿与儿童在觉醒状态下的实验；而且，fNIRS还适用于一些特殊的被试群体，如多动症患者儿童，精神分裂症等被试，这些被试通常在其他成像技术上很难进行实验，近红外技术可以帮助研究者更加全面地揭示语音加工的相关机制(Bortfeld，Wruck和Boas，2007；Diel-er，Tupak，& Fallgatter，2012；Lloyd-Fox，Blasi，& El-well，2010)。
2.语音加工脑机制的fNIRS研究
目前，fNIRS在语音加工方面的很多领域都取得了不错的进展，主要内容包括对音长、音位序列、音节结构、重音和语调的研究。
2.1 音长
音长就是声音的长短。在很多语言中，音长决定着单词的意义，也就是说音长不同，词汇的含义就不一样，尤其是元音的音长，如英语中的bark与buck，一个是长元音/a/，一个是短元音/∧/，尽管只是音长不同，单词的含义却大相径庭。因此音长识别的准确性对言语知觉起着非常重要的作用。有人(Minagawa-Kawai，Mori，Furuya，Hayashi，& Sato，2002)使用fNIRS研究了日语的长元音和短元音在听觉皮层区的表征情况。实验材料为4种不同条件的非词，刺激以从/mamo/到/mama：/连续音体上最后一个元音的不同延时作为区别，时长分别为151ms(刺激A)、184ms(刺激B)、217ms(刺激C)、250ms(刺激D)。实验程序是由Rokubunken软件(Imagawa & Kiritani，1989)写成的程序，所有非词都做了合成，保证第二个元音具有稳定的音高线和共振峰结构，并且第一个音节的音长为110ms，而中间的/m/音素为90ms。由于前人研究发现当日语长短元音的音素边界在B和C条件之间，所以实验选用四种刺激间毗邻的两个刺激作为一个周期进行分析，共三个周期，在AB周期中，刺激A在20s中，以1.25s出现一次的频率呈现，之后以伪随机的方式交替呈现刺激A和刺激B，时间为20s，出现频率同上，实验把前20s作为基线水平，而后20s作为目标分析，如此至少重复5次。BC与CD周期与AB周期一样。三个周期随机呈现给每个被试。刺激通过耳机以70dBSPL的水平依次呈现给被试。结果发现，当评估刺激间音位边界时，也就是BC周期中，对比的刺激可以引起左脑听觉区更大的变化。而对于那些相等时长且属于相同音位类别的刺激而言，也就是AB和CD周期中，听觉区却没有表现出显著变化。
同时，音素加工的大脑左侧化效应也得到证实。相关的MEG和ERP研究已发现，人们对母语的音素变体相比非母语的音素变体的脑功能反应不同(Alho，et al.，1998；Dehaene-Lambertz，1997；Koya-ma，et al.，2000)，而且第二语言学习者在识别新语言的某些不同音素时出现了困难(如日本被试识别英语中的/r/和/l/时)(Miyawaki，et al.，1975)，所以Minagawa-Kawai等人又研究了学习日语的韩国被试在日语的音位对比方面的血氧反应和行为表现(Mi-nagawa-Kawai，Mori，& Sato，2005；Minagawa-Kawai，Mori，Sato，& Koizumi，2004)，研究中被试为7名日语熟练的韩国人，测试区域为双侧颞叶的听觉区，刺激材料同上述研究(Minagawa-Kawai，et al.，2002)，程序也相同，不过该研究加了一个控制条件，即一对日语的合成词/itta/与/itte/，前者为基线，两者同时出现为目标。结果发现，日本被试的左脑听觉区存在音位特异性反应效应，而韩国被试则没有表现出对母语中相同时长的类别特异性反应，这说明他们的脑区加工模式同日语被试不同。但实验的行为数据表明在类别知觉方面韩语被试同日语被试没有差别。这说明第二语言的音位类别知觉仅仅通过行为数据来确定是还不够充分。也证明了近红外脑成像技术的使用价值。 (杨海波 张雪健 周菘 刘颖 白学军)