多模式医学图像的融合和配准技术
作者：马 东 孙永兴
单位：(马东 程敬之)西安交通大学 生物医学工程系，西安 710049；(孙永兴)第四军医大学 生物医学工程系，西安 710032
关键词：医学图像；图像处理；配准；融合
生物医学工程学杂志990231
马 东 孙永兴 综述 程敬之 审校
摘要 医学影像工程不断发展，出现了很多先进的成像设备，有力地支持了医学诊断和治疗。而以计算机技术为基础的成像后处理技术进一步提高了诊疗的可靠性。我们着重介绍了多模式医学图像融合和配准的技术内容和应用。
Registraction and Fusion of Multimodality Medical Images
, 百拇医药
Ma Dong Sun Yongxing Cheng Jingzhi
Department of Biomedical Engineering and Instrumentation, Xi'an Jiao Tong University, Xi'an 710049
Department of Biomedical Engineering and Instrumentation,Fouth Military Medical University, Xi'an 710032
Abstract This paper introduces the present situation of research and methods of multimodality medical images fusion. Some algorithms and relative techniques are given in detail. A summary of the clinical application of multimodality medical images fusion is also presented.
, 百拇医药
Key words Medical images Image processing Registration Fusion
1 引 言
自伦琴1895年发现X线后，在医学上X线被用于人体检查，诊断疾病，逐步形成了放射学。20世纪以来医学成像技术经历了一个从静态到动态、从形态到功能、从平面到立体的发展过程，尤其在计算机技术高度发达之后，出现了计算机断层成像(CT)、数字减影血管造影(DSA)、单光子发射断层成像(SPECT)、磁共振成像(MRI)、数字荧光造影(DF)、正电子发射断层成像(PET)等多种成像模式的医学图像，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供了人体解剖、生理及病理等信息。
为了丰富和突出影像的有用信息，在成像之后，计算图像处理技术被广泛应用，包括将医学图像数字化、去除噪声、恢复图像失真，增强图像对比度、自动分割目标、断层图像的三维重建、定量分析等处理手段[1，2]。但是，由于各种成像设备所特有成像原理各不相同，与各种成像相关的信息内容也各有侧重。如CT、MRI图像主要反映解剖形态结构；核影像对人体功能状态非常敏感，等等。单独用某种模式的图像进行诊疗，即使经过计算机处理，也不能反映全面情况，只能得到定性的，或在一定条件范围内的定量分析。
, 百拇医药
近年来，随着图像处理技术在医学领域的进一步应用，一种新的信息处理技术——医学图像融合开始受到足够重视[3～8]。它是将多种成像模式(一般为两种)的图像结合起来。利用各自的优点，在一幅图像上同时表达来自人体多方面的信息，如融合MRI与PET的胸腹图像，可提高对肿瘤的诊断、定级、定位和定量分析，为放射计划治疗提供依据；又如利用腕骨的CT和MRI融合图像可辅助骨折正位。通过医学图像融合，有效地丰富了图像信息，提高了诊断和治疗的可靠程度。国外已有大量报道这方面的研究、实验成果，并开始用于临床。本文综述了多模式医学图像融合中的有关图像处理技术，着重介绍了图像配准技术，并例举了医学图像融合在医学诊断、治疗等方面的应用。
2 医学成像技术
医学成像技术是一个综合多种学科成果与先进技术的综合性，实用性学科领域。包括X射线、超声、CT、MRI、核医学图像(SPECT、PET)、红外线图像、数字减影、荧光造影等多种成像方式。各种模式的医学图像从视觉角度为医生及研究人员提供了丰富、直观、定性及定量的人体生理信息，成为诊断各种疾病的重要技术手段。由于不同模式的设备对人体内大到组织小到分子原子有不同的灵敏度和分辨率，因而有它们各自的适用范围和局限性。
, 百拇医药
CT是利用X射线提供的原始信息进行从一维到二维的图像重建，可以对人体作多层横断面扫描。CT具有较强的空间分辨率(3 mm)和几何特性，对人体软组织对比度较低，对骨骼反映清晰。
MRI利用人体组织中氢质子在磁场消失后驰豫时间差成像。可得到多种角度、方位的断层图像，空间分辨率小于3 mm，可清晰反映软组织、器官、血管等的解剖结构，但对钙化点不敏感，且受到磁干扰会发生几何失真。
SPECT、PET是以放射性核素及其标记物在脏器中的浓度差为基础的显像方法，能得到人体任意角度断层面的放射性浓度分布。可反映组织、器官的代谢水平、血流状况，对肿瘤病变呈现“热点”。PET尤其适于对神经系统功能的研究。但图像的分辨率很差(SPECT约10 mm，ECT约6 mm)，难以得到精确的解剖结构和立体定位，也不易分辨组织、器官的边界。
DSA是一种投影图像，由注入造影剂前后的X光投影图相减而得到。可清晰反映人体心、脑血管分布情况，对诊断各种动静脉畸形、血管瘤等有重要价值。但它不能显示周围结构以及病灶的空间位置。
, http://www.100md.com
各种模式的医学图像从不同角度反映人体信息，单独从某一种图像中无法得到全面的诊断信息。而多种图像又必须借助医生的空间构想和推测去综合判定他们所要的信息，其准确性受到主观影响，更主要的是一些信息将可能被忽视。医学图像融合技术以计算机图像处理方法代替了医生的人工综合方式，可以提高诊断效率和可靠性，并精确指导神经外科手术及放射治疗等。
3 融合和配准技术
医学图像融合一般指两种图像模式的图像取长补短，结合成一幅图。如CT-MRI，CT-SPECT，MRI-PET、MRI-DSA等。目前国外已有大量研究报道，因研究对象，研究目的不同，融合的方法也多种多样，归纳起来，主要按以下步骤进行：
(1)预处理。对获取的两种图像数据进行去噪，增强等处理。统一两种数据格式，图像大小和分辨率。对序列断层图像做三维重建和显示。根据目标特点建立数学模型。
, 百拇医药
(2)分割目标和选择配准特征点。在二维或三维情况下，对目标物或兴趣区进行分割。选取的特点应是同一物理标记点在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点。
(3)利用特征点对进行图像配准。可视作两个数据集间的线性或非线性变换，使变换后的两个数集的误差达到某种准则的最小值。
(4)配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维的图像。
(5)从融合图像中提取和测量医学特征参数，定性、定量分析，做出病情诊断或指导外科手术及放射治疗计划。
在完成上述图像融合的过程中，涉及到许多具体的技术，尤其集中于计算机自动处理方面。下面就几个主要技术加以总结。
3.1 图像分割和特征点选取
, 百拇医药
图像配准的精度取决于特征点的选取。以大脑的图像融合为例，在早期的研究中[3，4]，采用戴含界标的头套或将病人头部固定于立体定位架中，经两种成像可得到共同的参照坐标系，这一方法显然操作不便，也使病人痛苦，不太实用。后来，人们将头(脑)的外轮廓及内部一些解剖特征点作为标记，实现无架匹配[5～8]。这些特征点应具有空间不变性，还要求同时存在于两种图像中，并且在自动提取算法中易于识别。除脑之外，其它部位或兴趣区(ROI、VOI)的融合也选取了诸如外标记架、橡胶绑带、标记钉、体内解剖特征点(血管分支点，器官边界、血管壁等)。
为准确、自动提取标记点，需对图像作精确分割。如分割出头皮、颅骨、灰白质等，并剔除非脑软组织。Ardekani等[9]提出了全自动的脑MRI图像分割方法，首先用梯度算子提取脑轮廓；第二步用K-均值算法将脑内部聚类成4个不同类；最后，利用多个特征参数-灰度、边界分维数、平均深度、对称性等，得到多个兴趣区的边界，与原图像叠加，即可显出脑内部主要区域及脑轮廓。其它一些分割方法诸如用数学形态算子[10]、边缘提取方法[11]，以及人工交互式分割[12]都可有效分割目标。
, 百拇医药
3.2 配准技术
人体同一解剖位置经不同的图像设备得到的图像会在图像分辨率、大小、几何形状、扫描角度、断层间距等方面不一致。配准就是将这两种图像统一到共同的空间坐标系中，保持两图像中对应位置的一致性。从数学模型上表达，配准可描述为求解从一个数据集到另一个数据集的映射变换，经过变换后的两个图像集将达到最优匹配，即它们之间的误差距离(有多种定义)最小。
3.2.1 基于多项式配准方法 对于有架或外部界标的配准，从参照系中的对应点可直接求得变换函数。一般为多项式线性函数，可简单表示为：
x′1=a.1x1+b.1y1+c1
, http://www.100md.com y′1=a.2x1+b.2y1+c2
其中：a1，a2，b1，b2，c1，c2为多项式系数，(x1，y1)点经变换后为(x′1，y′1)。要使对应点(x1，y1)和(x2，y2)相匹配，需满足误差E=(x′1-x2)2+(y′1-y2)2最小。据此匹配条件，利用多个特征点数据可求取多项式各系数。于是，就可变换整幅图像数据，完成配准过程。
, http://www.100md.com
3.2.2 基于主轴和表面的配准方法 在无架配准方法中，基于脑解剖特征的主轴法比较成熟[13]。该方法以目标体(近似柱体或椭圆体)的中心点及三个正交主轴为匹配基准，通过旋转、移位变换使两个目标相对应。
另一种无架自动配准方法是三维表面匹配算法，在许多融合处理中被采用[6，16，18]。如图1是脑CT和MRI图像的表面匹配示意。先将多层扫描的CT提取头外表面轮廓，如图中连续闭合曲线，形成“头”表面；再将MRI特征点覆于“头”上，称“帽子”。开始“头”与“帽”不相配，经过一个可迭代运算的非线性变换，使“帽子”各点到“头”质心的均方根距离趋于最小，最终实现两者匹配。
图1 三维表面匹配算法示意图
Fig 1 “Hat” from MRI fitted “Head” from CT
, 百拇医药
Rusinek等[14]对主轴法和表面匹配法作了详细的比较。两种方法都会因提取脑轮廓所造成的畸变而影响精度；主轴法还对扫描不完全的程度敏感；表面匹配法无需人为监督，自动化程度高，配准精度高，只是运算较复杂，处理时间长。从实际应用角度看，文中认为表面匹配法优于主轴法。
3.2.3 其它配准方法 van.den Elsen等[11]在配准CT、MRI和SPECT图像时，除提取脑外表面轮廓特征，还用多尺度Gaussian算子提取脑内部几何特征，在多尺度空间进行匹配。Meltzer等[15]先将脑MRI图的内部分割成几个兴趣区(ROI)，再分别以各ROI为模板自动配准到PET图对应的区域。
腹部脏器(或肿瘤)的图像配准不如脑部精确，一般配准误差约6 mm～2 cm，因为在成像过程中可能发生局部位移、形变。Parsai[8]和Wahl等[16]在研究中还需依靠外部基准标记架或橡胶绑带，并适当选用少量内部特征点。Wahl所用方法是基于一种仿射变换几何模型。
, 百拇医药
Pietrzyk等[17]对全自动配准方法进行分析后，认为自动配准方法需假设对象为刚体并要选取有效特征点对，因而仅限于脑、脊髓等组织，也仅限于几种图像模式的融合。他们提出了人工交互式配准方法。该方法利用可视化交互式图形软件包对两种图像进行编辑、旋转、对准、排列，可达到很高配准精度，并符合医学理解。此方法适应多种模式配准，并用于人体多个部位：脑、胸、腹、骨等组织。
3.2.4 配准方法验证 用于控制配准优化过程的准则主要有：对应特征点或表面的误差均方(平方)和最小；ROI中心——中心距离最小；或定义代价函数，使函数趋于某极限，等等。为了评价无架配准方法的有效性，在研究中多以含外部标记的模型或有架配准结果作为依据，进行比较分析，并以实际病人数据进行验证[18]。
3.3 数据融合和显示
对于两个配准后的图像显示，要以数据融合为目的，即要将两种图像模式的特点同时表现出来，突出最能反映生理、病理变化的形态和功能信息。尽量避免覆盖、遮挡。一般可采用多种图形显示方法[6，8，16，17]，如给不同区域定义多个灰度或彩色，或用不同纹理区别显示等。
, 百拇医药
关于断层图像的三维显示已有成熟的方法，主要有表面显示，体显示和剖面显示等方式。Stokking等[19]以灰度显示脑三维表面结构(MRI)，将放射性分布信息(SPECT)以彩色方式叠加于表面，并以色彩浓淡表示浓度，再用这种融合显示方式同时显示多个深度(5 mm,10 mm，15 mm)的脑三维表面，给医生很直观的诊断信息。
3.4 其它相关技术
PACS即医学文档和通讯系统是支持图像融合的重要平台和环境[20]。该系统将医院的各种成像设备联成网络，以数字方式存贮、管理和处理多种影像资料，有利于数据共享，远程诊疗和计算机图像分析，图像融合等技术的实现。要实现PACS，需解决：各种图像数据的获取；图像存储协议；多级网络建立等问题。其中，要求对图像进行高压缩比的不失真压缩处理，以提高传输效率，如何实现这种高效算法引起许多研究人员的浓厚兴趣，除了对传统压缩方法进行改造，基于知识的、基于神经网络的、基于小波分解的或分形编码的一些新方法，正在深入探讨和实验中。
, 百拇医药
适当的成像方法和显影剂的选择也直接影响图像的融合和配准。例如，立体定位架的设计，外标记的位置安排，不同扫描方式的角度、层间隔的统一等成像技术细节都是很值得研究的。
4 医学图像融合的应用
医学图像融合的临床应用多种多样。主要集中于大脑的诊断和手术治疗，以及脏器肿瘤的诊断、定位等。
在大脑的图像融合应用中，Hill等[5]融合CT和MRI图像，建立了大脑的三维坐标系统，可辅助脑定位治疗，定位精确度高于单独从一个图中的定位。Pelizzari等[6]对癫痫病人的MRI、PET图像处理后，可观察到病人的脑外伤、炎症、硬化症等的变化，还可看到手术及麻醉前后的区别。在Grzeszezuk的研究中[21]，通过CT、MRI融合图，可辅助脑电极植入指定位置，并根据立体分布的电极的记录分析，与相应的PET图相对应，可更全面了解手术前脑的活动情况，提高了手术计划的可靠性。
, http://www.100md.com
在胸腹部图像融合应用中，Wahl[16]将MRI融合到三维PET代谢图中，显示代谢与解剖信息，对10个内脏肿瘤患者的实验中，以不同色彩显示腹部各区域的三维图像。Kramer[22]以融合技术确定放射线标记的单克隆抗体聚积(SPECT图)的解剖结构(CT图)，可对术前及治疗中的肿瘤进行精确分级和定位，其实验对象为8例可疑直肠癌。Birnbaum[23]在融合配准过程中，不借助外部界标，而在ROI中以肝轮廓、脾尖、动静脉管壁等为内部标记，进行MRI-SPECT及CT-SPECT的匹配，通过对多例病人的实际处理，可诊断小到1 cm的肝血管瘤，证明该技术比单独从SPECT中估计肝血管损伤更有效。
5 结束语
我们总结了近年来医学图像融合和配准技术的进展和应用。可以看到，这种技术不仅大大提高了医学诊断的可靠性，更在三维放射治疗计划、立体定位手术等方面显出了令人瞩目的前景。目前，国外已开展了多年的研究；国内也开始重视起来，有些院校和医院已着手有关工作。
, http://www.100md.com
在实际应用中还要考虑图像融合和配准的许多具体问题。从工程角度，提高配准精度、自动化程度和处理速度等；从医学角度，应使处理(显示)结果符合医学理论和医生的习惯。因此，对于一种融合配准方法需从上述两方面给予定量、定性的评价。
相信，随着现代科学技术的飞速发展，多模式医学图像融合和配准技术也会不断发展并有更广泛的应用。
注释：国家自然科学基金资助项目(69631020)
参考文献
1 Clarke LP, Ullom SJ, Kenny PJ et al. Quantitative ECT:Comparison of recovery coefficient and linearity of detector response for single photon and coincidence detection. IEEE Trans Nucl Sci, 1986; 36∶973
, 百拇医药
2 Wallis JW, Miller TR. Three-dimensional display in nuclear and radiology. J Nucl Med, 1991; 32(3)∶534
3 Bettinardi V, Scardaoni R, Gilardi MC et al. Head holder for PET, CT, and MR studies. J Comput Assist Tomogr， 1991; 15∶886
4 Zhang J, Levesque MF, Wilson CL et al. Multimodality imaging of brain structures for stereotactic surgery. Radiology, 1990; 175∶435
5 Hill DL, Hawkes DJ, Gleeson MH et al. Accurate frameless registration of MR and CT images of the head:applications in planning surgery and radiation therapy. Br J Radiol, 1994; 191∶447
, 百拇医药
6 Pelizzari CA. Chen GT, Spelbring DR et al. Accurate three-dimensional registration of CT, PET, and/or MR images of the brain. J Comput Assist Tomogr, 1989; 13(1)∶20
7 Gilardi MC, Rizzo G, Savi A et al. Registration of multi-modal biomedical images of the heart. Q J Nucl Med, 1996; 40(1)∶142
8 Parsai EI, Ayyangar KM, Dobelbower RR et al. Clinical fusion of three-dimensional using bremsstrahlung SPECT and CT. J Nucl Med, 1997; 38(2)∶319
, 百拇医药
9 Ardekani BA, Braun M, Kanno I et al. Automatic detection of intradural spaces in MR images. J-Comput-Assist-Tomogr, 1994; 18(6)∶963
10 Matsopoulos GK, Marshall S, Brunt JNH. Multiresolution morphological fusion of MR and CT images of the human brain. IEE Proc. Vis. Image Signal Process, 1994; 141(3)∶137
11 van. dan Elsen PA, Maintz JBA, Pole JD et al. Automatic registration of CT and MR brain image using correlaion of geometrical features. IEEE Trans Med Imaging, 1995; 14∶384
, http://www.100md.com
12 Wood PR, Mazziotta JC, Cherry SR. MRI-PET registration with automated algorithm. J Comput Assits Tomogr, 1993; 17∶53
13 Alpert NM, Bradshaw JF, Kennedy D et al. The principal axes tranformation-a method for image registration. J Nucl Med, 1990; 31∶1717
14 Rusinek H, Tsui WH, Levy AV et al. Principal axes and surface fitting methods for three dimensional image registration. J Nucl Med, 1993; 34(11)∶2019
, http://www.100md.com
15 Meltzer CC, Leal JP, Mayberg HS et al. Correction of PET data for partial volume effects in human cerebral cortex by MR imaging. J Comput Assist Tomogr, 1990; 14(4)∶561
16 Wahl RL, Quint LE, Cieslak RD et al. “Anatometabo-
lic” tumor imaging:Fusion of FDGPET with CT or MRI to localize foci of increased activity. J Nucl Med, 1993; 34(7)∶1190
17 Pietrzyk U, Herholz K, Fink G et al. Clinical applications of registration and fusion of multimodality brain images from PET, SPECT, CT and MRI. Eur J Radiol, 1996; 21(3)∶174
, http://www.100md.com
18 Ge YR, Fitzpatrick M, Votaw JR et al. Retrospective registration of PET and MR brain images: an algorithm and its stereotactic validation. J Comput Assist Tomogr, 1994; 18(5)∶800
19 Stokking R, Zuidervel KJ, Hulshoff PHE et al. Normal fusion for three-dimensional integrated visualization of SPECT and magnetic resonance brain images. J Nucl Med, 1997; 38(4)∶624
20 毕亚雷，赵 廷，尹 宏等.试论PACS系统.中国医学影像技术，1997；13(4)∶368
, 百拇医药
21 Grzeszezuk R, Tan KK, Levin DN et al. Retrospective fusion of radiographic and MR data for localization of subdural electrods. J Comput Assist Tomogr, 1992; 16(5)∶764
22 Kramer EL, Noz ME, Sanger JJ et al. CT-SPECT fusion to correlate radiolabeled monoclonal antibody uptake with abdominal CT finding. Radiology, 1989; 172(3)∶861
23 Birnbaum BA, Noz ME, Chapnick J et al. Hepatic hemangiomas:diagnosis with fusion of MR，CT, and Tc-99m-labeled red blood cell SPECT images. Radiology, 1991; 181∶469
收稿：1998-01-25 修回：1998-04-20, http://www.100md.com
单位：(马东 程敬之)西安交通大学 生物医学工程系，西安 710049；(孙永兴)第四军医大学 生物医学工程系，西安 710032
关键词：医学图像；图像处理；配准；融合
生物医学工程学杂志990231
马 东 孙永兴 综述 程敬之 审校
摘要 医学影像工程不断发展，出现了很多先进的成像设备，有力地支持了医学诊断和治疗。而以计算机技术为基础的成像后处理技术进一步提高了诊疗的可靠性。我们着重介绍了多模式医学图像融合和配准的技术内容和应用。
Registraction and Fusion of Multimodality Medical Images
, 百拇医药
Ma Dong Sun Yongxing Cheng Jingzhi
Department of Biomedical Engineering and Instrumentation, Xi'an Jiao Tong University, Xi'an 710049
Department of Biomedical Engineering and Instrumentation,Fouth Military Medical University, Xi'an 710032
Abstract This paper introduces the present situation of research and methods of multimodality medical images fusion. Some algorithms and relative techniques are given in detail. A summary of the clinical application of multimodality medical images fusion is also presented.
, 百拇医药
Key words Medical images Image processing Registration Fusion
1 引 言
自伦琴1895年发现X线后，在医学上X线被用于人体检查，诊断疾病，逐步形成了放射学。20世纪以来医学成像技术经历了一个从静态到动态、从形态到功能、从平面到立体的发展过程，尤其在计算机技术高度发达之后，出现了计算机断层成像(CT)、数字减影血管造影(DSA)、单光子发射断层成像(SPECT)、磁共振成像(MRI)、数字荧光造影(DF)、正电子发射断层成像(PET)等多种成像模式的医学图像，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供了人体解剖、生理及病理等信息。
为了丰富和突出影像的有用信息，在成像之后，计算图像处理技术被广泛应用，包括将医学图像数字化、去除噪声、恢复图像失真，增强图像对比度、自动分割目标、断层图像的三维重建、定量分析等处理手段[1，2]。但是，由于各种成像设备所特有成像原理各不相同，与各种成像相关的信息内容也各有侧重。如CT、MRI图像主要反映解剖形态结构；核影像对人体功能状态非常敏感，等等。单独用某种模式的图像进行诊疗，即使经过计算机处理，也不能反映全面情况，只能得到定性的，或在一定条件范围内的定量分析。
, 百拇医药
近年来，随着图像处理技术在医学领域的进一步应用，一种新的信息处理技术——医学图像融合开始受到足够重视[3～8]。它是将多种成像模式(一般为两种)的图像结合起来。利用各自的优点，在一幅图像上同时表达来自人体多方面的信息，如融合MRI与PET的胸腹图像，可提高对肿瘤的诊断、定级、定位和定量分析，为放射计划治疗提供依据；又如利用腕骨的CT和MRI融合图像可辅助骨折正位。通过医学图像融合，有效地丰富了图像信息，提高了诊断和治疗的可靠程度。国外已有大量报道这方面的研究、实验成果，并开始用于临床。本文综述了多模式医学图像融合中的有关图像处理技术，着重介绍了图像配准技术，并例举了医学图像融合在医学诊断、治疗等方面的应用。
2 医学成像技术
医学成像技术是一个综合多种学科成果与先进技术的综合性，实用性学科领域。包括X射线、超声、CT、MRI、核医学图像(SPECT、PET)、红外线图像、数字减影、荧光造影等多种成像方式。各种模式的医学图像从视觉角度为医生及研究人员提供了丰富、直观、定性及定量的人体生理信息，成为诊断各种疾病的重要技术手段。由于不同模式的设备对人体内大到组织小到分子原子有不同的灵敏度和分辨率，因而有它们各自的适用范围和局限性。
, 百拇医药
CT是利用X射线提供的原始信息进行从一维到二维的图像重建，可以对人体作多层横断面扫描。CT具有较强的空间分辨率(3 mm)和几何特性，对人体软组织对比度较低，对骨骼反映清晰。
MRI利用人体组织中氢质子在磁场消失后驰豫时间差成像。可得到多种角度、方位的断层图像，空间分辨率小于3 mm，可清晰反映软组织、器官、血管等的解剖结构，但对钙化点不敏感，且受到磁干扰会发生几何失真。
SPECT、PET是以放射性核素及其标记物在脏器中的浓度差为基础的显像方法，能得到人体任意角度断层面的放射性浓度分布。可反映组织、器官的代谢水平、血流状况，对肿瘤病变呈现“热点”。PET尤其适于对神经系统功能的研究。但图像的分辨率很差(SPECT约10 mm，ECT约6 mm)，难以得到精确的解剖结构和立体定位，也不易分辨组织、器官的边界。
DSA是一种投影图像，由注入造影剂前后的X光投影图相减而得到。可清晰反映人体心、脑血管分布情况，对诊断各种动静脉畸形、血管瘤等有重要价值。但它不能显示周围结构以及病灶的空间位置。
, http://www.100md.com
各种模式的医学图像从不同角度反映人体信息，单独从某一种图像中无法得到全面的诊断信息。而多种图像又必须借助医生的空间构想和推测去综合判定他们所要的信息，其准确性受到主观影响，更主要的是一些信息将可能被忽视。医学图像融合技术以计算机图像处理方法代替了医生的人工综合方式，可以提高诊断效率和可靠性，并精确指导神经外科手术及放射治疗等。
3 融合和配准技术
医学图像融合一般指两种图像模式的图像取长补短，结合成一幅图。如CT-MRI，CT-SPECT，MRI-PET、MRI-DSA等。目前国外已有大量研究报道，因研究对象，研究目的不同，融合的方法也多种多样，归纳起来，主要按以下步骤进行：
(1)预处理。对获取的两种图像数据进行去噪，增强等处理。统一两种数据格式，图像大小和分辨率。对序列断层图像做三维重建和显示。根据目标特点建立数学模型。
, 百拇医药
(2)分割目标和选择配准特征点。在二维或三维情况下，对目标物或兴趣区进行分割。选取的特点应是同一物理标记点在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点。
(3)利用特征点对进行图像配准。可视作两个数据集间的线性或非线性变换，使变换后的两个数集的误差达到某种准则的最小值。
(4)配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维的图像。
(5)从融合图像中提取和测量医学特征参数，定性、定量分析，做出病情诊断或指导外科手术及放射治疗计划。
在完成上述图像融合的过程中，涉及到许多具体的技术，尤其集中于计算机自动处理方面。下面就几个主要技术加以总结。
3.1 图像分割和特征点选取
, 百拇医药
图像配准的精度取决于特征点的选取。以大脑的图像融合为例，在早期的研究中[3，4]，采用戴含界标的头套或将病人头部固定于立体定位架中，经两种成像可得到共同的参照坐标系，这一方法显然操作不便，也使病人痛苦，不太实用。后来，人们将头(脑)的外轮廓及内部一些解剖特征点作为标记，实现无架匹配[5～8]。这些特征点应具有空间不变性，还要求同时存在于两种图像中，并且在自动提取算法中易于识别。除脑之外，其它部位或兴趣区(ROI、VOI)的融合也选取了诸如外标记架、橡胶绑带、标记钉、体内解剖特征点(血管分支点，器官边界、血管壁等)。
为准确、自动提取标记点，需对图像作精确分割。如分割出头皮、颅骨、灰白质等，并剔除非脑软组织。Ardekani等[9]提出了全自动的脑MRI图像分割方法，首先用梯度算子提取脑轮廓；第二步用K-均值算法将脑内部聚类成4个不同类；最后，利用多个特征参数-灰度、边界分维数、平均深度、对称性等，得到多个兴趣区的边界，与原图像叠加，即可显出脑内部主要区域及脑轮廓。其它一些分割方法诸如用数学形态算子[10]、边缘提取方法[11]，以及人工交互式分割[12]都可有效分割目标。
, 百拇医药
3.2 配准技术
人体同一解剖位置经不同的图像设备得到的图像会在图像分辨率、大小、几何形状、扫描角度、断层间距等方面不一致。配准就是将这两种图像统一到共同的空间坐标系中，保持两图像中对应位置的一致性。从数学模型上表达，配准可描述为求解从一个数据集到另一个数据集的映射变换，经过变换后的两个图像集将达到最优匹配，即它们之间的误差距离(有多种定义)最小。
3.2.1 基于多项式配准方法 对于有架或外部界标的配准，从参照系中的对应点可直接求得变换函数。一般为多项式线性函数，可简单表示为：
x′1=a.1x1+b.1y1+c1
, http://www.100md.com y′1=a.2x1+b.2y1+c2
其中：a1，a2，b1，b2，c1，c2为多项式系数，(x1，y1)点经变换后为(x′1，y′1)。要使对应点(x1，y1)和(x2，y2)相匹配，需满足误差E=(x′1-x2)2+(y′1-y2)2最小。据此匹配条件，利用多个特征点数据可求取多项式各系数。于是，就可变换整幅图像数据，完成配准过程。
, http://www.100md.com
3.2.2 基于主轴和表面的配准方法 在无架配准方法中，基于脑解剖特征的主轴法比较成熟[13]。该方法以目标体(近似柱体或椭圆体)的中心点及三个正交主轴为匹配基准，通过旋转、移位变换使两个目标相对应。
另一种无架自动配准方法是三维表面匹配算法，在许多融合处理中被采用[6，16，18]。如图1是脑CT和MRI图像的表面匹配示意。先将多层扫描的CT提取头外表面轮廓，如图中连续闭合曲线，形成“头”表面；再将MRI特征点覆于“头”上，称“帽子”。开始“头”与“帽”不相配，经过一个可迭代运算的非线性变换，使“帽子”各点到“头”质心的均方根距离趋于最小，最终实现两者匹配。
图1 三维表面匹配算法示意图
Fig 1 “Hat” from MRI fitted “Head” from CT
, 百拇医药
Rusinek等[14]对主轴法和表面匹配法作了详细的比较。两种方法都会因提取脑轮廓所造成的畸变而影响精度；主轴法还对扫描不完全的程度敏感；表面匹配法无需人为监督，自动化程度高，配准精度高，只是运算较复杂，处理时间长。从实际应用角度看，文中认为表面匹配法优于主轴法。
3.2.3 其它配准方法 van.den Elsen等[11]在配准CT、MRI和SPECT图像时，除提取脑外表面轮廓特征，还用多尺度Gaussian算子提取脑内部几何特征，在多尺度空间进行匹配。Meltzer等[15]先将脑MRI图的内部分割成几个兴趣区(ROI)，再分别以各ROI为模板自动配准到PET图对应的区域。
腹部脏器(或肿瘤)的图像配准不如脑部精确，一般配准误差约6 mm～2 cm，因为在成像过程中可能发生局部位移、形变。Parsai[8]和Wahl等[16]在研究中还需依靠外部基准标记架或橡胶绑带，并适当选用少量内部特征点。Wahl所用方法是基于一种仿射变换几何模型。
, 百拇医药
Pietrzyk等[17]对全自动配准方法进行分析后，认为自动配准方法需假设对象为刚体并要选取有效特征点对，因而仅限于脑、脊髓等组织，也仅限于几种图像模式的融合。他们提出了人工交互式配准方法。该方法利用可视化交互式图形软件包对两种图像进行编辑、旋转、对准、排列，可达到很高配准精度，并符合医学理解。此方法适应多种模式配准，并用于人体多个部位：脑、胸、腹、骨等组织。
3.2.4 配准方法验证 用于控制配准优化过程的准则主要有：对应特征点或表面的误差均方(平方)和最小；ROI中心——中心距离最小；或定义代价函数，使函数趋于某极限，等等。为了评价无架配准方法的有效性，在研究中多以含外部标记的模型或有架配准结果作为依据，进行比较分析，并以实际病人数据进行验证[18]。
3.3 数据融合和显示
对于两个配准后的图像显示，要以数据融合为目的，即要将两种图像模式的特点同时表现出来，突出最能反映生理、病理变化的形态和功能信息。尽量避免覆盖、遮挡。一般可采用多种图形显示方法[6，8，16，17]，如给不同区域定义多个灰度或彩色，或用不同纹理区别显示等。
, 百拇医药
关于断层图像的三维显示已有成熟的方法，主要有表面显示，体显示和剖面显示等方式。Stokking等[19]以灰度显示脑三维表面结构(MRI)，将放射性分布信息(SPECT)以彩色方式叠加于表面，并以色彩浓淡表示浓度，再用这种融合显示方式同时显示多个深度(5 mm,10 mm，15 mm)的脑三维表面，给医生很直观的诊断信息。
3.4 其它相关技术
PACS即医学文档和通讯系统是支持图像融合的重要平台和环境[20]。该系统将医院的各种成像设备联成网络，以数字方式存贮、管理和处理多种影像资料，有利于数据共享，远程诊疗和计算机图像分析，图像融合等技术的实现。要实现PACS，需解决：各种图像数据的获取；图像存储协议；多级网络建立等问题。其中，要求对图像进行高压缩比的不失真压缩处理，以提高传输效率，如何实现这种高效算法引起许多研究人员的浓厚兴趣，除了对传统压缩方法进行改造，基于知识的、基于神经网络的、基于小波分解的或分形编码的一些新方法，正在深入探讨和实验中。
, 百拇医药
适当的成像方法和显影剂的选择也直接影响图像的融合和配准。例如，立体定位架的设计，外标记的位置安排，不同扫描方式的角度、层间隔的统一等成像技术细节都是很值得研究的。
4 医学图像融合的应用
医学图像融合的临床应用多种多样。主要集中于大脑的诊断和手术治疗，以及脏器肿瘤的诊断、定位等。
在大脑的图像融合应用中，Hill等[5]融合CT和MRI图像，建立了大脑的三维坐标系统，可辅助脑定位治疗，定位精确度高于单独从一个图中的定位。Pelizzari等[6]对癫痫病人的MRI、PET图像处理后，可观察到病人的脑外伤、炎症、硬化症等的变化，还可看到手术及麻醉前后的区别。在Grzeszezuk的研究中[21]，通过CT、MRI融合图，可辅助脑电极植入指定位置，并根据立体分布的电极的记录分析，与相应的PET图相对应，可更全面了解手术前脑的活动情况，提高了手术计划的可靠性。
, http://www.100md.com
在胸腹部图像融合应用中，Wahl[16]将MRI融合到三维PET代谢图中，显示代谢与解剖信息，对10个内脏肿瘤患者的实验中，以不同色彩显示腹部各区域的三维图像。Kramer[22]以融合技术确定放射线标记的单克隆抗体聚积(SPECT图)的解剖结构(CT图)，可对术前及治疗中的肿瘤进行精确分级和定位，其实验对象为8例可疑直肠癌。Birnbaum[23]在融合配准过程中，不借助外部界标，而在ROI中以肝轮廓、脾尖、动静脉管壁等为内部标记，进行MRI-SPECT及CT-SPECT的匹配，通过对多例病人的实际处理，可诊断小到1 cm的肝血管瘤，证明该技术比单独从SPECT中估计肝血管损伤更有效。
5 结束语
我们总结了近年来医学图像融合和配准技术的进展和应用。可以看到，这种技术不仅大大提高了医学诊断的可靠性，更在三维放射治疗计划、立体定位手术等方面显出了令人瞩目的前景。目前，国外已开展了多年的研究；国内也开始重视起来，有些院校和医院已着手有关工作。
, http://www.100md.com
在实际应用中还要考虑图像融合和配准的许多具体问题。从工程角度，提高配准精度、自动化程度和处理速度等；从医学角度，应使处理(显示)结果符合医学理论和医生的习惯。因此，对于一种融合配准方法需从上述两方面给予定量、定性的评价。
相信，随着现代科学技术的飞速发展，多模式医学图像融合和配准技术也会不断发展并有更广泛的应用。
注释：国家自然科学基金资助项目(69631020)
参考文献
1 Clarke LP, Ullom SJ, Kenny PJ et al. Quantitative ECT:Comparison of recovery coefficient and linearity of detector response for single photon and coincidence detection. IEEE Trans Nucl Sci, 1986; 36∶973
, 百拇医药
2 Wallis JW, Miller TR. Three-dimensional display in nuclear and radiology. J Nucl Med, 1991; 32(3)∶534
3 Bettinardi V, Scardaoni R, Gilardi MC et al. Head holder for PET, CT, and MR studies. J Comput Assist Tomogr， 1991; 15∶886
4 Zhang J, Levesque MF, Wilson CL et al. Multimodality imaging of brain structures for stereotactic surgery. Radiology, 1990; 175∶435
5 Hill DL, Hawkes DJ, Gleeson MH et al. Accurate frameless registration of MR and CT images of the head:applications in planning surgery and radiation therapy. Br J Radiol, 1994; 191∶447
, 百拇医药
6 Pelizzari CA. Chen GT, Spelbring DR et al. Accurate three-dimensional registration of CT, PET, and/or MR images of the brain. J Comput Assist Tomogr, 1989; 13(1)∶20
7 Gilardi MC, Rizzo G, Savi A et al. Registration of multi-modal biomedical images of the heart. Q J Nucl Med, 1996; 40(1)∶142
8 Parsai EI, Ayyangar KM, Dobelbower RR et al. Clinical fusion of three-dimensional using bremsstrahlung SPECT and CT. J Nucl Med, 1997; 38(2)∶319
, 百拇医药
9 Ardekani BA, Braun M, Kanno I et al. Automatic detection of intradural spaces in MR images. J-Comput-Assist-Tomogr, 1994; 18(6)∶963
10 Matsopoulos GK, Marshall S, Brunt JNH. Multiresolution morphological fusion of MR and CT images of the human brain. IEE Proc. Vis. Image Signal Process, 1994; 141(3)∶137
11 van. dan Elsen PA, Maintz JBA, Pole JD et al. Automatic registration of CT and MR brain image using correlaion of geometrical features. IEEE Trans Med Imaging, 1995; 14∶384
, http://www.100md.com
12 Wood PR, Mazziotta JC, Cherry SR. MRI-PET registration with automated algorithm. J Comput Assits Tomogr, 1993; 17∶53
13 Alpert NM, Bradshaw JF, Kennedy D et al. The principal axes tranformation-a method for image registration. J Nucl Med, 1990; 31∶1717
14 Rusinek H, Tsui WH, Levy AV et al. Principal axes and surface fitting methods for three dimensional image registration. J Nucl Med, 1993; 34(11)∶2019
, http://www.100md.com
15 Meltzer CC, Leal JP, Mayberg HS et al. Correction of PET data for partial volume effects in human cerebral cortex by MR imaging. J Comput Assist Tomogr, 1990; 14(4)∶561
16 Wahl RL, Quint LE, Cieslak RD et al. “Anatometabo-
lic” tumor imaging:Fusion of FDGPET with CT or MRI to localize foci of increased activity. J Nucl Med, 1993; 34(7)∶1190
17 Pietrzyk U, Herholz K, Fink G et al. Clinical applications of registration and fusion of multimodality brain images from PET, SPECT, CT and MRI. Eur J Radiol, 1996; 21(3)∶174
, http://www.100md.com
18 Ge YR, Fitzpatrick M, Votaw JR et al. Retrospective registration of PET and MR brain images: an algorithm and its stereotactic validation. J Comput Assist Tomogr, 1994; 18(5)∶800
19 Stokking R, Zuidervel KJ, Hulshoff PHE et al. Normal fusion for three-dimensional integrated visualization of SPECT and magnetic resonance brain images. J Nucl Med, 1997; 38(4)∶624
20 毕亚雷，赵 廷，尹 宏等.试论PACS系统.中国医学影像技术，1997；13(4)∶368
, 百拇医药
21 Grzeszezuk R, Tan KK, Levin DN et al. Retrospective fusion of radiographic and MR data for localization of subdural electrods. J Comput Assist Tomogr, 1992; 16(5)∶764
22 Kramer EL, Noz ME, Sanger JJ et al. CT-SPECT fusion to correlate radiolabeled monoclonal antibody uptake with abdominal CT finding. Radiology, 1989; 172(3)∶861
23 Birnbaum BA, Noz ME, Chapnick J et al. Hepatic hemangiomas:diagnosis with fusion of MR，CT, and Tc-99m-labeled red blood cell SPECT images. Radiology, 1991; 181∶469
收稿：1998-01-25 修回：1998-04-20, http://www.100md.com