当前位置: 首页 > 期刊 > 《中国医疗器械杂志》 > 1999年第3期
编号:10499245
医学影像中的图像配准和融合技术研究*
http://www.100md.com 《中国医疗器械杂志》 1999年第3期
     作者:陈昱 庄天戈

    单位:上海交通大学 (200030)

    关键词:医学图象配准

    中国医疗器械杂志990303 提要 讨论了医学图象配准方法的内容和研究现况。

    A Rrview on Registration and Fusion of Medical Images

    Chen Yu Zhuang Tiange

    Shanghai Jiaotong University

    ABSTRACT Based on the criterion whether extracting the features of the image or not,the content and research status of medical image registration are discussed in this paper.
, 百拇医药
    KEY WORDS Medical Imaging Registration

    医学成像技术给临床医学提供了从X线,超声,DSA,CT,MRI,PET,SPECT等形态和功能的影像信息,在实际的临床诊断和治疗中,患者经常同时进行多种断层影像模式的检查,以提供对研究部位互为补充的形态信息和功能信息。在一般情况下,这些断层图像可打印在胶片上,挂在灯箱上供医生读片。但由于这些三维模式的分辨率和对比度的差异,以及研究部位在各种成像模式中的空间位置变化,使得临床医生很难在脑海里精确地将这些三维刚体或形变图像信息融合起来。医学图像配准就是用计算机图像处理技术使各种影像模式统一在一个公共坐标系里,并融合成一个新的影像模式显示在计算机屏幕上,使病灶或感兴趣部位有明确的可视性,有助于临床诊断,放射治疗计划和评价,近年来医学图像配准和融合技术的研究和应用日趋受到医学界和工程界的重视。

    1. 医学配准的基本知识
, 百拇医药
    本文中配准的医学图像主要涉及三维空间图像,包括:

    (1) 同一研究对象不同影像模式的配准(3D/3D);

    (2) 同一影像模式同一研究对象不同时间的图像(3D/3D);

    (3) 同一影像模式不同个体之间的配准(患者图像与图谱的配准,3D/3D);

    (4) 2D/3D术中图像与术前3D图像的配准(图像与手术系统的配准)。

    配准步骤的通用框架包括以下三步:

    (1) 为每一个影像信息模式各定义一个坐标系M(X,Y,Z),然后再定义这些坐标系之间的关系。(MA)=T(MB,t),t是一个附加因子,目前尚未考虑T随时间的变化。此时假定进行配准的各模式的像素之间存在各项均质,即不同模式的体素大小相等。
, 百拇医药
    (2) 分割出参考特征,再定义这些已提取的参考特征之间的失调或相似函数。一般认为图像特征分为高低两种层次,高层次特征指外部框架的标志点/解剖点线面/曲率点线面,低层次专指灰度特征,前者称为基于特征的配准,后者称为基于体素的配准(不需分割预处理)。

    (3) 使用优化算法,优化(2)中的失调(相似)函数达到全局最小(最大)值,此时两幅图像达到“真正”的配准。其中参考特征和对应优化算法的选择是配准的核心所在,也是不同配准算法的差异所在。

    (a)刚体变换

    在大多数情况下,研究对象为刚性体,或相对于研究精度的要求可忽略研究对象的形变。刚体变换可表示为三个参数的平移矢量t和三个参数决定的33的旋转矩阵R,MB=RMA+t,R有很多种表示方法,其中最流行的是Euler角表示法。用φ,θ,Ψ角表示围绕X,Y,Z坐标轴的连续旋转。
, 百拇医药
    (b)非刚体变换

    在一些情况下,变换T必须考虑形变,例如目前研究较多的同一图像模式不同患者的图像配准和患者图像与图谱图像的配准。形变可以是全局或局部的,宏观或微观的,弹性或塑性的。目前定义非刚体变换T的模型很多,比较通用的是使用2至5阶的全局多项式变换,另一种可能的全局变换是使用变形函数插值包含感兴趣区域的立方体八个顶点处的变形矢量,但是这样的全局变换不能用于解剖结构的形变(实质是局部形变)。由于分段多项式近似对局部形变特别合适,所以一般选择样条变换来近似表达解剖结构的形变。

    3D样条变换的最简单形式由样条系数和基样条函数表示。医学图像配准中常用的基样条函数有薄平板样条,八叉树样条。前者可使用N点薄平板Ducho样条配准来自患者图像和图谱的两套N个标志点,当N点数目不是很大时这个方法特别有效,并可以将图像边缘的标志点集成进来。而后者则研究了局部形变的自适应分层表达方式。

    2. 国内外配准算法研究现况
, http://www.100md.com
    2.1. 现有配准算法的分类

    目前的医学图像配准方法可分为基于外部特征的图像配准(有框架)和基于图像内部特征的图像配准(无框架)两种方法。有框架的配准方法基于外部基准点特征,能够获得较高的精度,可作为评估无框架配准算法的标准,但其植入式的特点会给患者带来很大痛苦,同时也不易对历史图像作回溯式的研究,目前的研究集中在无框架图像配准方法。

    从临床研究来看,目前的配准方法大多是针对刚性体或近似刚性体的研究对象,并已在头颅区域获得了实际意义的临床应用,而对非刚性体的研究相比之下则比较薄弱。而临床上对例如胸腹部这类没有刚性边界,甚至边界模糊的部位配准的要求尤为迫切,但是由于不自主的生理运动(呼吸等)使内部器官和组织的位置、尺寸和形状发生复杂的变化,为信息的融合和病理的研究带来巨大的困难,因此非刚性体的多模式医学图像配准是一个极富挑战性的课题,目前配准算法研究的重心已经转移到非刚性医学图像配准领域。
, 百拇医药
    2.1.1 基于外部特征的图像配准。

    基于外部特征的图像配准通常在研究对象上设置一些标志点,使这些标志点能在不同的影像模式中显示,然后再用自动、半自动或交互式的方法用标记将图像配准,目前这种方法仅适用于刚体的研究对象,只能用于同一患者的不同影像模式之间的配准,不适用于患者之间和患者图像与图谱之间的配准研究。

    在临床中,人们首先进行的是利用立体定位框架作为参照系的框架式图像配准。例如在脑外科手术中用螺丝植入头骨方法将一个参考的头架紧紧地固定在病人的头上,在成像过程中,用头架上的N或V标记来确定每一片层的位置和方向,同时也用来计算研究对象在三维头架空间中的位置。刚体变换的六个参数由框架上标志点的位置坐标来确定。这种配准方法精度非常高,在CT/MRI/DSA中,定位精度大约在1mm之内。

    但是立体框架给患者带来极大的不适,并且在手术过程中限制了医生的操作。因此目前出现了各种对患者友好的改良头架,即用定位栓和特制的面具固定在患者头颅上,其配准误差不超过2mm。或是用特制的牙套来固定头架,及使用适合于个人的鼻部支撑物和两耳的插件形成一种头部固定架。也可直接在皮肤上用3—6个管状或球状的标记进行图像配准和定位,但这种方法的局限性很大,标记处的皮肤必须近似刚体,一般限用于头颅部位的皮肤。并且配准精度在4mm左右。
, 百拇医药
    2.1.2 基于图像内部特征的图像配准

    (a) 基于体素相似性的图像配准

    图像内部的特征分为高低两种层次,低层次的图像内部特征可由原始图像提供的灰度信息表示,并且直接对不同成像模式所得到的灰度信息的统计特性进行匹配,用体素对之间几何相似性的全局最优化实现图像配准,这种方法称为基于体素的配准,不需进行分割和特征提取,因而可以避免由这些预处理所造成的精度损失。目前这种方法基本是应用在临床诊断和放射治疗计划中,仅有一篇文献报道了在计算机辅助手术中应用互信息法将术中的二维显微图像与术前的三维CT图像配准。

    目前现有的算法按照时间发展顺序可分为互相关法、灰度变化最小化法、灰度空间分布矩法、灰度空间熵法、互信息法。当这些方法用于刚性体的配准时,临床评估报道的结果是最新出现的互信息法是最精确的。并且算法全部集中于对刚性体的研究,而对非刚性的研究刚刚开始,且局限于最简单的线形变形,仅在刚体变换的三个平移参数和三个旋转参数的基础上增加了三个仿射变换参数,而对复杂形变的非刚性体的研究未见报道。
, 百拇医药
    (b) 基于特征对应性的图像配准

    基于图像内部高层次特征的图像配准,是用图像分割方法提取医学图像中相对运动较小的解剖结构(点,2D轮廊线,3D曲面),以及反映图像形状起伏的特征标志(如欧氏空间的最大曲率点或曲率线),并将这些提取出来的信息作为参考特征,以这些特征对之间的位置变化和变形来确定图像之间的变换。经过分割得到的图像简单,数据量大为降低,特征变化明显。并且对于不同的影像模式的图像,图像表示的内容在灰度上相差很大,分割后得到的解剖结构的形状或边缘信息更能比较两幅图像之间的差别。因此分割在基于特征对应性的图像配准中具有关键的作用,配准的精度取决于图像分割的准确性。

    基于特征对应性的图像配准算法比较成熟并已广泛应用于临床,在精确提取特征的前提下可对刚体和非刚体的研究对象进行较好的配准,但是目前大多数动态模糊图像的精确分割和特征提取仍是一个尚未完全解决的问题。经过有框架配准算法作为衡量标准的临床实验,证明了基于体素的配准算法比基于特征的配准算法具有更高的精度和可靠性。
, http://www.100md.com
    2.2. 常用的配准算法

    2.2.1 3D点集与3D点集之间的配准

    配准两套对应的三维点集的方法有:迭代求解法,使用四元理论的直接求解法,奇异值分解法,介于最小二乘法和霍夫变换之间的参数聚类法,一般来说在数学上不会存在任何问题,除非不知道点集之间的对应性,这种情况在医学图像配准中很少见到,而真正的问题在于如何提取对应的参考特征点。

    一个既标准又简单的提取参考点的方法是在两个三维图像中用手工交互地选择并分割出一些对应的解剖标志点对。这种方法已被很多研究者应用于头部区域的CT和MR的配准,配准精度在几个mm。这些参考点也可以定义在三维脑图谱上,然后用样条插值方法获得图谱和MRI图像之间的弹性配准。

    第二种方法是将外部基准标志点固定于(或植入)患者身上。例如研究者们设计了一些系统,在术前的成像中将一些微小的球或夹子固定在患者身上,术中医生用三维的机械或光学定位器检测这些基准点的位置,然后计算出相应的刚体变换。
, http://www.100md.com
    第三种方法是自动分割或识别图像中的奇异点对(最大曲率点对),利用欧氏空间的几何不变性来配准这些点对,此仅限于刚体研究对象。

    2.2.2 3D点集与2D点集之间的配准

    同3D/3D点集配准相似,也可以配准由交互选择并分割出来的3D点集和2D点集,例如用基于解剖的标志点配准MRI和DSA。

    2.2.3 两直线(或平面)之间的配准

    在医学图像中不可能遇到为直线或平面的解剖结构,这种配准方法仅用于由N型外部基准标志点构成的立体框架或头套的配准,N型的标志点可显示在不同的影像模式中。

    2.2.4 3D曲线和3D曲线之间的配准

    目前仅局限于刚体研究对象,参考特征是每个3D图像中研究对象的曲面上的高曲率线,称为脊线(ridge,crest lines)。脊线通常含有比原始图像高10000倍的压缩信息。一旦得到脊线,就可以计算出这些曲线上的局部欧氏空间不变量,利用这些不变量就可以配准两个3D图像中的脊线(3D曲线)。
, 百拇医药
    2.2.5 3D曲面和3D曲面(或3D曲面点集)之间的配准

    一个非常通用的特征是参考解剖特征的3D边界曲面,在实际的CT和MRI图像中可以用自动分割算法分割出皮肤和骨骼,但是软组织边界的自动分割目前仍是一个尚未解决的问题,与第一个3D曲面配准的第二个3D曲面也可以是3D曲面点集或3D曲面补丁集。例如在术中用定位器测量直接得到的3D表面点集。3D曲面能够作为3D刚体配准和3D非刚体配准的基本参考特征,但是在医学图像配准中基于3D曲面特征的弹性配准的文献报道极少见到,已有的文献报道基本上都是使用不同方法的刚体配准研究。

    解决3D自由曲面之间配准问题的一般方法是减少3D曲面SA和SB之间的距离,常用的有三类算法,它们的主要区别在于对两个3D曲面之间距离的不同定义。

    D=dis tance[SA,T(SB)]
, 百拇医药
    “头和帽”的配准算法是最著名的3D曲面配准算法,最初用于头部的PET和CT(或MRI)配准,参考特征是头部的皮肤表面;然后用于头部的SPECT图像之间的配准,参考特征是头颅骨表面和大脑表面。在需要配准的第一个3D体积图像中分割出3D曲面(或系列2D轮廊线),作为头模型A,第二个3D体积图像中的3D曲面由3D点集PbI(i=1,2…m)表示,作为帽模型。配准时要使定义的头表面和帽表面之间的均方距离通过非线性优化算法求得最小,优化算法目前一般用标准的梯度下降法(POWELL法)。均方距离是六个待求刚体变换参数的函数,其最小时可得刚体变换参数。为了加快参数搜索速度,可以使用多分辩率方法,在小的分辨率下用少的特征样本估算出参数空间,再在此基础上提高分辨率,修正并微调参数空间。其他的方法还有使用距离图的曲面配准算法,迭代的最近邻点的配准算法。

    2.2.6 3D曲面和2D投影之间的配准

    常用于术中的2D X线投影与术前的3D CT或MRI配准,目前有文献报道,如使用八叉树样条距离图实时地实现精确的刚体配准,及使用3D形变模型变形使之与2D投影相配准(这种方法需要许多假设条件)。
, 百拇医药
    2.3 医学图象配准的新方法和新应用

    2.3.1 形变模型应用于图像弹性配准

    形变模型能够精确地分割、配准图像中的解剖结构,并能跟踪解剖结构不同时间、不同个体之间的变化。目前最流行的形变模型是Snake(平面形变轮廊),在边界分段连续或平滑的假设下,经常被用来近似表达解剖结构的位置和形变。

    形变模型用于医学图像配准的方法是首先用边缘检测技术提取感兴趣的区域,也就是提取标志点或2D轮廊线或3D曲线,(3D曲线通常描述脊(ridge)和拓扑奇异性的微分结构),然后在对应的3D曲线或2D轮廊线对之间应用一个弹性配准算法,使“起始”的2D轮廊线或3D曲线在局部力的作用下迭代地变形到“目标”的2D轮廊线或3D曲线。

    形变模型用于图像配准的经典应用是将先验知识结合到形变模型中的图谱配准,其中主要是从MR图像中提取和标记脑的解剖结构。明确的解剖知识是以3D脑图谱形式表示的,在图谱和患者图像有相同的拓扑结构,仅在形状上有细节差别的前提假设下,脑图谱可模型化为弹性体。经过初始的粗略全局配准,在从图像特征产生的力作用下,3D图谱模型形变并配准到患者图像对应的区域,配准过程用公式表示为求代价函数的最小值。随后,Bjacsy等将多分辨率技术融入上述方法,图谱是由粗到细、逐步形变的,增加了模型的局部相似性和全局凝聚性。
, 百拇医药
    弹性变形的图谱技术已成为目前研究领域的热门课题。但是这种方法还有一些缺点,尤其对图谱的初始位置很敏感,如果刚体的初配准相差太多,弹性配准的效果会很差。同时附近的图像特征也会产生干扰,使图谱变形到不正确的边界,而且在没有专家的干预时,图谱很难收敛到复杂边界。解决的一个方法是结合形变模型对图像应用3D边缘检测和数学形态学技术进行预处理,可以提供脑表面的平滑表达,这时3D B样条形变曲面模型能很快收敛。

    2.3.2. 医学图像配准应用于计算机辅助手术

    在近十年来新兴的计算机辅助手术中,外科医生能够通过互为补充的形态信息(CT、MR)和功能信息(PET、SPECT、MRA)了解患者的内部状况,确定手术方案,并结合术中的定位信息精确地执行手术计划和操作手术器械,使手术向空间位置精确和最小侵入的方向发展。其中图像配准是一个关键步骤,贯彻于治疗的全过程。首先术前的图像配准和融合能使医生利用获得的影像信息制订手术计划和治疗方案,其次术中和术前的图像配准和融合能使术前计划的虚拟病人同手术台上的真实病人和手术器械精确联系起来进行手术过程的跟踪,最后术前和术后的图像配准和融合能准确地分析手术效果。目前已有研究者直接将MR设备放在手术室里,在术中成像以避免术中图像配准,但这一情况在临床尚未普及,目前的常用方法是将X线、超声、显微镜、内窥镜和CCD的2D/3D术中图像与术前图像加以软件配准使得术前图像虚拟术中再现、手术器械在术中图像中精确显示。
, http://www.100md.com
    *国家自然科学基金(69872023)资助项目

    参 考 文 献

    1 P.A.van den Elsen et al.Medical image matching-A review with classification IEEE Eng.Med.Biol.March 1993,26-39.

    2 S.Lavalee.Registration for computer-integrated surgery in Computer-Integrated Surgery.77-97,MIT Press.1995.

    3 J.West et al.Retrospective Intermodality Registration Techniques:Surface-Based Versus Volume-Based.CVRMed-MRCAS97,151-160.

    4 W.M.I.Wells et al.Multimodal volume registration by maximization of mutual information.Med.Image Anal.1.1997,35-51.

    5 F.Maes A.Collign et al.Multimodality Image Registration by Maximization of Mutual Information.IEEE Trans.Medical Imaging,16(2).1997.187-198.

    (1998年5月5日收稿), http://www.100md.com