基于普通摄像机的人体运动信息检测系统*
作者：王人成 黄昌华 王季军 白彩勤 杨年峰 金德闻
单位：(清华大学 精密仪器系，北京 100084)
关键词：运动信息检测；人体运动分析；图像处理
生物医学工程学杂志990412 摘要 介绍了一种新型基于普通摄像技术的人体运动信息检测系统。探讨了运用图像处理技术快速准确识别与跟踪关节位置标志点的方法，解决了影响系统检测精度和运行速度的关键问题。该系统用普通摄像机取代专用设备，降低了系统成本；使用操作方便，具有较高的精度，不仅适用于人体运动信息的检测，而且可用作其它较低速运动物体的运动图像检测与分析。
Human Motion Analysis System Based on Common Video-camera
Wang Rencheng Huang Changhua Wang Jijun Bai Caiqin Yang Nianfeng Jin Dewen
, 百拇医药
(Department of Precision Instruments, Tsinghua University, Beijing 100084)
Abstract A new human motion analysis system based on common video-camera is introduced in this paper. The image processing technique is used to recognize and track anatomic landmarks, which makes data processing more quickly and accurately. The system is cost-effective and can be easily operated because the common video-cameras instead of special instruments are used. Furthermore, the system can also be used for detection and analysis of other low-speed moving objects.
, 百拇医药
Key words Movement detection Human motion analysis Image processing
1 引 言
人体运动姿态分析是诊断人体运动功能障碍的重要手段。人体运动信息检测系统能够记录运动过程中身体各环节的位置及其运动轨迹，并通过适当的分析处理软件处理可以提供人体运动学与动力学方面信息，是医疗诊断和康复评定的一个重要工具。
人体运动信息检测技术是随着摄像技术的出现而兴起的。最初人们利用摄影胶片摄取运动图片，然后逐张胶片进行处理[1]，整个分析过程复杂、周期长、耗材价格高。随着电子测量技术和红外摄像技术的发展，在国内外利用红外和电子测角原理建造的人体运动信息检测系统的应用越来越广泛[2～4]。但是由于这些专用设备价格昂贵，目前只有一些研究机构和少量大型医院拥有这类设备，许多中、小型医院仍然采用秒表、米尺等简单工具通过测量步幅和步频等参数来进行运动功能评定或诊断，影响了诊断的准确性和科学性。
, http://www.100md.com
近年来，计算机技术和数字影象技术的飞速发展为研制成本低廉、建造和使用方便，且具有较高精度，基于摄像技术的人体运动信息检测系统提供了可能。我们介绍了一种利用普通摄像机建造的低成本人体运动信息检测与分析系统，探讨了运用图像处理技术快速准确识别与跟踪关节位置标志点的方法，解决了影响系统检测精度和运动速度的关键问题。
2 系统基本组成
图1为基于摄像技术的人体运动信息测试分析系统组成方框图。这是一个由运动图像检测分析、地面反力检测分析和表面肌电信号(EMG)检则分析三个子系统组成的标准配置系统。其中运动检测分析子系统为基本配置，地面反力检测和表面EMG检测子系统是辅助配置，可根据实际研究需要选配。
图1 系统方框图
Fig 1 Schematic diagram of human motion analysis system
, 百拇医药
2.1 图像获取单元
摄像设备选用每秒25帧普通摄像机，若进行二维平面运动检测，只需配置一台摄像机就可以实现，若需进行三维运动检测则至少要配置两台摄像机。由于普通摄像机每秒只能摄取25帧图像，因此该系统只适合检测如行走等低速度变化的运动过程。若要研究如投掷等快速姿态变化规律，则需要用高速摄像机替代普通摄像机。
2.2 图像数字化单元
利用视频图像捕捉卡将摄像机摄取的图像数字化，并以数据文件的形式存储在磁盘上。
2.3 分析计算单元
利用PC计算机对得到的数据文件进行处理，包括对标志点进行边缘锐化处理、标志点的识别与跟踪、人体运动棍图的生成、关节运动轨迹(位移、速度、加速度)及其力矩变化曲线的计算与显示等等。
, 百拇医药
2.4 地面反力检测单元
通过三维测力台可以记录人在行走过程中对地面作用力的变化情况，这个参数对于步态的动力学分析、行走功能的评定和诊断是非常重要的。
2.5 表面EMG检测单元
表面EMG是肌肉收缩时伴随的电信号，通过对它的记录与监测可以了解肌肉活动情况。因此表面EMG也被列入本系统检测的人体运动信息之一。
2.6 同步控制单元
同步控制单元负责协调图像获取单元、地面反力检测单元和表面EMG检测单元，给三个子单元一个同步信号，这在三个子系统同时工作时是非常必要的。
对于上面这种基于普通摄像机的运动检测系统而言，影响系统检测与分析实时性的关键问题在于图像处理的速度。图像处理过程包括图像捕获、存储和标志点识别、跟踪。图像捕获、存储的速度和质量由视频捕捉卡决定，标志点识别、跟踪的速度和质量由软件决定。因此，下面将重点介绍我们采用的标志点及其处理方法。
, http://www.100md.com
3 标志点处理方法
3.1 标志点选择
为了便于在图像分析处理时能够方便、快速找到各关节的准确位置，在进行测试之前，通常在受试者各主要关节轴上贴上具有明显颜色反差的标识点。唯一性和时不变性是评价标志点性能好坏的两个重要指标，即要求标志可以从背景中区别出来，且唯一；在动态研究中，为有效可靠地识别标志点，要求标志点的特征不随时间而变化，具有时不变性。
经过大量的几何形状及其几何中心计算、颜色组合的对比试验，我们采用了黑白黑同心圆作为标志点。试验结果表明，选择这种几何形状和颜色构造的标志点可提高标志点唯一性，黑白同心圆的特征在于存在比局部背景亮的圆环。为突出特征，在做标志点识别前我们对其图像边缘进行了锐化处理。
3.2 标志点边缘锐化处理
虽然从图2(a)的图像中用肉眼可以很清晰地分辨出位于髋、膝和踝关节的标志点，但其边缘比较模糊，这将影响标志点识别与自动跟踪的速度和准确性。因而有必要对标志点图像的边缘进行锐化处理。
, http://www.100md.com
图2 标志点的锐化处理
Fig 2 The sharpened landmarks
我们采用了一种模糊边缘增强算法来实现标志点图像的边缘锐化，该方法是由Pal[4]和King提出的模糊边缘检测方法改进而来的。其基本思想是对(m,n)像素点的灰度值Lmn作非线性变换，使Lmn增大或减小来达到模糊增强的效果。具体实现方法为：将待处理图像映射为模糊矩阵。对模糊矩阵作非线性变换，当(m,n)像素隶属度μ mn>0.5时增大μ mn，μ mn<0.5时减小μ mn。最后作μ mn到Lmn的反变换得到空间域中的灰度值Lmn，该Lmn便是经增强后的灰度值。改进后的方法使Lmn到Lmn′(增强后的Lmn)的映射曲线更合理，同时避免了大量的浮点数运算，使运算速度比Pal和King的方法提高了约60倍。
从图2(b)的处理结果可以看出该方法达到了使标志点图像边缘锐化、特征突出的目的。
, http://www.100md.com
3.3 标志点识别
标志点识别分为粗略搜索标点和标志点精细查找两步。粗略搜索：对第一幅和第五幅图作全局增强和全局搜索，比较在两幅图上找到的标志点，舍去完全相同的标志点(即背景相消)，余下部分即为待求标志点。该法的前提是运动过程中背景不变化。精细查找：对第一、二幅图，在粗略标志点的50×50邻域作局部增强和局部搜索。得到待求标志点。从第三幅图开始，作标志点位置一阶预测，在预测点的50×50邻域作精细查找。
不管是全局搜索还是局部搜索，标志点查找算法都是一样的。针对黑白同心圆标志点的特征，可将标志点的搜索归结为查找白色圆环。这是一个区块查找问题。在数字图像处理中区块查找有各种方法，但这些方法出于通用性考虑都比较复杂，本系统采用如下方法查找白色圆环：(1)构造任意形状连通域识别算法，搜索出各连通域；(2)对各连通域外轮廓作尺寸筛选；(3)求连通域内轮廓并对内轮廓尺寸筛选。经以上三步即可求出在规定尺寸范围内的环状物。利用背景相消方法，只要受试者着装没有与标志点尺寸及对比度相仿的环状物，即可实现对标志点的识别。实际上连通域识别包含边缘判别问题，这里选用的是阈值比较法。
, http://www.100md.com
运动信息检测的实质是对标志点重心轨迹的记录与分析，标志点重心是通过对圆环内圆作加权重心计算得到的，即以圆环内各点灰度值(未作增强预处理的灰度值)的倒数为权值进行重心计算。
3.4 标志点跟踪
标志点识别采用了“一阶预测-局部搜索”方法，该方法隐含了标志点的跟踪，即认为相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两 标志点间距大于局部搜索范围，因此在局部搜索范围内找到的点就与前一时刻的点为同一点。对于人体运动(如行走)的测量，只要搜索范围大小选择得适当，就能满足上述前提条件。需要指出的是对不满足上述条件的情况，需对局部搜索范围内找到的所有点作新的标志点跟踪。
4 应用举例
步态分析是人体运动信息分析系统的重要应用之一，通过对人行走姿态的记录与分析不仅可以帮助医生诊断某些人体运动机能方面的疾病，而且也是指导与评定康复训练，以及评价假肢和人工关节使用效果的主要手段。因此我们选用步态分析作为应用实例来介绍图1系统的主要功能及临床应用效果。
, 百拇医药
图3、图4和图5是用该系统得到的健康受试者行走时的运动步态棍图(部分)、一个步态周期内下肢主要关节(髋关节、膝关节和踝关节)的运动轨迹(角度变化曲线)和身体对地面施加作用力的变化情况。这些曲线及相关的检测结果与用VICON系统得到的是基本一致的，此外本系统还具有其它运动分析系统没有的运动质量评价等辅助功能。
图3 人行走运动棍图
Fig 3 The stick diagram of part strides during walking
图4 髋、膝和踝关节夹角变化曲线(°)
Fig 4 The hip angle, knee angle and ankle angle of normal human (degree)
, http://www.100md.com
○ 膝关节；* 踝关节；+ 髋关节
○ knee joint；* ankle joint；+ hip joint
图5 人行走时对地面施加的作用力(单位：kg)
Fig 5 The ground reaction force curve during walking(kgf)---Z方向；……Y方向；——X方向---Z dirrection；……Y direction；——X direction
5 结 论
从上面的介绍和实验结果可以看出，我们研制的新型人体运动信息检测系统，不仅采用普通摄像机代替价格昂贵的专用设备降低了制造成本，而且通过采用现代的图像处理和识别技术很好地解决了传统基于摄像技术的运动检测方法分析速度慢、精度低的问题。由于在普通摄像机和PC计算机的基础上只需配备图像捕捉卡硬件和辅以相应的分析软件，即可组成基本的运动检测系统，无需作专门培训就可以使用操作，因此本研究在促进现代人体运动分析技术，在基层医院推广和普及有很重要的意义。该系统不仅适用于人体运动信息检测，而且可以用在其它有关静止或低速运动图像的检测、处理与模式识别等研究。
, 百拇医药
* 自然科学基金资助项目(39770214)
参考文献
1 [南斯拉夫]M.伍科布拉托维奇著，马培荪等译.步行机器人和动力假肢.北京：科学出版社.1983
2 陈大跃，丁 洪，周新宇等.人体行走的步态测试与分析系统.中国生物医学工程学报，1997；16(2)∶133
3 丁海曙，王广志，黄 欣等.用PSD传感器实现多点运动轨迹的二维和三维实时检测.清华大学学报，1992；32(4)∶79
4 谢维信，刘健庄，谢海强.一种快速模糊边缘检测方法.信号处理，1992；8(4)∶193
(收稿：1998-07-03 修回：1998-10-27), 百拇医药
单位：(清华大学 精密仪器系，北京 100084)
关键词：运动信息检测；人体运动分析；图像处理
生物医学工程学杂志990412 摘要 介绍了一种新型基于普通摄像技术的人体运动信息检测系统。探讨了运用图像处理技术快速准确识别与跟踪关节位置标志点的方法，解决了影响系统检测精度和运行速度的关键问题。该系统用普通摄像机取代专用设备，降低了系统成本；使用操作方便，具有较高的精度，不仅适用于人体运动信息的检测，而且可用作其它较低速运动物体的运动图像检测与分析。
Human Motion Analysis System Based on Common Video-camera
Wang Rencheng Huang Changhua Wang Jijun Bai Caiqin Yang Nianfeng Jin Dewen
, 百拇医药
(Department of Precision Instruments, Tsinghua University, Beijing 100084)
Abstract A new human motion analysis system based on common video-camera is introduced in this paper. The image processing technique is used to recognize and track anatomic landmarks, which makes data processing more quickly and accurately. The system is cost-effective and can be easily operated because the common video-cameras instead of special instruments are used. Furthermore, the system can also be used for detection and analysis of other low-speed moving objects.
, 百拇医药
Key words Movement detection Human motion analysis Image processing
1 引 言
人体运动姿态分析是诊断人体运动功能障碍的重要手段。人体运动信息检测系统能够记录运动过程中身体各环节的位置及其运动轨迹，并通过适当的分析处理软件处理可以提供人体运动学与动力学方面信息，是医疗诊断和康复评定的一个重要工具。
人体运动信息检测技术是随着摄像技术的出现而兴起的。最初人们利用摄影胶片摄取运动图片，然后逐张胶片进行处理[1]，整个分析过程复杂、周期长、耗材价格高。随着电子测量技术和红外摄像技术的发展，在国内外利用红外和电子测角原理建造的人体运动信息检测系统的应用越来越广泛[2～4]。但是由于这些专用设备价格昂贵，目前只有一些研究机构和少量大型医院拥有这类设备，许多中、小型医院仍然采用秒表、米尺等简单工具通过测量步幅和步频等参数来进行运动功能评定或诊断，影响了诊断的准确性和科学性。
, http://www.100md.com
近年来，计算机技术和数字影象技术的飞速发展为研制成本低廉、建造和使用方便，且具有较高精度，基于摄像技术的人体运动信息检测系统提供了可能。我们介绍了一种利用普通摄像机建造的低成本人体运动信息检测与分析系统，探讨了运用图像处理技术快速准确识别与跟踪关节位置标志点的方法，解决了影响系统检测精度和运动速度的关键问题。
2 系统基本组成
图1为基于摄像技术的人体运动信息测试分析系统组成方框图。这是一个由运动图像检测分析、地面反力检测分析和表面肌电信号(EMG)检则分析三个子系统组成的标准配置系统。其中运动检测分析子系统为基本配置，地面反力检测和表面EMG检测子系统是辅助配置，可根据实际研究需要选配。
图1 系统方框图
Fig 1 Schematic diagram of human motion analysis system
, 百拇医药
2.1 图像获取单元
摄像设备选用每秒25帧普通摄像机，若进行二维平面运动检测，只需配置一台摄像机就可以实现，若需进行三维运动检测则至少要配置两台摄像机。由于普通摄像机每秒只能摄取25帧图像，因此该系统只适合检测如行走等低速度变化的运动过程。若要研究如投掷等快速姿态变化规律，则需要用高速摄像机替代普通摄像机。
2.2 图像数字化单元
利用视频图像捕捉卡将摄像机摄取的图像数字化，并以数据文件的形式存储在磁盘上。
2.3 分析计算单元
利用PC计算机对得到的数据文件进行处理，包括对标志点进行边缘锐化处理、标志点的识别与跟踪、人体运动棍图的生成、关节运动轨迹(位移、速度、加速度)及其力矩变化曲线的计算与显示等等。
, 百拇医药
2.4 地面反力检测单元
通过三维测力台可以记录人在行走过程中对地面作用力的变化情况，这个参数对于步态的动力学分析、行走功能的评定和诊断是非常重要的。
2.5 表面EMG检测单元
表面EMG是肌肉收缩时伴随的电信号，通过对它的记录与监测可以了解肌肉活动情况。因此表面EMG也被列入本系统检测的人体运动信息之一。
2.6 同步控制单元
同步控制单元负责协调图像获取单元、地面反力检测单元和表面EMG检测单元，给三个子单元一个同步信号，这在三个子系统同时工作时是非常必要的。
对于上面这种基于普通摄像机的运动检测系统而言，影响系统检测与分析实时性的关键问题在于图像处理的速度。图像处理过程包括图像捕获、存储和标志点识别、跟踪。图像捕获、存储的速度和质量由视频捕捉卡决定，标志点识别、跟踪的速度和质量由软件决定。因此，下面将重点介绍我们采用的标志点及其处理方法。
, http://www.100md.com
3 标志点处理方法
3.1 标志点选择
为了便于在图像分析处理时能够方便、快速找到各关节的准确位置，在进行测试之前，通常在受试者各主要关节轴上贴上具有明显颜色反差的标识点。唯一性和时不变性是评价标志点性能好坏的两个重要指标，即要求标志可以从背景中区别出来，且唯一；在动态研究中，为有效可靠地识别标志点，要求标志点的特征不随时间而变化，具有时不变性。
经过大量的几何形状及其几何中心计算、颜色组合的对比试验，我们采用了黑白黑同心圆作为标志点。试验结果表明，选择这种几何形状和颜色构造的标志点可提高标志点唯一性，黑白同心圆的特征在于存在比局部背景亮的圆环。为突出特征，在做标志点识别前我们对其图像边缘进行了锐化处理。
3.2 标志点边缘锐化处理
虽然从图2(a)的图像中用肉眼可以很清晰地分辨出位于髋、膝和踝关节的标志点，但其边缘比较模糊，这将影响标志点识别与自动跟踪的速度和准确性。因而有必要对标志点图像的边缘进行锐化处理。
, http://www.100md.com
图2 标志点的锐化处理
Fig 2 The sharpened landmarks
我们采用了一种模糊边缘增强算法来实现标志点图像的边缘锐化，该方法是由Pal[4]和King提出的模糊边缘检测方法改进而来的。其基本思想是对(m,n)像素点的灰度值Lmn作非线性变换，使Lmn增大或减小来达到模糊增强的效果。具体实现方法为：将待处理图像映射为模糊矩阵。对模糊矩阵作非线性变换，当(m,n)像素隶属度μ mn>0.5时增大μ mn，μ mn<0.5时减小μ mn。最后作μ mn到Lmn的反变换得到空间域中的灰度值Lmn，该Lmn便是经增强后的灰度值。改进后的方法使Lmn到Lmn′(增强后的Lmn)的映射曲线更合理，同时避免了大量的浮点数运算，使运算速度比Pal和King的方法提高了约60倍。
从图2(b)的处理结果可以看出该方法达到了使标志点图像边缘锐化、特征突出的目的。
, http://www.100md.com
3.3 标志点识别
标志点识别分为粗略搜索标点和标志点精细查找两步。粗略搜索：对第一幅和第五幅图作全局增强和全局搜索，比较在两幅图上找到的标志点，舍去完全相同的标志点(即背景相消)，余下部分即为待求标志点。该法的前提是运动过程中背景不变化。精细查找：对第一、二幅图，在粗略标志点的50×50邻域作局部增强和局部搜索。得到待求标志点。从第三幅图开始，作标志点位置一阶预测，在预测点的50×50邻域作精细查找。
不管是全局搜索还是局部搜索，标志点查找算法都是一样的。针对黑白同心圆标志点的特征，可将标志点的搜索归结为查找白色圆环。这是一个区块查找问题。在数字图像处理中区块查找有各种方法，但这些方法出于通用性考虑都比较复杂，本系统采用如下方法查找白色圆环：(1)构造任意形状连通域识别算法，搜索出各连通域；(2)对各连通域外轮廓作尺寸筛选；(3)求连通域内轮廓并对内轮廓尺寸筛选。经以上三步即可求出在规定尺寸范围内的环状物。利用背景相消方法，只要受试者着装没有与标志点尺寸及对比度相仿的环状物，即可实现对标志点的识别。实际上连通域识别包含边缘判别问题，这里选用的是阈值比较法。
, http://www.100md.com
运动信息检测的实质是对标志点重心轨迹的记录与分析，标志点重心是通过对圆环内圆作加权重心计算得到的，即以圆环内各点灰度值(未作增强预处理的灰度值)的倒数为权值进行重心计算。
3.4 标志点跟踪
标志点识别采用了“一阶预测-局部搜索”方法，该方法隐含了标志点的跟踪，即认为相邻时刻同一标志点的位置变化在预测点的局部搜索范围内，且同一时刻的任意两 标志点间距大于局部搜索范围，因此在局部搜索范围内找到的点就与前一时刻的点为同一点。对于人体运动(如行走)的测量，只要搜索范围大小选择得适当，就能满足上述前提条件。需要指出的是对不满足上述条件的情况，需对局部搜索范围内找到的所有点作新的标志点跟踪。
4 应用举例
步态分析是人体运动信息分析系统的重要应用之一，通过对人行走姿态的记录与分析不仅可以帮助医生诊断某些人体运动机能方面的疾病，而且也是指导与评定康复训练，以及评价假肢和人工关节使用效果的主要手段。因此我们选用步态分析作为应用实例来介绍图1系统的主要功能及临床应用效果。
, 百拇医药
图3、图4和图5是用该系统得到的健康受试者行走时的运动步态棍图(部分)、一个步态周期内下肢主要关节(髋关节、膝关节和踝关节)的运动轨迹(角度变化曲线)和身体对地面施加作用力的变化情况。这些曲线及相关的检测结果与用VICON系统得到的是基本一致的，此外本系统还具有其它运动分析系统没有的运动质量评价等辅助功能。
图3 人行走运动棍图
Fig 3 The stick diagram of part strides during walking
图4 髋、膝和踝关节夹角变化曲线(°)
Fig 4 The hip angle, knee angle and ankle angle of normal human (degree)
, http://www.100md.com
○ 膝关节；* 踝关节；+ 髋关节
○ knee joint；* ankle joint；+ hip joint
图5 人行走时对地面施加的作用力(单位：kg)
Fig 5 The ground reaction force curve during walking(kgf)---Z方向；……Y方向；——X方向---Z dirrection；……Y direction；——X direction
5 结 论
从上面的介绍和实验结果可以看出，我们研制的新型人体运动信息检测系统，不仅采用普通摄像机代替价格昂贵的专用设备降低了制造成本，而且通过采用现代的图像处理和识别技术很好地解决了传统基于摄像技术的运动检测方法分析速度慢、精度低的问题。由于在普通摄像机和PC计算机的基础上只需配备图像捕捉卡硬件和辅以相应的分析软件，即可组成基本的运动检测系统，无需作专门培训就可以使用操作，因此本研究在促进现代人体运动分析技术，在基层医院推广和普及有很重要的意义。该系统不仅适用于人体运动信息检测，而且可以用在其它有关静止或低速运动图像的检测、处理与模式识别等研究。
, 百拇医药
* 自然科学基金资助项目(39770214)
参考文献
1 [南斯拉夫]M.伍科布拉托维奇著，马培荪等译.步行机器人和动力假肢.北京：科学出版社.1983
2 陈大跃，丁 洪，周新宇等.人体行走的步态测试与分析系统.中国生物医学工程学报，1997；16(2)∶133
3 丁海曙，王广志，黄 欣等.用PSD传感器实现多点运动轨迹的二维和三维实时检测.清华大学学报，1992；32(4)∶79
4 谢维信，刘健庄，谢海强.一种快速模糊边缘检测方法.信号处理，1992；8(4)∶193
(收稿：1998-07-03 修回：1998-10-27), 百拇医药