应用聚类分析对我院科研课题立项评价指标体系的评价
作者：刘兴太 王世鑫 魏茂提
单位：刘兴太(300162 天津 武警医学院科研处)；王世鑫(300162 天津 武警医学院科研处)；魏茂提(武警医学院军事医学教研室)
关键词：
中华医学科研管理杂志000307 科研课题的立项受多方面因素影响，既有内在的因素，如课题的科学性、先进性、可行性等；也有外在因素，如课题申请者与课题组成员的科研能力、工作基础与条件等因素影响。如何客观定量地评价这些影响因素，选择优秀的项目予以资助，一直是科研管理工作中的一个重要问题。近年来，已提出许多有关科研课题立项客观评价指标体系，但因各自所站的角度和所处的历史时期不同，所提出的指标评价体系各有侧重，差距较大，同时也少有人来对提出的评价指标体系的合理性进行客观验证。针对我院是新建医学院校，着眼于打牢我院科研基础这一目的，我们制定了“科研课题立项评价指标体系”，并于1997年开始应用于我院科研课题立项管理工作。本文旨在应用聚类分析法探讨我们提出的“立项评价指标体系”的合理性及存在问题，以期使“立项评价指标体系”更加科学、合理。
, 百拇医药
一、材料与方法
1.科研课题立项评价指标体系的建立 本科研课题立项评价指标体系是以国家自然科学基金委员会生命科学部制定并使用的“申请项目同行评议表”中所列的评审指标及前人的工作为框架，结合学院的实际情况制订。评价指标体系由3个一级指标和10个二级指标组成，每个二级指标又附有3个程度不同的指标要素。每个二级指标评价为10分制，按照其指标要素的程度不同，评分范围为1～，4～，7～，同时又将不同的评分范围附值1、2、3。为统计方便将二级指标编号为X1～X10(见表1)。
2.数据来源 收集1997年～1999年间由评审专家填写科研课题立项评价指标体系及专家定量评分表，共计180份，整理成表2形式。
3.分析方法 采用WinSAS6.12版统计软件建立SAS数据集，进行多变量聚类分析[5]。
, 百拇医药
二、结果
多变量聚类分析后认为该评价体系可以分为4类，第一类有3个变量，第二类有3个变量，第三类有1个变量，第四类有3个变量。四类结果中，最少的类分量能够解释类的比率为70.92%，最大者为100%。各分类量能够解释的总变异的比率为77.30%(见表3)。
同时聚类分析认为变量X1、X2、X7为第一类。X3、X8、X9为第二类；X10为第三类，X4、X5、X6为第四类。各个变量与其所在类的类分量相关系数的平方及各个变量与其最近类的类分量相关系数的平方和1-R12/1-R22(见表4)。
, 百拇医药
三、讨论
聚类分析是“物以类聚”的分析方法，是对事物的个别面貌尚不清楚，甚至在事前连总共有几个类都不能够确定的情况下进行分类，使之系统化和条理化的一门学问[5]。
1.建立科研课题立项评价指标体系 是科研计划管理从“经验”管理到“科学”管理的一个质的飞跃，它能较客观、公正、准确的评价立项课题质量，已得到同行们的公认[1-4]。但是对课题立项评价指标体系中二级指标的选择和指标要素是否客观、合理，研究报道的较少。
2.对二级指标进行聚类分析 结果显示：10项二级指标被聚类成为4类，将原指标体系中经费预算独立归为第三类，说明应该将该二级指标单独列为一级指标。另外，聚类分析结果还将原指标体系科学性中的二级指标“课题设计”归为第二类，作为可行性的二级指标之一；将先进性的一个二级指标“预期研究结果”归类到第一类，作为科学性的二级指标之一。说明原指标体系中二级指标的选择还不完全合理。本指标体系中“科学性”中二级指标“课题设计”与聚类分析结果不一致，探究其原因可能是原“课题设计”本身是为了课题研究是否能够进行下去而制定的，也就是说一个课题设计是研究能否进行下去的关键一步，即使一项课题的科学意义很大，但其设计不科学、不完整，以致使研究不能够进行下去也是没有用的；同时一个课题是否具有科学意义应该是对课题本身而言的，而不应该通过其设计来看。一项研究能否进行下去除了上述影响因素外还与研究者科研能力、申请者的基础与条件有关，其中重要的一项就是课题的设计是否合理，因为只有设计合理才是研究进行下去的保障，而本次聚类分析将课题设计是否合理归为可行性也说明了这一点。
, 百拇医药
表1 科研课题立项评价指标体系及专家定量评分表 评价指标
一级 二级
指 标 要 素
评分 范围
及赋值
评
分
科
学
意
义
立题
依据
, 百拇医药
(X1)
科学
意义
(X2)
课题
设计
(X3)
国内外动态清楚，立题依据充分
国内外动态基本清楚，立题依据基本成立
国内外动态不够清楚，立题依据不充分
科学意义重大
, 百拇医药 有较大的科学意义
科学意义较小
目标明确，设计科学，技术路线清晰，方案切实可行
目标较明确，设计较好，技术路线较清楚，实施方案尚明确，需要进一步完善
研究目标不明确，技术路线明确，实施方案不具体，设计上有严重缺陷
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
, 百拇医药
7～(3)
4～(2)
1～(1)
先
进
性
起点
水平
(X4)
学术
思想
(X5)
指标
, 百拇医药
与方
法
(X6)
预期
研究
结果
(X7)
填补空白，属国内外最先进水平，近年无中文文献
有部分重复，属国内先进水平，近五年有少量中文文献
有较多重复，水平一般，近五年大部分为中文文献
学术思想新颖，有显著的创新性
, 百拇医药
学术思想较新，有一定的创新性
学术思想一般，无明显的创新性
研究指标及方法先进，有创新性
研究指标及方法比较先进，有所革新
研究指标及方法一般，无所创新
理论论文，在国家核心期刊刊登，获省部二等奖以上成果
理论论文，可望获得省部级二等奖成果
理论论文，取得一般性科技成果
7～(3)
4～(2)
1～(1)
, http://www.100md.com
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
可
行
性
研究
, 百拇医药
人员
科研
能力
(X8)
工作
基础
与条
件
(X9)
经费
预算
(X10)
申请者有较高的学术水平，课题组人员结构合理，有较高的学术和技术水平，能胜任该项研究
, http://www.100md.com
申请者和合作者有一定的学术和技术水平，经过努力可完成本研究
申请者及课题组水平一般，研究小组人员结构不合理，完成研究工作有较大困难
已有基础研究成果和良好的实验条件，立足本校经过努力能完成本研究
已有阶段性成果和具有基本的研究条件，经过努力70%研究任务可在校内完成
缺乏研究积累，不具备实验条件，70%的研究任务需在校外进行
经费预算合理，开支范围适当，预购仪器很必要
经费预算和开支范围基本合理，预购仪器可适当减少
经费预算不合理，预购仪器无必要
, 百拇医药
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
3.聚类分析将“预期研究结果”归入科学意义这一类 因为一个课题按照预期的研究设计，均可取得一定的结果，其结果对科学发展的贡献大小，同样体现了课题的科学意义。
4.聚类分析将课题的“经费预算”单独归为一类，作为一项一级指标 其在课题评价中的潜在意义还需进一步探讨。
, 百拇医药
总之，通过对我院1997年～1999年度科研立项课题评价结果的聚类分析发现，本体系中一级指标“科学意义”中的二级指标“课题设计”和“先进性”中的二级指标“预期研究结果”归类还有些不符合实际情况，应根据聚类分析结果加以调整。
综合上述，应用聚类分析方法可以较好地将科研课题立项评价指标体系中的指标归类科学化、合理化，有利于科研课题评价水平的提高。表2 专家定量评分结果整理表 序号
X1
X2
X3
X4
X5
, http://www.100md.com
X6
X7
X8
X9
X10
1
2
2
3
2
2
3
, 百拇医药
3
2
3
2
2
3
2
3
3
3
3
2…
2
2……………………………
, http://www.100md.com
96
3
2
2
2
2
2
2
2
1
2……………………………
197
2
2
, 百拇医药
2
1
1
1
1
2
2
1
180
3
3
3
3
3
, 百拇医药
3
3
3
3
3
3
表3 各个变量在各个聚类成分中的情况 序号
变量数
变量串
变量解
比率解
特征值
1
, 百拇医药
2
3
3
3.00000
3.00000
2.28594
2.12758
0.7620
0.7092
0.3802
0.4847
3
4
, http://www.100md.com
1
3
1.00000
3.00000
1.00000
2.31679
1.0000
0.7723
0.3997
总变量解=7.730312 比率=0.7730表4 聚类成分中各个变量情况 序 号
变量
R12
, 百拇医药
R22
1-R2率
1
X1
X2
X7
0.7797
0.7498
0.7564
0.5550
0.4311
, http://www.100md.com
0.5156
0.4950
0.4398
0.5029
2
X3
X8
X9
0.6981
0.7479
0.6816
0.4646
, 百拇医药
0.4512
0.2841
0.5639
0.4595
0.4447
3
X10
1.0000
0.3625
0.0000
4
X4
, 百拇医药
X5
X6
0.7917
0.7993
0.7258
0.4343
0.5755
0.5148
0.3683
0.4726
0.5662
R12为各个变量与其所在类的类分量相关系数的平方
, 百拇医药
R22为各个变量与其最近类的类分量相关系数的平方
1-R2率为1-R12/1-R22 参考文献
1，施强华，李宣海，方丽琴，等.国家自然基金项目院校专家评价的尝试.中华医学科研管理杂志，1995，8∶108-109.
2，刘久成，余化刚，戎玫，等.校级科研课题的立项评估方法探讨.中华医学科研管理杂志，1993，6(4)∶8-11.
3，齐松仁，孙瑞华.应用判别分析对课题立项评估关键性指标的探讨.中华医学科研管理杂志，1996，9∶85-87.
4，齐松仁，孙瑞华.科研课题立项评估及其指标的探讨研究.中华医学科研管理杂志，1997，10∶40-41.
5，黄龙森，程茂金，主编.统计分析软件SAS应用教程.第2版.武汉：湖北科学技术出版社，1998.294-319.
(收稿日期：1999-10-09), 百拇医药
单位：刘兴太(300162 天津 武警医学院科研处)；王世鑫(300162 天津 武警医学院科研处)；魏茂提(武警医学院军事医学教研室)
关键词：
中华医学科研管理杂志000307 科研课题的立项受多方面因素影响，既有内在的因素，如课题的科学性、先进性、可行性等；也有外在因素，如课题申请者与课题组成员的科研能力、工作基础与条件等因素影响。如何客观定量地评价这些影响因素，选择优秀的项目予以资助，一直是科研管理工作中的一个重要问题。近年来，已提出许多有关科研课题立项客观评价指标体系，但因各自所站的角度和所处的历史时期不同，所提出的指标评价体系各有侧重，差距较大，同时也少有人来对提出的评价指标体系的合理性进行客观验证。针对我院是新建医学院校，着眼于打牢我院科研基础这一目的，我们制定了“科研课题立项评价指标体系”，并于1997年开始应用于我院科研课题立项管理工作。本文旨在应用聚类分析法探讨我们提出的“立项评价指标体系”的合理性及存在问题，以期使“立项评价指标体系”更加科学、合理。
, 百拇医药
一、材料与方法
1.科研课题立项评价指标体系的建立 本科研课题立项评价指标体系是以国家自然科学基金委员会生命科学部制定并使用的“申请项目同行评议表”中所列的评审指标及前人的工作为框架，结合学院的实际情况制订。评价指标体系由3个一级指标和10个二级指标组成，每个二级指标又附有3个程度不同的指标要素。每个二级指标评价为10分制，按照其指标要素的程度不同，评分范围为1～，4～，7～，同时又将不同的评分范围附值1、2、3。为统计方便将二级指标编号为X1～X10(见表1)。
2.数据来源 收集1997年～1999年间由评审专家填写科研课题立项评价指标体系及专家定量评分表，共计180份，整理成表2形式。
3.分析方法 采用WinSAS6.12版统计软件建立SAS数据集，进行多变量聚类分析[5]。
, 百拇医药
二、结果
多变量聚类分析后认为该评价体系可以分为4类，第一类有3个变量，第二类有3个变量，第三类有1个变量，第四类有3个变量。四类结果中，最少的类分量能够解释类的比率为70.92%，最大者为100%。各分类量能够解释的总变异的比率为77.30%(见表3)。
同时聚类分析认为变量X1、X2、X7为第一类。X3、X8、X9为第二类；X10为第三类，X4、X5、X6为第四类。各个变量与其所在类的类分量相关系数的平方及各个变量与其最近类的类分量相关系数的平方和1-R12/1-R22(见表4)。
, 百拇医药
三、讨论
聚类分析是“物以类聚”的分析方法，是对事物的个别面貌尚不清楚，甚至在事前连总共有几个类都不能够确定的情况下进行分类，使之系统化和条理化的一门学问[5]。
1.建立科研课题立项评价指标体系 是科研计划管理从“经验”管理到“科学”管理的一个质的飞跃，它能较客观、公正、准确的评价立项课题质量，已得到同行们的公认[1-4]。但是对课题立项评价指标体系中二级指标的选择和指标要素是否客观、合理，研究报道的较少。
2.对二级指标进行聚类分析 结果显示：10项二级指标被聚类成为4类，将原指标体系中经费预算独立归为第三类，说明应该将该二级指标单独列为一级指标。另外，聚类分析结果还将原指标体系科学性中的二级指标“课题设计”归为第二类，作为可行性的二级指标之一；将先进性的一个二级指标“预期研究结果”归类到第一类，作为科学性的二级指标之一。说明原指标体系中二级指标的选择还不完全合理。本指标体系中“科学性”中二级指标“课题设计”与聚类分析结果不一致，探究其原因可能是原“课题设计”本身是为了课题研究是否能够进行下去而制定的，也就是说一个课题设计是研究能否进行下去的关键一步，即使一项课题的科学意义很大，但其设计不科学、不完整，以致使研究不能够进行下去也是没有用的；同时一个课题是否具有科学意义应该是对课题本身而言的，而不应该通过其设计来看。一项研究能否进行下去除了上述影响因素外还与研究者科研能力、申请者的基础与条件有关，其中重要的一项就是课题的设计是否合理，因为只有设计合理才是研究进行下去的保障，而本次聚类分析将课题设计是否合理归为可行性也说明了这一点。
, 百拇医药
表1 科研课题立项评价指标体系及专家定量评分表 评价指标
一级 二级
指 标 要 素
评分 范围
及赋值
评
分
科
学
意
义
立题
依据
, 百拇医药
(X1)
科学
意义
(X2)
课题
设计
(X3)
国内外动态清楚，立题依据充分
国内外动态基本清楚，立题依据基本成立
国内外动态不够清楚，立题依据不充分
科学意义重大
, 百拇医药 有较大的科学意义
科学意义较小
目标明确，设计科学，技术路线清晰，方案切实可行
目标较明确，设计较好，技术路线较清楚，实施方案尚明确，需要进一步完善
研究目标不明确，技术路线明确，实施方案不具体，设计上有严重缺陷
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
, 百拇医药
7～(3)
4～(2)
1～(1)
先
进
性
起点
水平
(X4)
学术
思想
(X5)
指标
, 百拇医药
与方
法
(X6)
预期
研究
结果
(X7)
填补空白，属国内外最先进水平，近年无中文文献
有部分重复，属国内先进水平，近五年有少量中文文献
有较多重复，水平一般，近五年大部分为中文文献
学术思想新颖，有显著的创新性
, 百拇医药
学术思想较新，有一定的创新性
学术思想一般，无明显的创新性
研究指标及方法先进，有创新性
研究指标及方法比较先进，有所革新
研究指标及方法一般，无所创新
理论论文，在国家核心期刊刊登，获省部二等奖以上成果
理论论文，可望获得省部级二等奖成果
理论论文，取得一般性科技成果
7～(3)
4～(2)
1～(1)
, http://www.100md.com
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
可
行
性
研究
, 百拇医药
人员
科研
能力
(X8)
工作
基础
与条
件
(X9)
经费
预算
(X10)
申请者有较高的学术水平，课题组人员结构合理，有较高的学术和技术水平，能胜任该项研究
, http://www.100md.com
申请者和合作者有一定的学术和技术水平，经过努力可完成本研究
申请者及课题组水平一般，研究小组人员结构不合理，完成研究工作有较大困难
已有基础研究成果和良好的实验条件，立足本校经过努力能完成本研究
已有阶段性成果和具有基本的研究条件，经过努力70%研究任务可在校内完成
缺乏研究积累，不具备实验条件，70%的研究任务需在校外进行
经费预算合理，开支范围适当，预购仪器很必要
经费预算和开支范围基本合理，预购仪器可适当减少
经费预算不合理，预购仪器无必要
, 百拇医药
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
7～(3)
4～(2)
1～(1)
3.聚类分析将“预期研究结果”归入科学意义这一类 因为一个课题按照预期的研究设计，均可取得一定的结果，其结果对科学发展的贡献大小，同样体现了课题的科学意义。
4.聚类分析将课题的“经费预算”单独归为一类，作为一项一级指标 其在课题评价中的潜在意义还需进一步探讨。
, 百拇医药
总之，通过对我院1997年～1999年度科研立项课题评价结果的聚类分析发现，本体系中一级指标“科学意义”中的二级指标“课题设计”和“先进性”中的二级指标“预期研究结果”归类还有些不符合实际情况，应根据聚类分析结果加以调整。
综合上述，应用聚类分析方法可以较好地将科研课题立项评价指标体系中的指标归类科学化、合理化，有利于科研课题评价水平的提高。表2 专家定量评分结果整理表 序号
X1
X2
X3
X4
X5
, http://www.100md.com
X6
X7
X8
X9
X10
1
2
2
3
2
2
3
, 百拇医药
3
2
3
2
2
3
2
3
3
3
3
2…
2
2……………………………
, http://www.100md.com
96
3
2
2
2
2
2
2
2
1
2……………………………
197
2
2
, 百拇医药
2
1
1
1
1
2
2
1
180
3
3
3
3
3
, 百拇医药
3
3
3
3
3
3
表3 各个变量在各个聚类成分中的情况 序号
变量数
变量串
变量解
比率解
特征值
1
, 百拇医药
2
3
3
3.00000
3.00000
2.28594
2.12758
0.7620
0.7092
0.3802
0.4847
3
4
, http://www.100md.com
1
3
1.00000
3.00000
1.00000
2.31679
1.0000
0.7723
0.3997
总变量解=7.730312 比率=0.7730表4 聚类成分中各个变量情况 序 号
变量
R12
, 百拇医药
R22
1-R2率
1
X1
X2
X7
0.7797
0.7498
0.7564
0.5550
0.4311
, http://www.100md.com
0.5156
0.4950
0.4398
0.5029
2
X3
X8
X9
0.6981
0.7479
0.6816
0.4646
, 百拇医药
0.4512
0.2841
0.5639
0.4595
0.4447
3
X10
1.0000
0.3625
0.0000
4
X4
, 百拇医药
X5
X6
0.7917
0.7993
0.7258
0.4343
0.5755
0.5148
0.3683
0.4726
0.5662
R12为各个变量与其所在类的类分量相关系数的平方
, 百拇医药
R22为各个变量与其最近类的类分量相关系数的平方
1-R2率为1-R12/1-R22 参考文献
1，施强华，李宣海，方丽琴，等.国家自然基金项目院校专家评价的尝试.中华医学科研管理杂志，1995，8∶108-109.
2，刘久成，余化刚，戎玫，等.校级科研课题的立项评估方法探讨.中华医学科研管理杂志，1993，6(4)∶8-11.
3，齐松仁，孙瑞华.应用判别分析对课题立项评估关键性指标的探讨.中华医学科研管理杂志，1996，9∶85-87.
4，齐松仁，孙瑞华.科研课题立项评估及其指标的探讨研究.中华医学科研管理杂志，1997，10∶40-41.
5，黄龙森，程茂金，主编.统计分析软件SAS应用教程.第2版.武汉：湖北科学技术出版社，1998.294-319.
(收稿日期：1999-10-09), 百拇医药