高中生数学元认知水平调查问卷的设计与编制(3)
结果表明,本问卷中的41个题目的内容效度优秀,占总题目数的82%。表明问卷中的题项内容效度较好。对各个题目的I-CVI值计算均值可得到问卷的内容效度指数S-CVI/Ave为0.955,表明问卷整体上具有很好的内容效度。
5.3结构效度分析
对于问卷的结构效度,采用两种分析方法。分别是结构方程验证因素分析和相关法。这两种讨论方法可以很好的评价问卷结构理论模型的合理性以及问卷子维度的异质性。
5.3.1验证因素分析
对回收数据进行验证因素分析旨在检验问卷的测量结果与构想的理论模型是否具有良好的拟合效果。本问卷采用的是结构方程模型中的测量模型,主要用来检验问卷的各个题目是否可以很好的构成问卷中的10个子维度(吴明隆,2010)。
分析结果中首先考虑各个题目在所属维度上的负荷。结果表明,负荷在0.4-0.6区间的有40题。在0.6-0.75區间的有14题,没有负荷低于0.34需要删除的题目,说明题目所属维度是合理的。进而观察结果报表Modification Indices中的MI值,发现有4对题目之间的修正指数在30以上,表明题目之间存在一定的因果关系,通过对题目内容的观察。认为确实存在表述上的重复性,如25题“在认真听讲的情况下,我相信自己能理解老师在课堂上讲的最难的数学题”和48题“我相信自己可以处理比课上老师所讲题目或作业题更复杂的数学运算”就存在一定的表述同质性,可以删除其中的一道题目或进行合并。根据MI值删除48。51,52和60题,最终剩余题目50道。
指标拟合效果评价。一方面观察模型的基本适配度检验效果,首先根据Variances报表,得知各误差变异量均为正值,标准误数值在0.19-0.44之间,说明没有很大的标准误。进而根据StandardizedRegression Weights报表得知因素载荷量在0.39-0.75之间,没有低于0.34的载荷量(表7)。
从这些结果知,模型拟合的基本适配度良好另一方面,从绝对适配度指数、增值适配度指数以及简约适配度指数三方面的评价指标对整体模型适配度效果进行评价。
首先采用AMOS 17.0软件进行一阶10因子斜交模型验证因素分析,对本问卷的模型拟合效果的评价指标选取了更为稳定的NC值(即自由度比值)。根据分析结果输出显示,对模型进行了微小的调整,最终各项指标结果如表8。
从表中结果可以看出。指标GFT、AGFI、NFI、IFI、TLj、CFI的值在0.825-0.925之间,基本符合模型适配标准。PCFI、PNFI的值均在0.7以上,RMR、RMSEA的值小于0.05。NC值为1.623。在1-3之间,表示模型有简约适配程度。综合考虑各项指标的最终结果,一阶10因子的模型拟合程度较好。可以接受。
通过Correlations结果报表知。一阶因子概念之间存在高度相关性,结合理论框架模型可知,有必要进行二阶验证因素分析。各项指标结果如表9。
从表中数据可知,一阶10因子二阶3因子的模型拟合效果更佳,其中50道题目在一阶因子上的标准化负荷在0.38-0.76之间。一阶因子在二阶因子上的标准化载荷值在0.56-0.88之间。可以认为,一阶10因子二阶3因子的模型拟合程度较好,可以接受(问卷的评价结构及标准化载荷值与系数见图3)。
5.3.2相关性检验分析
对于结构效度采用各维度与总问卷的相关性是否高于各维度之间的相关性来检验分析(表10)。
各维度间的相关系数在0.69-0.77之间。而总的数学学习元认知问卷与各维度的相关系数在0.87-0.97之间。表明该问卷具有较好的结构效度。
5.4信度分析
对问卷进行信度分析,即考查问卷的内在一致性及其重测信度,根据预测、再测、重测的数据分析(表11),结果表明,高中生数学元认知水平调查问卷的各主维度Cronbach系数在0.70-0.92之间,Spearman-Brown的分半信度在0.70-0.91之间,表明各主维度内部题目的同质性程度很高。总问卷的Cronbach系数为0.951,Spearman-Brown分半信度为0.931。表明编制的数学元认知水平问卷具有很高的信度。
对于问卷的重测信度采用Pearson积差相关的方法。分析两次测试分数的相关性。结果表明。问卷各主维度的重测信度在0.87-0.95之间,总阄卷的重测信度为0.946。可知,问卷具有很好的外部一致性。
6.讨论与结论
在数学元认知水平问卷编制的已有研究中,具有如下特点:首先,问卷针对数学问题解决过程,而非数学学习过程,譬如唐剑岚(2006)、喻平(2002,2004)等研究成果就是针对数学解题过程进行问卷编制;其次,问卷多是关注元认知的某一维度,譬如章建跃(2003)就是针对数学学习自我监控能力,即数学元认知监控维度进行了问卷编制,汤服成(2000)则是针对数学元认知知识进行了问卷设计;最后,问卷大多没有区分适用群体的学段,多以中学生为研究对象。本研究则与以往研究不同,针对高中学生的数学学习过程设计题目。能够更加全面的评价学生的数学元认知水平,题目表述具有高中数学的特点,适用于高二及以上年级学生。
本问卷的编制过程共经过三次测试及数据分析过程,结合网上填写问卷及纸笔填写问卷两种方式,通过目测以及测谎题两方面的筛选,保证了问卷的有效性和数据的可信性。分析过程中,预研究使用第一版90题问卷,经过项目分析以及探索性分析,确定再测问卷60题。再测使用第二版60题问卷,经过项目分析、探索性分析以及验证因素分析,确定了最终的正式问卷。
《高中生数学元认知水平调查问卷》共包含55题,分为三个维度和一个可信度问卷。其中数学元认知知识维度14道题。分为关于个体的知识、关于任务的知识、关于策略的知识3个子维度;数学元认知体验维度9道题。分为数学认知体验、数学情感体验2个子维度:数学元认知监控维度27道题。分为定向与计划、组织与管理、监控与调节、反馈与检验、反恩与评价5个子维度;可信度问卷5道题(具体题目分布见表12)。
虽然本研究成果经历多次取样测试,并且各个测量指标比较理想,但仍有许多问题需要进一步探讨。首先,10个子维度的测试题数从4题到8题不等。分布不够均匀;其次,数学元认知体验维度的内部信度尚未达到0.8以上。还可以进一步改进;最后,由于各方面的限制,问卷的编制没有确定全国常模。这将是未来进一步完善问卷结构,逐步形成量表的研究方向。
7.结论
通过分析,《高中生数学元认知水平调查问卷》具有很好的内容效度和结构效度,可作为高中生数学学习元认知水平调查与评测的可信有效的工具。 (王光明 余文娟 王兆云)
5.3结构效度分析
对于问卷的结构效度,采用两种分析方法。分别是结构方程验证因素分析和相关法。这两种讨论方法可以很好的评价问卷结构理论模型的合理性以及问卷子维度的异质性。
5.3.1验证因素分析
对回收数据进行验证因素分析旨在检验问卷的测量结果与构想的理论模型是否具有良好的拟合效果。本问卷采用的是结构方程模型中的测量模型,主要用来检验问卷的各个题目是否可以很好的构成问卷中的10个子维度(吴明隆,2010)。
分析结果中首先考虑各个题目在所属维度上的负荷。结果表明,负荷在0.4-0.6区间的有40题。在0.6-0.75區间的有14题,没有负荷低于0.34需要删除的题目,说明题目所属维度是合理的。进而观察结果报表Modification Indices中的MI值,发现有4对题目之间的修正指数在30以上,表明题目之间存在一定的因果关系,通过对题目内容的观察。认为确实存在表述上的重复性,如25题“在认真听讲的情况下,我相信自己能理解老师在课堂上讲的最难的数学题”和48题“我相信自己可以处理比课上老师所讲题目或作业题更复杂的数学运算”就存在一定的表述同质性,可以删除其中的一道题目或进行合并。根据MI值删除48。51,52和60题,最终剩余题目50道。
指标拟合效果评价。一方面观察模型的基本适配度检验效果,首先根据Variances报表,得知各误差变异量均为正值,标准误数值在0.19-0.44之间,说明没有很大的标准误。进而根据StandardizedRegression Weights报表得知因素载荷量在0.39-0.75之间,没有低于0.34的载荷量(表7)。
从这些结果知,模型拟合的基本适配度良好另一方面,从绝对适配度指数、增值适配度指数以及简约适配度指数三方面的评价指标对整体模型适配度效果进行评价。
首先采用AMOS 17.0软件进行一阶10因子斜交模型验证因素分析,对本问卷的模型拟合效果的评价指标选取了更为稳定的NC值(即自由度比值)。根据分析结果输出显示,对模型进行了微小的调整,最终各项指标结果如表8。
从表中结果可以看出。指标GFT、AGFI、NFI、IFI、TLj、CFI的值在0.825-0.925之间,基本符合模型适配标准。PCFI、PNFI的值均在0.7以上,RMR、RMSEA的值小于0.05。NC值为1.623。在1-3之间,表示模型有简约适配程度。综合考虑各项指标的最终结果,一阶10因子的模型拟合程度较好。可以接受。
通过Correlations结果报表知。一阶因子概念之间存在高度相关性,结合理论框架模型可知,有必要进行二阶验证因素分析。各项指标结果如表9。
从表中数据可知,一阶10因子二阶3因子的模型拟合效果更佳,其中50道题目在一阶因子上的标准化负荷在0.38-0.76之间。一阶因子在二阶因子上的标准化载荷值在0.56-0.88之间。可以认为,一阶10因子二阶3因子的模型拟合程度较好,可以接受(问卷的评价结构及标准化载荷值与系数见图3)。
5.3.2相关性检验分析
对于结构效度采用各维度与总问卷的相关性是否高于各维度之间的相关性来检验分析(表10)。
各维度间的相关系数在0.69-0.77之间。而总的数学学习元认知问卷与各维度的相关系数在0.87-0.97之间。表明该问卷具有较好的结构效度。
5.4信度分析
对问卷进行信度分析,即考查问卷的内在一致性及其重测信度,根据预测、再测、重测的数据分析(表11),结果表明,高中生数学元认知水平调查问卷的各主维度Cronbach系数在0.70-0.92之间,Spearman-Brown的分半信度在0.70-0.91之间,表明各主维度内部题目的同质性程度很高。总问卷的Cronbach系数为0.951,Spearman-Brown分半信度为0.931。表明编制的数学元认知水平问卷具有很高的信度。
对于问卷的重测信度采用Pearson积差相关的方法。分析两次测试分数的相关性。结果表明。问卷各主维度的重测信度在0.87-0.95之间,总阄卷的重测信度为0.946。可知,问卷具有很好的外部一致性。
6.讨论与结论
在数学元认知水平问卷编制的已有研究中,具有如下特点:首先,问卷针对数学问题解决过程,而非数学学习过程,譬如唐剑岚(2006)、喻平(2002,2004)等研究成果就是针对数学解题过程进行问卷编制;其次,问卷多是关注元认知的某一维度,譬如章建跃(2003)就是针对数学学习自我监控能力,即数学元认知监控维度进行了问卷编制,汤服成(2000)则是针对数学元认知知识进行了问卷设计;最后,问卷大多没有区分适用群体的学段,多以中学生为研究对象。本研究则与以往研究不同,针对高中学生的数学学习过程设计题目。能够更加全面的评价学生的数学元认知水平,题目表述具有高中数学的特点,适用于高二及以上年级学生。
本问卷的编制过程共经过三次测试及数据分析过程,结合网上填写问卷及纸笔填写问卷两种方式,通过目测以及测谎题两方面的筛选,保证了问卷的有效性和数据的可信性。分析过程中,预研究使用第一版90题问卷,经过项目分析以及探索性分析,确定再测问卷60题。再测使用第二版60题问卷,经过项目分析、探索性分析以及验证因素分析,确定了最终的正式问卷。
《高中生数学元认知水平调查问卷》共包含55题,分为三个维度和一个可信度问卷。其中数学元认知知识维度14道题。分为关于个体的知识、关于任务的知识、关于策略的知识3个子维度;数学元认知体验维度9道题。分为数学认知体验、数学情感体验2个子维度:数学元认知监控维度27道题。分为定向与计划、组织与管理、监控与调节、反馈与检验、反恩与评价5个子维度;可信度问卷5道题(具体题目分布见表12)。
虽然本研究成果经历多次取样测试,并且各个测量指标比较理想,但仍有许多问题需要进一步探讨。首先,10个子维度的测试题数从4题到8题不等。分布不够均匀;其次,数学元认知体验维度的内部信度尚未达到0.8以上。还可以进一步改进;最后,由于各方面的限制,问卷的编制没有确定全国常模。这将是未来进一步完善问卷结构,逐步形成量表的研究方向。
7.结论
通过分析,《高中生数学元认知水平调查问卷》具有很好的内容效度和结构效度,可作为高中生数学学习元认知水平调查与评测的可信有效的工具。 (王光明 余文娟 王兆云)