什么是信度?
信度你可以把它理解为可靠度、一致性、稳定性。
比如说,在对同一对象进行测量,多次测量结果都很接近,大家会认为这个结果是可信的,真实的,也就是信度高。如果每次测量的结果都有很大的差异(例如,用同一份考卷对同一批学生进行测验,每次测试平均分数差别都很大),则说明信度较低。
同样在问卷研究中,也是通过信度分析来测量样本回答结果是否真实可靠,检验信度越高,就是表示结果越可信。
内部与外部可靠性
信度可分为内在信度和外在信度两类。
内在信度:是指衡量研究问卷中的多个题目是否测量了同一概念或者内容,即题目之间是否具有内在一致性。
外在信度:通常指不同时间测量时,是否测量结果具有一致性。比如说刚才举例中提到的考试成绩例子。
什么是效度?
效度分析,简单来说就是问卷设计的有效性、准确程度。
当我们在为研究主题设计问卷时,都会希望问题实际测量到的是我们希望测量的,这样研究的数据才能准确的说明问题。
例如,我们想了解一个班级里学生的综合成绩情况,正式研究中如果仅测试数学一科,然后得出结论,这样的研究有效性可能很低,原因在于实际测量的方向与研究方向之间有很大偏差。
效度分类
效度又可分为内容效度、结构效度和效标效度。
内容效度,指问卷题项对相关概念测量的合理性情况,通常是以文字来说明问卷的有效性。如通过参考文献,或者权威来源说明问卷的权威性和有效性。还有就是通过对问卷前测并结合结果进行题项的修正等工作来充分说明问卷的有效性。
(内容效度并非统计软件进行的统计方法,对于问卷研究来讲,基本上均需要进行内容效度说明。)
结构效度,指测量题项与测量维度之间的对应关系。测量方法有两种,一种是探索性因子分析,另外一种是验证性因子分析。其中,探索性因子分析是当前使用最为广泛的结构效度测量方法。使用探索性因子分析进行效度验证时,应该以量表为准,对变量或者量表分别进行分析。
效标效度,如果以前有一份权威且标准的量表数据,现在依旧使用该量表进行研究,并且收集回来一份数据。以前权威标准数据作为标准,当前数据与前一份数据之间进行相关分析,如果说相关系数值较高,则说明效标效度良好。但在实际分析中,效标效度很少使用。
信度与效度?
分析的过程中有人会有这样的疑惑,「我的数据明明信度系数这么高,为什么效度却很低呢?」
从计算公式角度看,信度和效度之前确实存在一定的关系。两者的关系可以理解为:
效度高,信度一定高;信度高,效度不一定高。
有效的测试也是可靠的。高考是有效的(且可靠),因为它衡量的是学生在高中学到的东西。但是,可靠的测试并不总是有效的。例如,假设你的体重秤只会显示60。那么它是可靠的(每次都是相同的结果)但却无效(因为体重秤没有记录正确的体重)。
当然,一份好的问卷应该同时具有足够的信度和效度,并且从实践角度要兼顾实用性和科学性。