人员素质测评质量分析.ppt

本讲内容
◆效度的概念及其分析方法
◆信度的概念及其分析方法
◆区分度的概念及其分析方法
◆选题质量分析及其分析方法
效度
◆效度的概念
效度是指测评结果对所测评素质反映的真实程度。对这种真实性
的考评,常见的方法有三种
从内容性质方面分析其内容效度
从效标相关性方面分析其关联效度
从实证方面分析其结构效度
◆内容效度
是指实际测评到的内容与期望测评的内容的一致性程度。当实际
测评到的内容与我们事先所想测评到的内容越一致时,则说明测
评结果的内容效度越高,测评结果就越有效。
内容效度在实际操作中的鉴定主要采用定性分析的方法,有蓝图
对照分析法与专家比较判断法
结构效度
◆结构效度又称作构想效度、构思效度、构念效度、构建效度等。结
构效度是指实际所测评的结果与想测评素质的同构程度。它表明了
在多大程度上,实际测评结果能够被看作是索要测评的素质在结构
上的替代物
◆在素质测评中,它是人们最关心的一种效度。这是由素质测评的间
接性所决定的。人们总是通过选取一些具体的行为测评来判断实际
的素质水平
◆结构效度与检验效度的人对素质结构的理解有直接关系。如果李某
认为忠诚这一素质即对本企业的忠诚,张某认为忠诚这一素质表现
为实事求是的态度,那么对于向其他企业说明本企业产品所存在的
问题这一行为,显然李某与张某会把它归类到不同的素质成分中给
与不同的素质成分中并给与不同的评价。因此结构效度的检验分析
也是一种定性的主观判断。在分析考评过程中,要采取有力措施把
主观影响控制在最低点上。
结构效度
◆结构效度的分析可按一下几步进行

“我们所要测评的素质是对xx的态度、有关xx的品质、有关x的
技能。”像这样一些表述所测评素质的具体形象是什么,结构是
什么,我们并不清楚,它仍然是从具体行为概括出某种意识或观
念,因此对结构效度的分析没有多大意义。这里的构建不是从行
为向观念构建,而是相反,由观念向具体行为的构建。不是简单
还原,而是在更高的水平上抓住所测素质的本质特征,确定一个
可感觉可操作的结构模式,由这种具体的结构模式作为抽象观念
建构的替代物。这种替代物的成分显然应该是我们世纪能够看到
的、听到的、感觉到的东西。例如:外显行为、客观性生理反应
等。素质测评的目标体系实际上就是所测素质的一个行为构建模
型,这种结构模型分别由项目、指标、权重、标度等组成。这种
模型的建构,在很大程度上取决于所测素质本身的特征及其抽象
程度等组成。
要定义或建构一个素质的结构模型,可以从以下几方面着手
首先,采取工作分析方法,对所想测评的素质进行结构分析与行为
分析,确定各种素质结构及其代表的行为
其次,用图表的形式逐一列出工作分析得到的素质因素及其特征行
为。除此之外,还可以通过查找历史上或现在人们对所测评素质
的模型的现成资料,丰富已有分析的结果。
再次,还要另外准备一份与已经建构的模型可能混淆的但关系密切
的其他模型图表。要反问自己并向人说明为什么所测素质是你所
定义的结构模型而不是其他别的结构模型
,评判结构效度,具体方法有
排除法
如果测评结果能明确的排除它所对应素质结构模型的其他解释,那就表
明所获得的测评结果具有较好的结构效度
咨询法
可以请一些有经验的专家就你所获得的测评结果、所对应的素质结构进
行判断或推断,问他们该测评结果实际测评的素质是什么。如果大家的
回答与你所想测评的素质结构几乎一致,那么说明你的测评有较好的结
构效度
相关法
找一个具有较高结构效度的测评工具或结果,与你所获得的测评结果进
行相关性分析,如果相关性很高,说明你的测评结果具有较高的结构效
度
例如:某一个具有“自尊”结构效度的测评量表,它的测评结果就应该
与自信、社交能力及领导作用等测评量表的测评结果成正比,而与诸如
内向性、自卑、孤独等测评量表测评的结果成反比
逻辑分析法
当大家对所测素质的结构模型具有比较一致的认识时,只要能判
定测评内容(工具)选择正确,且整个测评过程除了一切外来干
扰因素,就可以说测评结果具有较好的结构效度。
例如:测评时间足以保证被测评者完成所有的工作,被测评者没
有受到催促因素的影响;测评工具的指导十分明确,被测操作准
确
多元分析
多元分析就是采取聚类分析与主成分分析等数学手段,对测评结
果进行分析,看分析的结果。
例如:所找出的主要因素与分类结果与所想测评素质的结构是否
致,如果一致,则说明所获得的测评记过具有较好的结构效度。
关联效度
◆又称实证效