测试效度及其验证方法...ppt

第五章测试效度及其验证方法(二)¤测试辩论模型的逻辑错误及成因¤累进辩论法a累进效度观主要时期:20世纪80年代中期以后基本观点:整体多维性验证方法:理性辩论辩论框架:图尔明模型整体效度观定义《教育与心理测验标准》(1985)aValidity..referstotheappropriatenessmeaningfulnessandusefulnessofthespecificinferencesmadeformtestscores(从考分中推理出来的特定结论的恰当性、意义性和有用性《教育与心理测验标准》(1999)avalidityreferstothedegreetowhichevidenceandtheorysupporttheinterpretationsoftestscoresentailedbyproposedusesoftests(证据和理论攴持测试使用所需的考分解释的程度)解读(效度概念的内涵)整体多维性¤整体概念:构念效度→整体效度,即效度(不存在类别之分)口多维互补:之前不同类别的效度→同一整体的不同维度(相互补充相互依存,为整体效度提供证据)重心转移口不再是测试本身固有的属性,而在于分数的解释和使用,包括分数解释的合理性、使用决策的恰当性和使用后果的裨益性不再是“有”或“无”的问题,而是“程度”问题不再是单一指标,而是综合评判不再是抽象数值,而是理性结论无所谓效度系数之说¤不再由公式计算,而应逻辑推理Validitymodel(Messick1988:(IA,Kane1992)IA:ScoreinterpretationanduseDescriptiveinterpretations--noparticularusespecifiedDecision-basedinterpretationEraluationviaGeneralizanontestbehaviorRelevanceviareliabilityExplanationintermsassociatedaluesprcObservaObservedUniversalScoreDecision(nference)manticinferences-claimsaboutwhatthetestscoresmearPolicyinferences-amara&Roever,2006:25AssessmentArgument()Evidence-centeredDesign(ECD)EvidencePrinciple(Observation(,valueofobservationsacquisitionprocessasevidencecontextualizeduseEvidence-basedValidation(Weir2005)TestTakerCharacteristicTheory-basedvaliditytting:taskDemand;taskExecutiveSetting:administrationProcessesAposterionEvidenceResponseistherenotaproblemifhaveaclearideaofScori