第12章 设计和实施总结性评价.doc

第12章设计和实施总结性评价
评价需求
确定目标
进行教学分析
分析学****者和环境
写绩效目标
修改教学
开发评测量表
开发教学策略
设计并实施教学的形成性评价
设计并实施总结性评价
开发和选择教学材料
目标
说明总结性评价的目的
阐述总结性评价的两个阶段及每个阶段要做的决定
为比较不同的教学材料设计总结性评价方案
从目的和设计两方面比较形成性评价和总结性评价
背景
前面已经学到:形成性评价是为了改进教学而收集数据和信息的过程。与其形成鲜明对照的是总结性评价,它是为了决定是否采用或继续采用某个教学而收集数据和信息的过程。
形成性评价和总结性评价的差异在几十年前就已然区分,当时每出现一个新的学校课程,或者每出现一个新的教学传递系统,发明人总会说它要比其竞争者好,于是就需要尽快通过研究来证实谁是“赢家”。经常的情况是新的教学并不如传统教学,对于有经验的评价人员来说,这也没有什么可奇怪的,因为新事物还很粗糙,而传统教学已经经过了多年的使用和修正。
所以,有人提出这类比较应该在新方法经过形成性评价,修改了所有重要错误之后,已经可以日常使用的时候才进行。在那个时候,就可以将新方法与其他形式的教学进行比较,精确纪录新方法在学****者表现、学****态度、教师反应、费用、持久性,以及与课程或组织中其他教学兼容性方面的情况。做总结性评价并不一定要对两种或两种以上的教学产品进行比较,总结性研究可以只研究一种新方法的效果。
对于教学设计师来说,形成性评价是有效运用系统化设计过程的基础,其重要性怎么说也不过分,每一位教学设计师都必须能够熟练地运用形成性评价,但是并不要求他们掌握总结性评价,这是总结性评价的“本质”造成的。当需要对一个新的传递系统或者一个新的课程进行公正评价的时候,大多数的决策者都不希望由新系统或新方法的开发者或发明者来做评价,而是聘请外面的、第三方评价人员来进行总结性评价。
最近几年,总结性评价的调子有所变化,问题不再是“谁最好?”,而变成“该教学活动是否解决了引发对此教学产生需求的问题?”,换句话来说,教学被视为解决问题的一种方案,总结性评价的最终问题是“它是否解决了这个问题?”
但是,这不正是我们在实际环境下做形成性评价时所问的问题吗?是的,当时我们是问的这个问题,但是在此目的不同。在形成性评价阶段,我们想用这个信息来改进教学,使教学能促进技能在实际环境下的使用,提高技能运用的有效性。而现在,在总结性评价中,我们要问的是,在形成性评价(无论开发者采用了什么设计策略)完成后,教学是否已经能有效地解决了我们的问题。
因此,评价兴趣已经从比较新方法,分析考试成绩,而转向观察学****者在实际环境中的表现:是否运用了所学技能,运用效果如何?为了回答这些问题,总结性评价要分两个阶段进行:第一个阶段聚焦所感兴趣的教学和组织需求之间的关系,通过利用有关文档完成这步分析。第二阶段做教学的实地试验,类似于形成性评价的第三个阶段,只是目的不同,即要为决策者证实该教学能否产生所期望的结果。
在本章后面的几节中,我们会多次提到“教学”和“教学材料”,我们是将它们作为同义词混用的,因为我们要讨论的总结性评价是针对各种类型教学的总结性评价,不管该教学是采用视频形式、教师手册形式、自学教材形式,还是计算机辅助教学形式。所以,当读到后面,见到“教学”或“教学材料”两个词的时候,你不妨将其视为任一形式的教学。
概念
总结性评价定义为:设计评价研究方案,收集数据,以验证教学材料对目标学****者的有效性。其主要目的是要决定是否继续采用当前所用的教学材料,或者是否要采用有可能满足组织所定义的教学需求的材料。所评价的材料也许并没有经过形成性评价和修改,这些材料可能出自出版社、顾问公司或某个个人。材料长短不一,有的是为一天的研讨会或某种类型的短课程而作,也有的是一学期、甚至一年的课程。材料的长短并不会改变研究的基本设计,但是它会影响完成评价所需要的时间。
总结性评价有两个主要阶段:专家评价阶段和实地试验阶段,专家评价阶段的目的就是要判断当前所用的教学或其他候选教学方案是否能够满足组织所定义的教学需求。实地试验阶段的目的是要记录有望采用的教学在预期的环境下对目标人群的有效性。每个阶段所要进行的分析和决策,。
在专家评价阶段所要进行的活动是为了判断候选教学是否有竞争力,这包括(1)评价组织的教学需求与该教学的相合性;(2)评价该教学的完整性和正确性;(3)评价该教学中蕴含的教学策略;(4)评价教学的效力,以及(5)评判当前用户对此教学的满意度。如果该教学已经为满足组织的需求而做了裁剪,并经过了系统化的设计和开发,以及总结性评价前的形成性评价,那么专家评价可以不做,但是如果该组织不熟悉此教学和它的开发历史,就必须