1.制定指标应把握的几点特殊要求
制定教育评价的指标体系除了要遵循评价的一般原则之外,还要遵循几点特殊的要求:
(1)科学性。
(2)各项指标要有独立性,其内涵不应与其它指标相互重叠。
(3)各项指标要协调,一方面应能从各个侧面反映目标要求,在主要规定性上完整地表现出评价对象的特征;另一方面,指标间不应相互矛盾和冲突。
(4)指标应是可测的。指标应尽量使用行为化、操作化的语言,以便采用适当方法获得较为直观、便于处理的信息。
(5)指标应有可行性。这是指指标设定的水平应符合学校的实际,有群众基础,为他们所认同,不能过高或过低,也不能过于复杂,不便于操作。
2.指标体系的设计方法
指标体系设计大致分为两步,即分解目标和制定权重。
分解目标是将总目标解析为层次分明、可测量的具体指标条目的过程,这一过程大概要经过以下几步:
(1)研究目标结构,将一级目标逐个列出。
(2)将每个一级目标逐层分解,可列为第二级、第三级目标。直至定出可测量、可操作的末级指标。一般来说,为了操作方便,指标分解到第三级就可以了。分解后,要从总体上审查指标是否合理,如有内涵重复的要合并;如有矛盾的要修正;对不可测量的,或舍去,或另立一个指标系统。
制定权重是对各项评价指标根据其在总体指标体系中作用大小而赋予一定的价值,它是以小数值来体现的,在0~1之间取值,同一评价指标体系中各项权重之和为1。科学、客观地制定权重很重要,由于权重表示各指标的地位,被评价者会对权重较大者给予较大关注,其导向的作用是十分明显的。
权重的分配方式可以有两种:直接分配和分级分配。
①直接分配是将权数直接分配到每一指标身上,这种分配方式在指标数目较少的情况下使用起来较为方便,数目一旦较多,每个权重值都非常小,造成各指标的评价分值都很小,难以区别差异大小。
②分级分配方式是将指标分为几个层级,每一层级都被看作总权数为1的相对独立的指标系统,在它的内部按各个指标不同地位分配相应权数,这一方式克服了直接分配方式的弱点,使得各指标在本层级中差异较为明显,便于比较和分析。
确定权重的主要方法有两种:专家会议法和简化特尔裴法。
(1)专家会议法是邀请一批专家开会共同讨论指标权数的确定,大家面对面交换意见并最终达成一致看法。这一方法的优点是考虑问题全面,但有可能形成权威专家一言堂,或一些人由于顾虑大而不愿意发表独特见解的情况。
(2)特尔裴法是专家背对背、以匿名方式展开讨论确定权重的一种方式。运用特尔裴法要经过几次意见反馈,过程比较复杂。考虑到教育评价指标权重确定相对简单,因而可将其“背对背”这一特征借来运用,其余环节相对简化。这一方法的实施步骤大概是:
第一,确定被征询意见的指标体系,编制征询意见书;
第二,选择专家;
第三,发放征询意见书,专家独立填写完成;
第四,统计处理专家意见,将模糊评价转换成等级分,计算平均数。这里要将各模糊评价等级赋值,如很重要为95分、重要为80分、一般为65分、不重要为50分。