美国“评估三角形”研究：框架、设计及应用

 

孙芙蓉[1]  谢利民²

 

 

 

摘要：“评估三角形”是美国评价基金委员会2001年在《知道学生所知道的：教育评估的科学和设计》一书所提出的一种教育评估框架，该框架由认知、观察、解释三个要素构成一个协调、联系的整体，能够为不同形式的教育评估提供普遍性的设计原则。本文具体阐释了该框架的结构和设计原则，并举例介绍了该框架在教育实践中的具体应用及其衍生框架。

关键词：“评估三角形”；框架；设计；应用；衍生框架

“评估三角形”（Assessment Triangle）经由美国的评价基金委员会（Committee on the Foundations of Assessment，下文简称委员会）在2001年出版的《知道学生所知道的：教育评估的科学和设计》（Knowing What Students Know: The Science and Design of Educational Assessment）一书提出，便在美国教育评估界产生了重要的影响，被认为是革新性的教育评估的新框架，并在实践中得到了广泛的应用和衍展。

一．“评估三角形”的框架阐释

“评估三角形”框架的提出是基于评价基金委员1998－2001三年的研究成果。在国家科学基金（The National Science Foundation）的支持下，国家研究委员会（National Research Council）于1998年1月成立评价基金委员会，其目的在于回顾和综合科学和测量方面的最新进展，并探索这些进展对于改进教育评估的意义。评价基金委员会的工作中心是发展教育评估的新的类型以更好地服务于公平的目标。经过三年研究，委员会提出关于教育评估的基本观点：

l   教育评估的目的：教育评估是一个综合的整体，其目的是为了发展教育而不断寻求测定学生如何学习的方式。

l   教育评估发展的理论基础：认知科学的进步，对于评估中重要方面的更为宽广的观念，测量科学的进步，解释复杂证据的能力的提高。

l   教育评估的适用原则：“一种类型的评估不能适合所有的情境；同时，一个单一的评估又能用于多种目的”^[1](p．2)。因此，尽管在不同的情境为不同的目的使用的评估看起来是相当不同的，但是，所有的评估都具有确定的普遍的原则。其中的一个重要的原则就是评估总是从证据中进行推理的过程。

   在以上观点的基础上，委员会构建了“评估三角形”的理论框架，见图1。

观察

解释

认知

图1

 

 

 

 

 

 

 

               

因为评估总是从证据中进行推理的过程，因此，每一个评估，不管它的目的如何，都依靠于三个支柱：

l   认知：指“在一个学科领域里关于学生如何呈现知识和发展能力的模型”^[1](p．36)。在任何特定的评估应用中，对于手头正在进行的评估任务，都需要应用一个领域的学习理论来判断对于评估的重要的知识和技巧。

l   观察：指“允许一个人观察学生行动的任务或情境”^[1](p．36)。这些任务和情境能够促进学生去说、去做、或者去创造重要的知识和技巧。评估所要求的学生加以回应的任务并不是武断的，这些任务必须细心地加以设计以支持其与学习认知模型和评估结果的推理模型的联系。

l  解释：指“对观察中获得的行动证据中进行推论的模型”^[1](p．36)。解释包含了所有的用来从可能产生错误的观察中进行推理的方法和工具，它展示了来自一套评估任务的观察如何构成关于被评估的知识和技巧的证据的过程。

以上认知、观察、解释三个因素作为教育评价的三个支柱要素构成了“评估三角形”，而不管这三个因素外显的还是内隐的，最重要的是这三个要素作为评估三角形的任何一角彼此都是互相联系的，其中的一个必然依靠于其它两个，只有三个因素同步行动，评估才会有效，因此，“如果没有考虑到每一个因素，任何一个评估将不能被设计和实行”^[2]。

二．“评估三角形”的设计原则

“尽管有理论和研究的引导，设计总是一个复杂的过程，包括在超出科学领域之外一系列的实际条件的限制中达成最优化”^[3]。然而，尽管有着各种各样的限制条件，“评估三角形”框架则为教育评估提供了普遍的设计原则和过程：

1．认知――设计开始于认知和学习的模型

因为人类在某一领域知识和能力的认知和学习模型很大程度上决定了评估目标的推论，所以，委员会提出的评估设计不是象现有的评估那样从设定目标开始，而是以认知和学习模型为设计的起点。以下是学习模型应尽可能具有的主要特征：

l  基于一个领域的学习者的经验学习。

l  确定一个领域中新手和专家的不同的特征。

l  提供一个发展性的观点，设计从初学者到能手到专家的典型的阶数，并且指出标志性的行为。

l  允许儿童拥有理解学科内容的不同的方式。

l  能够获得一些关于学生在一个领域如何思考和学习的知识。

l  在不同的水平上设计评估以使评估能被用于不同的评估目的。

2．观察――观察情境的设计

观察情境应该被设计成便于收集证据以支持想要得到的关于学生所知道的和所能做到的相关推论。具体观察情境的设计具体包括以下方面：

l  任务设计：任务设计将关注任务的认知方面的要求（即成功的执行任务所需要的精神方面的过程和知识），而不主要关注表面的特征（比如呈现给学生怎样的任务或者要求学生回答的表格）。

l  任务难度：任务的难度应该就知识和认知过程所要求的方面做出解释，而不应该简单以统计条目的难度指数作为指标。比如，不能够简单地将回答条目的正确率作为难度的指标。

l  记录：以认知为任务设计的中心，因此，记录的关注点应该是学生理解的性质而不是信息所产生的简单的数量；而且，在许多例子中，性质能够被转换成数量模型加以记录。

l  任务装置和评估工具的配合。设计者应该仔细地建立和选择任务装置以区别学习模型中理解的不同水平和种类。

l  效度：对于测量的出的数据的真实性的解释将部分的依赖于经验性证据。

l  评估结果的报告：尽管结果报告发生在评估系统的最后，但评估设计必须从一开始就确认信息的报告方式。这里，要区分有关标准测试（norm-referenced testing）和有关判断标准测试（criterion-referenced testing）报告结果的显著的区别。前者把一个学生的成绩同标准组相比较，后者的报告同学习的模型相关联，着重描述学生学习学科内容的方式和能力的不同形式。

l   公平：一个测试的公平决定于许多方面，但核心是相对效度的理念：一个公平的评估能够从人和人、小组和小组中产生可比较的有效的推理。考虑公平性的一种方式是在设计评估时考虑个体学习者的所受教育的历史。

   3．解释――两种解释方式

   目前关于评估有两种解释方式：无条件解释和条件性解释。根据学习的认知的观点，委员会更提倡条件性解释。

l   无条件解释：在无条件解释中，解释者不依靠他们关于被检查者背景的任何信息。这种方法只有以下两种情况下才能合理地工作：第一，学生和任务之间几乎没有独特的联系；第二，有充分多地任务能够有助于超越所有的关联。这种评估的缺点是排除了有关学生教育历史的相关知识。

l   条件性解释：在条件性解释中，观察者或者记录者拥有学生教育背景的信息，从而这种信息影响了解释。条件性解释的方法又分为三种：第一种方法是观察者影响了观察的背景或条件；第二种方法是从学生的成绩中提取信息以获得关于学生背景性的信息；第三种方法是让学生根据他们自己的新区、力量和背景在评估任务中进行选择。