論教育評價的效度及其構(gòu)建

黃小平+胡中鋒

收稿日期：2013-11-12

作者簡介：黃小平，華南師范大學公共管理學院博士研究生，助理研究員；胡中鋒，華南師范大學公共管理學院教授，博士生導師，副院長。（廣州/510009）

*本文系2012年廣東省軟科學研究重點項目“廣東省科技創(chuàng)新型人才素質(zhì)結(jié)構(gòu)與評價標準研究”（項目編號2012B070300050）資助成果。摘要：教育評價效度的主要問題是將教育測量的效度概念框架系統(tǒng)照搬至教育評價的效度概念系統(tǒng)，適合于教育評價理論與實踐需要的效度概念系統(tǒng)尚未真正建立。本文依據(jù)教育評價自身的內(nèi)在屬性特征建構(gòu)了8個教育評價的效度概念：目的效度、建構(gòu)效度、內(nèi)容效度、交叉效度、主體效度、過程效度、功能效度、結(jié)果效度，并對其依據(jù)及其內(nèi)涵進行了闡述。

關(guān)鍵詞：教育評價；效度；構(gòu)建 一、問題的提出

教育評價是根據(jù)一定的教育價值或教育目標，運用可行的科學手段，通過系統(tǒng)地搜集信息、分析解釋，對教育現(xiàn)象進行價值判斷，從而為不斷優(yōu)化教育和教育決策提供依據(jù)的過程。[1]在教育評價實踐中，一般要考察教育評價的結(jié)果多大程度上實現(xiàn)了既定的教育價值或目標；在具體評價時要考察教育評價指標反映教育目的的實現(xiàn)程度；在搜集各類教育評價信息時，特別是在運用評價工具和評價方法時要考察其能在多大程度上有效實現(xiàn)了對教育對象的測評；在實施某一評價活動時，如何控制影響評價結(jié)果有效性的各種誤差變量，進而保證評價的內(nèi)在效度；做教育決策時多大程度上可以將教育評價的結(jié)果推廣至更大的被評價對象的情境、范圍和領(lǐng)域，從而保證教育評價的外在效度等等諸如此類問題。從根本上說，一切教育評價活動的實現(xiàn)程度都必須通過教育評價的效度（validity）來進行評估和檢驗，并以此來判斷教育價值或教育目標的實現(xiàn)程度。

二、教育評價效度的問題概述

（一）將教育測量的效度概念系統(tǒng)照搬至教育評價的效度概念系統(tǒng)

教育測量是對教育中的各種客體在某個或者多個屬性上的特征的描述。其獨特性在于測量是一種量化的描述，即運用數(shù)字系統(tǒng)對教育對象的屬性的量加以刻畫。在教育測量學的概念系統(tǒng)中，效度（validity）的經(jīng)典定義是“指人們測量到了所想測量的東西的程度”[2]。因此，研究者在考察教育客體的效度類型時通常非常強調(diào)四種效度：結(jié)構(gòu)效度（construct validity）、內(nèi)部效度（internal validity）、統(tǒng)計結(jié)論效度（statistical conclusion validity）、外部效度（external validity）。概括而言，結(jié)構(gòu)效度表示的是實際測量到的結(jié)構(gòu)與預(yù)設(shè)的理論或構(gòu)念（construct）相吻合的程度；內(nèi)部效度表示的是變量與變量之間的確定性關(guān)系的程度；統(tǒng)計結(jié)論效度意指結(jié)論能夠被解釋并反映事物屬性的程度；外部效度意指測量的結(jié)果能夠被推廣到其他情境的程度。

而教育評價是在某種標準（目標）之下對教育對象的價值或者特征的評判。價值在教育評價中不僅可以成為評價的對象，如考察某個教育對象的價值，還可以成為教育評價的標準，如評價標準的選擇和確定。因此，從這一點而言，教育評價在評價中具有一定的主觀性，是主觀估計與客觀測量的統(tǒng)一，而且教育評價活動往往比教育測量活動要復(fù)雜得多，從教育評價構(gòu)成的系統(tǒng)要素而言，一項評價活動包括了價值目標和標準、組織機構(gòu)和人員、評價方法與技術(shù)、評價對象與評價人員的心理調(diào)控等。從教育評價的客體（教育對象）以及關(guān)注的評價內(nèi)容要素而言，教育評價遠比教育測量關(guān)注的內(nèi)容維度、評價方法、判斷依據(jù)、價值判斷等方面要豐富和復(fù)雜得多。因此，在考察教育評價的效度評價時我們不能忽略了教育評價與教育測量兩者的聯(lián)系，但同時更應(yīng)當看到兩者之間的區(qū)別，在實際應(yīng)用時不能將教育測量中的效度概念移用至教育評價的效度概念體系當中。另一方面，應(yīng)根據(jù)教育評價的研究對象及自身屬性特征來確立其內(nèi)涵及其概念，并建立教育評價特有的效度概念體系。

（二）適合于教育評價理論與實踐需要的效度概念系統(tǒng)尚未真正建立

建立教育評價的效度概念系統(tǒng)是教育評價理論和實踐發(fā)展的需要。在國內(nèi)，少有研究者對教育評價的效度理論進行專門系統(tǒng)性的研究，較有代表性的研究有顧志躍[3]，他從提高教育評價質(zhì)量的角度出發(fā)，詳細考察并分析了影響中小學教育評價質(zhì)量的三個效度因素：外在效度，表現(xiàn)為評價結(jié)果與目的分離；內(nèi)在效度，主要表現(xiàn)是信息與事實的之間存在偏差；結(jié)構(gòu)效度，主要表現(xiàn)為指標體系與評價對象的非同構(gòu)現(xiàn)象。這些效度概念仍然是建立在教育測量學的概念體系范疇之內(nèi)，并未對教育評價的效度概念和體系做出更大程度上的拓展和建構(gòu)。某種程度上而言，對教育評價的效度概念關(guān)注的甚少影響制約著我國教育評價理論朝著縱深方向發(fā)展。

而國外尤其是美國的研究者對效度理論的研究非常豐富，在教育測量與評價領(lǐng)域內(nèi)，現(xiàn)代意義上的效度理論已經(jīng)完全不同于傳統(tǒng)的效度理論，如：（1）現(xiàn)代效度理論被定義為不是測量工具本身的屬性，而是對測驗分數(shù)進行解釋和使用的支持程度。（2）Messick[4]（1989）在對教育考試的效度研究中提出了“效度整體觀”（the unified conception of validity）的概念，并為效度驗證（validation，簡稱效驗，以下同）提出了具體的指導。（3）效驗被認為是一個評價的過程。效驗需要使用定量和定性的方法搜集足夠多的證據(jù)來支持基于測試分數(shù)做出的推斷。（4）傳統(tǒng)效度理論中信度與效度的概念不同。在現(xiàn)代效度理論中，信度作為效度的證據(jù)來源也是效度的一個不可或缺的重要組成部分。在現(xiàn)代效度理論下，效驗要求對測驗從編制到解釋、再到使用后果的整個程序進行拷問，因為“每個環(huán)節(jié)都是效度證據(jù)的重要來源”[5]。教育評價是否真實有效，需要“搜集證據(jù)”來驗證是否達到了既定的教育目的或目標。因此，從教育評價理論發(fā)展的實際需要和國外現(xiàn)代效度理論發(fā)展的實際來看，需要根據(jù)教育評價本身的特點和屬性來構(gòu)建其概念系統(tǒng)。

·教育管理· 論教育評價的效度及其構(gòu)建 三、教育評價效度概念的建構(gòu)

由于教育評價所涉多個價值標準，因此較難依據(jù)一種價值標準來判斷教育評價的效果，應(yīng)從多個維度對教育評價的效度進行拓展并構(gòu)建。

本文以構(gòu)成教育評價系統(tǒng)的要素作為邏輯基點，分別考察評價過程中的目標、體系、內(nèi)容、標準、方法、功能、主體、過程、結(jié)果等要素特征的有效性來論述建構(gòu)教育評價的效度概念體系。

（一）目標效度，即某種教育評價目標以及教育理念的實現(xiàn)程度

目標效度即教育評價達到了某個既定的教育目標或價值的程度，這是教育評價最根本的價值體現(xiàn)，因為效度本身就是以“目的或目標”的實現(xiàn)程度來進行考察的。因此，目標效度是以針對“教育目標、教育目的”的實現(xiàn)為判斷依據(jù)的。如果某項教育評價結(jié)果在實踐中有證據(jù)表明達到既定的目標，實現(xiàn)并完成了最初所設(shè)定的教育目標價值，那么即認為評價項目具有一定的目標效度。從根本上說，目標效度所要考察的是教育評價的總目標以及總目標下的各個評價維度的子目標的實現(xiàn)程度，反映了教育評價的根本目的和價值要求。

（二）建構(gòu)效度，即評價體系的目標和教育對象之間的一致性程度

Messick[6]認為現(xiàn)代效度理論中最核心的效度是建構(gòu)效度，并不存在幾種不同的效度，如內(nèi)容、實證、結(jié)構(gòu)、概括化、外部和結(jié)果。我們認為將所有的效度類型都歸結(jié)為一個建構(gòu)效度顯然太過于籠統(tǒng)，不利于對各種使用目的不同的效度做出區(qū)分，也不太符合教育評價的實際情況。因此，在教育評價領(lǐng)域中，建構(gòu)效度不同于教育測量學的建構(gòu)效度的含義，它通常是以設(shè)定的某個評價體系和編制的評價量表（測驗工具）來表征和反映被評價對象。比如抽象的概念如創(chuàng)造力、智能；評價對象所在的水平狀態(tài)如教育質(zhì)量水平以及所包含的各要素的實現(xiàn)程度。建構(gòu)效度所關(guān)注的是評價體系中的各個行為指標、要素特征、評價維度是否真實反映了評價的客體對象，最終要表達的是教育評價體系中的目標和教育對象之間的一致性程度。

因此，建構(gòu)效度不僅是要關(guān)注理論或構(gòu)念系統(tǒng)（有時可能并不需要某個構(gòu)念系統(tǒng)，如依據(jù)一項結(jié)果是否達到教育政策的要求來給予評價），更要關(guān)注評價體系是否真實反映了評價客體的心理狀態(tài)、行為取向、能力水平各方面的變化。同時一個具有良好建構(gòu)效度的教育評價工具還可以準確地將一組被試和另一組被試區(qū)分開來。比如，一個評價工具要檢測學生面向社會收集信息的能力，在檢驗這一評價結(jié)果時，如果所設(shè)計的評價項目能夠?qū)⑹占畔⒛芰娕c能力弱的學生分別開來，那么這個評價工具就有了建構(gòu)效度。反之，如果評價的體系、維度不能反映學生在收集信息方面真實存在的能力差別，這個評價工具就沒有建構(gòu)效度。

（三）內(nèi)容效度，即教育評價需要考察的內(nèi)容或行為樣本的適當程度

教育評價在實際操作時，需要對教育評價的總目標進行分解，總目標又具體分解為具體的教育子目標，而子目標又規(guī)定了哪些內(nèi)容需要被考察以及相應(yīng)的權(quán)重大小如何。因此，內(nèi)容效度是對于要考察的內(nèi)容或者行為樣本的適當程度。在實際的評價過程中，內(nèi)容效度是通過對評價目標以及具體的可操作的內(nèi)容維度目標來進行檢驗的：一是反映總目標的維度內(nèi)容的充分代表性，即維度目標是否被覆蓋了所要考察的全域范圍中的總目標要求；二是要評價的項目應(yīng)是已界定好內(nèi)容范圍的代表性樣本；三是要對每個項目所要評價的具體行為（如知識與技能）與上一級評價目標應(yīng)保持一致，同時各子目標要相互獨立，不能重疊，要力圖反映總目標的要求。考察內(nèi)容效度可采用復(fù)本法、再測法或者經(jīng)驗判斷法。

（四）交叉效度，即各種教育評價方法相互檢驗和驗證的一致性程度

實際評價中，多元性評價標準給評價帶來了一定的困難。有時候，評價者在操作層面上將不同的標準加以融合是出于某一實用的動機，但往往忽略了“程序或技術(shù)的方法”與“邏輯證明的方法”之間的區(qū)別，對自己使用的方法背后的方法論缺乏自覺和反省。[7]結(jié)果，專家群體則很難對他們的研究進行質(zhì)量評價。由于標準不同，這時在評估教育評價的效度時需要充分考查各種評價方法和標準的交叉效度。三角互證法可以用來檢驗不同的證據(jù)來源或不同的資料收集方法，其目的是為了在不同的標準之間進行相互證實。因此，可將此方法用作評估檢驗交叉效度的一種方法。

在教育評價中一般有兩種基本評價方法：量的評價方法（亦稱量化評價方法）和質(zhì)的評價方法（亦稱質(zhì)性評價方法）。由于這兩種方法采用不同的研究范式，因此，在研究方法、路徑和步驟等方面具有很大的差異，評價效度的類型也有本質(zhì)差異。如表1所示歸納了兩種不同研究范式下的代表性方法以及據(jù)此建立的評價效度類型。

有必要指出的是，當兩種方法整合在一起使用，這時如何考察評價方法的效度？其總的原則是在討論量的評價結(jié)果時，則應(yīng)考慮按數(shù)學概率的規(guī)則。將研究的結(jié)果推廣到從中抽樣的總體當中的適當性。在討論質(zhì)的評價結(jié)果時，則要根據(jù)質(zhì)的研究目的、研究方法和策略以及研究步驟采用不同的效度評價標準及效度類型。如表1所示。無論是量的評價方法還是質(zhì)的評價方法都需要從多方面尋找“效標證據(jù)”，同時考慮效度的測量指標的易獲取性和可能性等因素。

（五）評價主體效度，即各種評價主體對評價客體評價結(jié)果的正確性和公平性

現(xiàn)代教育評價實踐中，往往存在多個評價主體和多個利益相關(guān)者。因此，不同評價主體的評價目的不同，評價觀念、評價標準、評價方法、評價工具的使用都可能帶來很大的差異甚至相反，從而使評價失去效度。從本質(zhì)上說，評價效度是針對于目的而言，不同評價主體由于評價目的、價值觀、立場、標準不同，其評價效度可解釋的范圍、目的、價值性以及評價本身的意義都會不一樣。因此，我們在對某項教育活動進行評價時，保證評價主體的一致性對于保證同一目的效度的評價就很重要。當然，即使是同一評價主體，其主體成員之間也存在著個體間的差異，在對某項教育目標評價時也可能因為個體之間對評價標準把握的不一致性從而帶來評價者信度較低的可能，進而影響到評價的整體效度。

因此，在教育評價活動結(jié)束后，要考察教育評價的主體效度，對于評價主體效度要一分為二的來看待。

一方面，當存在多個評價主體時，此時就存在著多個評價主體效度，不同主體的評價效度之間還可以作為相互補充，便于教育決策者可以在多個效度之間合理篩選和評價，也便于集思廣益，從而有利于教育決策者獲得更多的教育評價信息，廣開言路。

另一方面，由于存在多個評價主體，這會給效度評價帶來一定的困難，使教育評價結(jié)果及解釋存在著較大模糊性和不確定性，因而帶來不同教育評價結(jié)果。尤其涉及到評價利益關(guān)系時，更會影響到教育評價活動的公平和公正，進而影響評價結(jié)果的有效性。因此，在重視評價主體效度的多元性對教育評價結(jié)果的促進作用的同時，還要根據(jù)教育評價使用的目的來對教育評價主體效度進行區(qū)分、比較和鑒別，選擇評價結(jié)果效度較高的評價主體。

（六）過程效度，即教育評價收集各種評價信息和資料過程的有效性

教育評價的過程是由評價者組織實施，綜合運用多種評價方法和工具，收集評價數(shù)據(jù)和信息的過程。評價活動的過程還是一個不斷累積式、動態(tài)化評價的過程。因此，評價過程的效度關(guān)注的焦點是被評價者的“動態(tài)發(fā)展過程”，更加注重的是被評價者在既定評價目標下成長發(fā)生的經(jīng)歷，以及在整個教育活動中的歷史和現(xiàn)實的績效總和。如利用檔案袋評價方法收集學生的優(yōu)秀作品進行的表現(xiàn)性評價，再如對學校的發(fā)展性評價采用的增值性評價方法等。另一方面，教育評價的過程是整個教育評價活動開展的重要的評價步驟和實施依據(jù)，評價過程中的任何一個環(huán)節(jié)和關(guān)鍵評價要素，如對評價指標把握的寬嚴、對同一指標評價時產(chǎn)生的誤差等都可能會影響到整體評價效度。又如在收集資料時，是采用問卷調(diào)查還是結(jié)構(gòu)訪談的方法？是采用量的分析方法還是質(zhì)的研究方法？一旦使用了不同的方法，那么評價的策略和重點就不相同。因此，在評價過程中需要綜合運用多項效度指標。

過程效度如何考察需要綜合來看。當收集被評價者的評價信息時，更多的則要關(guān)注資料的內(nèi)部效度。當構(gòu)建指標時，要充分考慮指標的科學性、完備性、獨立性的同時還要考慮指標的區(qū)分效度以及各測量指標是否反映了總體目標程度的內(nèi)容效度。要考察現(xiàn)有測量工具的預(yù)測效果時，則要考察某個工具的即時效度。當使用測評工具如某個心理量表時，則要關(guān)注測評工具的構(gòu)念（construct）效度。當要對學生進行學業(yè)能力水平的形成性評價時，則要用到認知診斷評價工具，還要更多關(guān)注模型與方法的統(tǒng)計結(jié)果效度。因此，對于評價過程的效度評價而言，則是在各種綜合效度都比較高的情況下作出的整體綜合性的效度評價，有必要對評價過程當中使用到的方法、工具進行再評價，再檢驗（亦稱為元評價），以確保評價的過程效度。

（七）功能效度，即實現(xiàn)教育評價目標既有功能的程度

教育評價具有選拔、鑒別、遴選、判斷優(yōu)劣、排序等功能，因此我們要考察教育評價的功能效度。功能效度是指實現(xiàn)了教育評價的既有功能的程度，體現(xiàn)的是教育評價的效用性（utility）。功能效度評價的內(nèi)容具體主要表現(xiàn)為要體現(xiàn)教育評價增量性的指標，且要體現(xiàn)可行性、容易理解也便于操作。因此，功能效度關(guān)注的焦點是與教育評價功能直接相關(guān)的“結(jié)果性指標”效度。比如高考的評價功能是選拔，那么功能效度則具體表現(xiàn)為高考的入取率、重點大學入取率等功能性的可考察指標，這些指標可以作為效度評價的最重要依據(jù)。事實上，教育評價的功能效度直接體現(xiàn)了教育評價目標的實現(xiàn)。持有何種教育目的實際上決定了評價者使用何種評價功能，也因此決定了評價的功能效度。

（八）結(jié)果效度，即教育評價結(jié)果的實現(xiàn)程度

功能效度和目的效度以及最終表現(xiàn)的結(jié)果效度都是一脈相承的，即評價結(jié)果在多大程度上實現(xiàn)了預(yù)期評價目的、評價目標，體現(xiàn)出評價者使用意圖以及教育目標價值，同時也能更好反映被評價者的評價需求，并能在實踐中取得成效。因此，概括起來，結(jié)果效度可以從以下四個方面進行考察。

第一，結(jié)果效度要反映評價者使用評價的目的，即滿足目的的需要。

第二，評價信息的反饋要反映被評價者的各種需求，特別是教育評價的結(jié)果要讓被評價者得到認同，這樣才能達到教育評價的最初設(shè)想和目的，也才能更好的發(fā)揮教育評價的督導作用。

第三，評價的結(jié)果要能在實踐中得到驗證和應(yīng)用，并最終取得一定的教育成效，即效用（utility）。

第四，教育評價結(jié)果可推廣到的目標團體和范圍。

因此，結(jié)果效度的內(nèi)容包括：滿足評價目的，得到被評價者的認同需求，有教育成效，可推廣性。

綜上所述，教育評價的效度概念的內(nèi)涵是非常豐富的。因此，構(gòu)建效度評價的指標應(yīng)當是多維的、多視角來綜合考量的。與教育測量的效度概念相比，教育評價的效度概念被賦予的內(nèi)涵遠比測量的效度要深刻豐富得多。通過以上分析論述，教育評價的效度可概括為以下八個基本方面：（1）目標效度——某種教育評價目標以及教育理念的實現(xiàn)程度。（2）建構(gòu)效度——評價體系的目標和教育對象之間的一致性程度。（3）內(nèi)容效度——教育評價需要考察的內(nèi)容或行為樣本的適當程度。（4）交叉效度——教育評價方法、標準相互檢驗和驗證的一致性程度。（5）評價主體效度——各種評價主體對評價客體評價結(jié)果的正確性和公平性。（6）過程效度——教育評價收集各種評價信息和資料的過程的有效性。（7）功能效度——實現(xiàn)了教育評價目標既有功能的程度。（8）結(jié)果效度——具體表現(xiàn)為教育評價最終的價值實現(xiàn)程度和滿足主客體的價值實現(xiàn)程度，具體評價的維度又可分解為目的效度、需求效度、成效效度以及外在效度。

四、結(jié)語

以上僅從教育評價本身的屬性特點建構(gòu)了教育評價的效度概念，并試圖拓展和構(gòu)建了教育評價效度的內(nèi)容及其評價的方法。實際上，由于教育評價活動本身的豐富性、復(fù)雜性和多元性，決定了教育評價效度的評價方法也存在著多元化，正如巴頓在《效用為本的評價》中所提到的那樣，“要確保評價具有效用、可行性、理性和準確性，就必須具有情境的敏感性、方法的靈活性，評價者角色的多元化、良好的政治修養(yǎng)和創(chuàng)新”[9]。為此，我們還要在實踐中不斷尋找出具有可實際操作性和可考量性的效標評價依據(jù)。