教育評價指標體系的可靠性和有效性研究

摘 要：科學(xué)、客觀、可行的評價指標體系，是得到科學(xué)、客觀、公正的評估結(jié)論的基礎(chǔ)?；谠u價的視角對評估指標體系的可靠性和有效性進行分析，若評估指標所反映的內(nèi)容不在同一目標上，說明有部分評估指標偏離了評估目標，即評價目標與評估指標的一致性較差，導(dǎo)致評估指標體系的穩(wěn)定性較差。在對指標體系有效性分析的基礎(chǔ)上，若某些末級指標處于相同的結(jié)構(gòu)狀態(tài)中，則可認為這些指標是整個指標體系中最為合理的指標；若某兩個指標被納入同層結(jié)構(gòu)，但歸為不同的二級指標，表明這兩項指標具有分散的特征。

關(guān)鍵詞：元評價；教育評價指標體系；可靠性；有效性

中圖分類號：G40-058 文獻標志碼：A 文章編號：1002-0845（2013）03-0072-02

一、元評價理論

“元（meta）”來自希臘文，也是英語和德語的單詞，其原意為“在……之后”，引申為“對……的反思”，表示一種更高的邏輯形式。這一概念自1969年提出至今，其所包含的內(nèi)容越來越豐富，由最早的對一項評估、評估系統(tǒng)或評估工具的評價，發(fā)展到對評估自身、評估結(jié)果、評估技術(shù)、評估反饋等方面的評價。目前，“元評價”受到了國內(nèi)外學(xué)者的廣泛關(guān)注。

元評價就是對評價本身的評價， 是提高教育評價質(zhì)量、促進教育評價健康發(fā)展的重要手段。元評價的主要目的是檢驗評價中可能出現(xiàn)的各種偏差，運用統(tǒng)計的方法估計產(chǎn)生的偏差對評估結(jié)論的影響，因而評價中的各種問題都應(yīng)該是元評價考慮的對象。候光文教授認為，教育評價的元評價是評價的重要組成部分，它與一般的評價活動在方法的運用上有許多共同之處。

對于一項評估活動而言，指標體系的構(gòu)建是教育評價的前提和依據(jù)。構(gòu)建科學(xué)、客觀、可行的評估指標體系，是得到科學(xué)、客觀、公正的評估結(jié)論的基礎(chǔ)，是評估功能得以有效發(fā)揮的前提。本文基于元評價的理論視角，運用數(shù)據(jù)統(tǒng)計軟件SPSS10.0對指標體系的有效性和可靠性進行分析，以期探索一種有效的元評價分析方法。

二、對評價指標體系的可靠性和有效性的分析

筆者以某區(qū)專業(yè)評估為例，以其使用的指標體系為研究對象，對指標體系的可靠性和有效性進行統(tǒng)計分析。

1.指標體系的可靠性分析

從理論的角度來看，評估結(jié)果的客觀性依賴于指標體系的可靠性。指標體系的可靠性，即指標體系的可靠程度，應(yīng)理解為指標體系本身應(yīng)具備的穩(wěn)定性，表現(xiàn)為指標體系內(nèi)部各級指標的一致性。如果指標體系具有較好的可靠性，則指標體系的科學(xué)性較高，評估結(jié)果的信度系數(shù)較好。

本文采用分半法對評估指標體系的可靠性進行分析。一般情況下采用奇偶分半、難度分半、內(nèi)容分半等方法進行分半。在實際應(yīng)用中，指標體系的末級指標一般是依據(jù)一個評估目標分解而成的，具有較高的獨立性，采用奇偶分半可使兩半的指標體系在難度上基本相等，本文采納奇偶分半法對末級指標進行分半。

運用SPSS10.0數(shù)據(jù)統(tǒng)計軟件，定義二十七項末級指標分別為ZB1、ZB2、ZB3……ZB27，分別錄入各個專業(yè)對應(yīng)的自評得分。在“分析”選項中選中“一致性分析”一項，并將“一致性分析”對話框中的方法選擇定義為“分半系數(shù)”，得到的分析結(jié)果如下：

Correlation between forms （相關(guān)系數(shù)）= 0.2460

Unequal-length Spearman-Brown （不等長距離分半系數(shù)）=0.3950

其中“不等長距離分半系數(shù)”是指在本次分析中，“一半指標”與“二半指標” 的數(shù)量不同，“一半指標”有十四項末級指標，“二半指標”有十三項末級指標。本研究采用不等長距離分半系數(shù)，即專業(yè)評估指標體系的可靠性系數(shù)為0.3950。

2.指標體系的有效性分析

從教育統(tǒng)計與測量的角度來看，有效性是指一次測量的有效程度。如果一次測量能測出指標體系的特性，則認為這個測驗或量表是有效的。

評估指標的有效性可以理解為評估指標能夠在多大程度上描述評估對象的特質(zhì)。在教育評估中，如果確立的指標不能反映或不能完全反映評估對象的特性，那么該指標體系就不具備有較高的有效性。

本文采用結(jié)構(gòu)效度分析法分析指標體系的有效性，即首先是計算各指標協(xié)方差矩陣的特征值和特征向量，并構(gòu)造各指標的加權(quán)組合，再從各個加權(quán)組合中尋找“統(tǒng)計結(jié)構(gòu)”，最后考察“統(tǒng)計結(jié)構(gòu)”和原結(jié)構(gòu)是否一致，如果一致，則認為有效度較高，即有效性良好。

采用SPSS10.0數(shù)據(jù)統(tǒng)計軟件進行數(shù)據(jù)分析，定義二十七項末級指標分別為ZB1到ZB27，用于記錄二十七項末級指標的得分，分析結(jié)果顯示數(shù)據(jù)有誤。經(jīng)過對二十七項末級指標原始數(shù)據(jù)的核查，發(fā)現(xiàn)第十二項末級指標（ZB12）的數(shù)據(jù)全部為4，從數(shù)據(jù)統(tǒng)計分析的角度看，此數(shù)據(jù)不具有區(qū)別度，對需要提取的公因子的貢獻率為0，為此在進行因素分析前，需剔除末級指標ZB12。

剔除末級指標ZB12后，對剩余的二十六項末級指標的因素分析結(jié)果為：二十六項末級指標可以由11個因子進行解釋。這11個因子的特征值都大于1，方差貢獻率（%）分別為13.580、10.789、9.039、7.411、7.035、6.146、5.463、5.068、4.277、3.944和3.874，累計方差解釋率為76.624%，能夠解釋原始變量方差的76.624%以上。從理論上看，有關(guān)二十六項末級指標的因素分析是科學(xué)有效的，其提取的公因子的解釋率達到76.624%。因此，應(yīng)在剔除第十二個指標后尋找指標的統(tǒng)計結(jié)構(gòu)。運用SPSS10.0數(shù)據(jù)統(tǒng)計軟件，運用主成分分析法分析11個公因子（G1-G11）的初始載荷矩陣，可以得出二十六項指標在每個公共因子上的權(quán)值。在初始載荷矩陣中，有的變量在公共因子上的載荷分配不太理想，出現(xiàn)了同一個一級指標的載荷值過高或過低的情況，難以決定公因子的意義。為此需要用斜交旋轉(zhuǎn)的方法進行轉(zhuǎn)軸，解決載荷分配不理想的問題。運用SPSS10.0數(shù)據(jù)統(tǒng)計軟件，在旋轉(zhuǎn)方法選項中選擇斜交旋轉(zhuǎn)方法，并選擇剔除絕對值小于0.1的斜因子載荷值的選項。在結(jié)構(gòu)矩陣中，可以根據(jù)各指標在斜因子軸上投影值的大小來決定因子的意義，或以此作為因子命名的依據(jù)。

可對二十六項指標進行第一次歸屬分析，以完成對末級指標的歸類。對于有三級甚至四級結(jié)構(gòu)的評估指標體系，為了準確判斷該評估指標體系的有效性，應(yīng)在上述分析的基礎(chǔ)上進行第二次因素分析，以尋找更高一級的內(nèi)在結(jié)構(gòu)。

三、結(jié)果與討論

1.指標體系可靠性分析的結(jié)果與討論

通過以上分析結(jié)果可知，專業(yè)評估所采用的指標體系的可靠性系數(shù)為0.3950，分析結(jié)果說明本次評估所采用的指標體系的可靠程度并不高。

指標的設(shè)計應(yīng)遵循一項重要的原則，即指標同層次間相互獨立的原則。由于教育現(xiàn)象的復(fù)雜性，導(dǎo)致在設(shè)計指標的過程中要做到同層次所有指標間完全相互獨立是十分困難的。在這種情況下，指標體系只要達到了低度相關(guān)，則可認為指標間的獨立性較好。在對本例專業(yè)評估指標體系可靠性的分析中，“一半指標”與“二半指標”之間的相關(guān)系數(shù)為0.2460，說明指標間的獨立性較好。表明在末級指標這一層次上，指標之間存在因果關(guān)系的可能性較小，每一個指標各自代表一個獨立的內(nèi)容，它們之間重疊的部分不多，包含與被包含的關(guān)系不明顯，也沒有出現(xiàn)高度相關(guān)的情況，符合指標同層次間相互獨立的原則。然而，指標體系的獨立性較好并不代表指標的內(nèi)容設(shè)計具有合理性，這僅是確定評估指標應(yīng)遵循的原則之一。

從分析結(jié)果來看，本例專業(yè)評估指標體系的可靠性系數(shù)僅為0.3950，說明指標體系的可靠程度不高，二十七項評估指標體系所反映的內(nèi)容不在同一目標上。評估指標是對評估目標的具體化，是由評價目標分解而成的，其集合應(yīng)該是對評估目標的可靠性的反映，這樣才能形成一個相對穩(wěn)定的指標體系，才能判斷出被評估對象的真實價值。而評估指標所反映的內(nèi)容不在同一目標上，說明指標較分散，有部分評估指標偏離評估目標，評估目標與評估指標的一致性較差，從而導(dǎo)致評估指標體系的穩(wěn)定性較差。此外，評估主體不同，也是導(dǎo)致評估指標體系可靠性較低的原因之一。

2.指標體系有效性分析的結(jié)果與討論

在對指標體系有效性進行分析的基礎(chǔ)上，與原指標體系結(jié)構(gòu)進行對比，得出如下結(jié)論：

其一，第一次分析中，有7項末級指標在原指標體系中同屬一個二級指標，說明這幾項指標無論是在原指標體系中，還是在因素分析的指標內(nèi)部結(jié)構(gòu)中，都處于相同的結(jié)構(gòu)狀態(tài)，因而這7項末級指標是整個指標體系中最為合理的指標。

其二，在第一次因素分析中，公因子G6的解釋指標一（ZB1）和解釋指標六（ZB6）同屬于原指標體系的一級指標中。說明這兩項指標具有共同的數(shù)據(jù)特征，可被納入同層結(jié)構(gòu)中，但歸為不同的二級指標，表明這兩項指標在同層結(jié)構(gòu)中仍表現(xiàn)出分散的特征。

其三，分析發(fā)現(xiàn)，除上述幾項指標能在原指標體系中找到相應(yīng)的結(jié)構(gòu)外，其余的公因子無法被還原到原指標體系的結(jié)構(gòu)中，但在因素分析中卻被歸為一類。說明這幾項指標有共同的數(shù)據(jù)特征，但在原指標體系中歸為不同的一級指標，表明這幾項指標的設(shè)計較為分散，因而這樣的設(shè)計是不合理的。

其四，從微觀層面來看，屬于同一個一級指標的各個末級指標的設(shè)計是較為合理的。公因子E1的末級解釋指標跨越了原指標體系中的四項一級指標，公因子E2的末級解釋指標跨越了原指標體系中的三項一級指標，公因子E3的末級解釋指標跨越了原指標體系中的四項一級指標，公因子E4的末級解釋指標跨越了原指標體系中的三項一級指標，說明原指標體系的結(jié)構(gòu)中存在的問題較大。

最后，在第二次因素分析中，指標分散的特征再次凸顯。在公因子E1的解釋指標中，指標九（ZB9）單獨屬于一個一級指標；在公因子E2的解釋指標中，指標十三（ZB13）和指標十六（ZB16）分別屬于不同的一級指標；在公因子E3的解釋指標中，指標十（ZB10）和指標十五（ZB15）也分別屬于不同的一級指標；在公因子E4的解釋指標中，指標十一（ZB11）單獨屬于一個一級指標。說明本例專業(yè)評估采用的指標體系的分散特征較為明顯，在進行指標修正時需要對指標的結(jié)構(gòu)進行調(diào)整。

參考文獻：

[1]候光文. 試論教育評價元評價[J]. 教育理論與實踐，1998（4）： 24-27.

[2]賀祖斌. 高等教育評價的元評價及其量化分析模型[J]. 教育 科學(xué)，2001（3）：57-59.

[3]程書肖. 教育評價方法技術(shù)[M]. 北京：北京師范大學(xué)出版社， 2004：159-160.

[4]余劍英，何旭宏. 數(shù)據(jù)統(tǒng)計分析與SPSS應(yīng)用[M]. 北京：人民郵 電出版社，2003：294-310.

[5]賀祖斌. 高等教育評價的元評價及其量化分析模型[J]. 教育科 學(xué)，2001（3）：56-58.

[6]劉康寧. 教育評估指標相關(guān)性的問題研究[J]. 評價與管理， 2005，12（4）：29-31.

[7]譚杰鋒. 評估指標體系中相關(guān)性分析[J]. 統(tǒng)計與決策，2005 （11）：145-146.

〔責(zé)任編輯：張 華〕

收稿日期：2012-12-30

基金項目：廣西新世紀高等教育教學(xué)改革項目（2011JGA234）

作者簡介：潘杰寧（1980-）女，南寧人，講師，碩士，從事高等教育管理與評估研究。