從指標平衡到客觀賦權

摘要：科學合理的評價指標體系是保證人才培養(yǎng)質(zhì)量評價結果客觀有效的關鍵要素。在構建出五年制高職人才培養(yǎng)質(zhì)量評價指標模型的基礎上，通過編制問卷和網(wǎng)絡調(diào)查收集相關數(shù)據(jù)，利用因子分析法，分析評價指標內(nèi)在結構和聯(lián)系，計算出各評價指標的權重，從而完善五年制高職人才培養(yǎng)質(zhì)量評價指標體系，進而提高評價指標體系的科學性和實效性。

關鍵詞：因子分析法;五年制高職;人才培養(yǎng)質(zhì)量評價指標權重

中圖分類號：G715 文獻標志碼：A 文章編號：1673-9094-（2019）12C-0052-05

權重又稱權值，是指某一因素或指標相對于某一事物的重要程度。相同的指標會因權重的不同，而使評價結果大相徑庭。科學合理的指標權重對于構建客觀的人才培養(yǎng)質(zhì)量評價指標體系有重要的作用。本文在構建出指標模型的基礎上，通過編制問卷和問卷星網(wǎng)絡調(diào)查收集相關數(shù)據(jù)，利用因子分析法，分析評價指標內(nèi)在結構和聯(lián)系，計算出各評價指標的權重，從而完善了指標體系，進而提高評價指標體系的科學性和實效性。

一、指標體系的構建

（一）CIPP模型概述

CIPP評估模型是由美國著名教育評價專家斯塔弗爾比姆（D.L.Stufflebeam）于1966年首次提出，目前已廣泛運用于教育評價之中。CIPP評價模型分為背景評價（Context-Evaluation）、輸入評價（Input-Evaluation）、過程評價（Process-Evaluation）和結果評價（Product-Evaluation）四個部分。該評價模型有著全程性、過程性和反饋性等顯著的特點，它契合“教診改”理念，有利于從整體上對人才培養(yǎng)質(zhì)量進行診斷和評價，根據(jù)各個評價階段所反映出來的問題與不足及時調(diào)整戰(zhàn)略，改進方法，提高人才培養(yǎng)質(zhì)量。

（二）評價模型建構

筆者通過廣泛征求省內(nèi)外教育評價專家的意見，在充分理解CIPP評價模型內(nèi)涵的基礎上，將背景評價、輸入評價、過程評價和成果評價分別定義為五年制高職人才培養(yǎng)質(zhì)量的目標建構評價、資源配置評價、實施過程評價和成果績效評價。背景評價——人才培養(yǎng)質(zhì)量目標建構評價，就是要培養(yǎng)什么樣的人才，是否受到社會歡迎，體現(xiàn)社會需求和認可度;輸入評價——人才培養(yǎng)質(zhì)量資源配置評價，就是將辦學設施、師資隊伍等資源最優(yōu)化，是人才培養(yǎng)質(zhì)量的條件和保障;過程評價——人才培養(yǎng)質(zhì)量實施過程評價，是對學校人才培養(yǎng)有效度的評價;結果評價——人才培養(yǎng)質(zhì)量成果績效評價，是對學校人才培養(yǎng)質(zhì)量目標達成度的評價，就是對學校人才培養(yǎng)創(chuàng)新、畢業(yè)生的發(fā)展以及滿意度的評價。

（三）指標建立

筆者訪談了5名省內(nèi)外職業(yè)教育評價專家，充分采納了他們的意見，根據(jù)已定義的五年制高職人才培養(yǎng)質(zhì)量的4個一級指標的內(nèi)涵，結合五年制高職人才培養(yǎng)工作狀態(tài)數(shù)據(jù)采集平臺（江蘇聯(lián)合職業(yè)技術學院專業(yè)版）“數(shù)據(jù)平臺”指標項，將156個核心監(jiān)測指標整合為13個二級指標和56個三級指標。

二、運用因子分析法計算評價指標的權重

（一）問卷調(diào)查

問卷采用利克特五點式量表技術，將56個三級指標根據(jù)對五年制高職人才培養(yǎng)質(zhì)量影響程度的不同，將答案分為5個等級：不重要、不太重要、一般、比較重要、非常重要，分別賦值1—5分。調(diào)查對象是江蘇聯(lián)合職業(yè)技術學院各分院、辦學點骨干教師，采用問卷星網(wǎng)絡調(diào)查的方式，于2019年8月10日至9月12日開放，回收有效問卷153份。

顯示，被調(diào)查對象中地域分布較為合理，涵蓋了江蘇所有13個設區(qū)市的分院和辦學點，有37.91%的被調(diào)查對象為高級職稱，有59.47%的被調(diào)查對象為學校管理人員，調(diào)查的樣本具有多樣性和廣泛性，具有較強的統(tǒng)計分析意義。有超過70%的被調(diào)查對象現(xiàn)在從事或以前從事過五年高職人才培養(yǎng)質(zhì)量評價相關方面的工作，對于構建科學、系統(tǒng)、客觀的指標體系有著很好的促進作用。

（二）數(shù)據(jù)處理及分析

本研究數(shù)據(jù)處理與分析主要通過SPSS13.0軟件進行，采用因子分析、主成分分析等方法來確定五年制高職人才培養(yǎng)質(zhì)量評價指標的權重。

1.KMO and Bartlett's Test。

KMO（Kaiser-Meyer-Olkin）檢驗統(tǒng)計量是用于比較變量間簡單相關系數(shù)和偏相關系數(shù)的指標。其數(shù)值越接近于1，意味著變量間的相關性越強，原有變量越適合作因子分析。Bartlett球形檢驗則是檢驗相關矩陣是否為單位矩陣而決定因子分析的模型是否恰當。本研究樣本檢驗結果：KMO=0.954，Bartlett球形檢驗的卡方統(tǒng)計值為14306.090（自由度1540，p<0.000），表明相關矩陣不是單位矩陣，適合進行因子分析。

2.信度。

信度是指測量結果的一致性、穩(wěn)定性及可靠性，通常以內(nèi)部一致性來表示該測驗結果信度的高低。通過對56個監(jiān)測指標的信度檢驗，結果顯示，總體內(nèi)部一致性信度系數(shù)α為0.991，目標建構評價、資源配置評價、實施過程評價和績效成果評價四個一級指標內(nèi)部一致性信度系數(shù)分別為0.944、0.973、0.987和0.966，表明評價指標整體和各指標間的內(nèi)部一致性良好。

3.提取公因子。

采用主成分分析法，并基于特征根大于1的原則，按最大方差旋轉，提取出了5個具有較高解釋能力的因子作為公因子。5個公因子的特征值分別是38.584、2.709、1.634、1.212、1.166，他們累計方差貢獻率為80.903%。

（三）權重的計算

將因子分析所初始提取的因子載荷矩陣進行最大方差旋轉，可以得到旋轉后的因子載荷矩陣、因子得分系數(shù)等。通過計算可以確定出各級指標的權重。以下權重的計算以五年制高職人才培養(yǎng)質(zhì)量目標建構評價指標為例。

反映公因子FATOR1的指標在t11、t21、t31、t41、t51、t61、t71、t81、t91在一級指標五年制高職人才培養(yǎng)質(zhì)量目標建構評價上的因子載荷分別是：0.765、0.791、0.784、0.811、0.708、0.770、0.805、0.686、0.701。

三、結論與建議

本文基于CIPP評價模型及數(shù)據(jù)平臺，構建了合理的評價模型，并通過客觀賦值的方法確定了各指標的權重，得出了如下結論與建議。

（一）構建了權重分配合理的評價指標體系

本文系統(tǒng)分析了CIPP評價模型內(nèi)涵，挖掘了數(shù)據(jù)平臺的數(shù)據(jù)意義，運用因子分析法對評價指標權重進行了客觀賦值，構建出了比較科學合理的評價指標體系。從一級指標權重來看，資源配置評價和實施過程評價的權重分別為0.333和0.378，貢獻度超過70%，可見，人才培養(yǎng)質(zhì)量的高低關鍵在于資源配置和實施過程兩個方面;從實施過程評價來看，專業(yè)建設的權重為0.492，貢獻度占約50%，可見，專業(yè)建設是實施過程的最重要的方面;從績效評價來看，畢業(yè)生就業(yè)質(zhì)量權重為0.543，貢獻度超過50%，可見，畢業(yè)生就業(yè)質(zhì)量是人才培養(yǎng)質(zhì)量成效的最直接的體現(xiàn)。整體上，評價指標權重的配比與對人才培養(yǎng)質(zhì)量影響因素的重要程度基本一致。

（二）改進建議

從指標構建來看，從數(shù)據(jù)平臺中提取的個別指標無法用直接數(shù)據(jù)來體現(xiàn)。例如，學校是否為國示范學校，結果為“是”和“否”兩種，這就需要開展質(zhì)性分析。所以，在指標構建中，要兼顧定性與定量，將質(zhì)性分析與量化分析相結合，列出更加科學、合理、全面的人才培養(yǎng)質(zhì)量影響因素。從權重確定來看，由于普通評價者缺乏評價專業(yè)知識，且各評價者專業(yè)差異性很大，故對于同一指標來講，不同的評價者會產(chǎn)生不同的意見，故而權重也會不同。所以，在實際權重確定的過程中，可以借鑒多元評價理論，將專家咨詢法與客觀賦權法相結合。

參考文獻：

[1]朱德全，宋乃慶.教育統(tǒng)計與測評技術[M].重慶：西南師范大學出版社，2007.

[2]趙世明，王君.問卷編制指導[M].北京：教育科學出版社，2006.

[3]盧紋岱.SPSS for Windows統(tǒng)計分析：第3版[M].北京：電子工業(yè)出版社，2006.

[4]沈志丹.基于CIPP的五年制高職人才培養(yǎng)質(zhì)量評價指標體系模型建構[J].江蘇五年制高職教育，2019（3）.

[5]方向陽.高職院校人才培養(yǎng)質(zhì)量評價指標權重設計——高職院校人才培養(yǎng)質(zhì)量評價研究之二 [J].現(xiàn)代教育管理，2009（9）.

[6]沈志丹.中等職業(yè)學校實施ISO9000質(zhì)量管理體系成功因素的研究[D].蘇州：蘇州大學，2010.

責任編輯：曹鴻驊

Abstract： Scientific and reasonable evaluation index system is the key factor to ensure the objective and effective evaluation results of talent training quality. On the basis of constructing the five-year higher vocational training quality evaluation index model， this paper collects the relevant data through the preparation of questionnaires and network surveys. By using factor analysis method， it analyzes the internal structure and relationship of evaluation indexes， calculate the weight of each evaluation index， so as to improve the five-year higher vocational training quality evaluation index system， and then improve the scientificity and effectiveness of the evaluation index system.

Key words： factor analysis; five-year higher vocational education; evaluation index weight of talent training quality