基于效度分析的職業(yè)教育政策監(jiān)測與評價體系

□董天鵝

教育的健康發(fā)展，需要“三駕馬車”共同推進，即先進的教育理念、完善的教育政策和有效的教育制度，三者缺一不可。其中，教育政策作為教育理念和教育實施的中介，已成為各國政府進行教育管理的重要手段之一。據(jù)不完全統(tǒng)計，改革開放以來我國所頒布實施的重要職業(yè)教育政策已有200多項，一方面，呈現(xiàn)出政策文本繁榮的現(xiàn)象，另一方面，職業(yè)教育實踐卻困難重重，即職業(yè)教育政策結(jié)果與理論目標(biāo)產(chǎn)生偏離，這種落差不禁讓人們對職業(yè)教育政策的效度產(chǎn)生了懷疑。相比而言，世界銀行等國際組織通過實施監(jiān)測與評價來調(diào)整并完善政策、提高政策成效，監(jiān)測與評價已經(jīng)成為教育政策過程中必不可少的管理工具，而職業(yè)教育政策監(jiān)測與評價環(huán)節(jié)的缺失，正是嚴(yán)重影響我國職業(yè)教育政策績效目標(biāo)實現(xiàn)的重要原因之一。因此，建立有效的、規(guī)范的、系統(tǒng)的職業(yè)教育政策監(jiān)測與評價體系，是提高我國職業(yè)教育政策效度的關(guān)鍵環(huán)節(jié)。

一、概念界定

（一）效度

效度（Validity）是教育測量學(xué)概念，即有效性，是指所測量到的結(jié)果反映所想要考察內(nèi)容的程度，測量結(jié)果與要考察的內(nèi)容越吻合，則效度越高，反之，則效度越低。職業(yè)教育是促進我國就業(yè)和經(jīng)濟發(fā)展、提高國家競爭力的主要途徑。在職業(yè)教育政策實施過程中，不管是職業(yè)教育法規(guī)、還是職業(yè)教育決定等都會產(chǎn)生積極影響，但關(guān)鍵問題在于多大程度上實現(xiàn)了預(yù)期目標(biāo)。因此，職業(yè)教育政策效度就是黨和國家制定的職業(yè)教育方針、法律法規(guī)以及職業(yè)教育的實施意見等各項行動指南的實踐結(jié)果與預(yù)期目標(biāo)之間的符合程度。

（二）職業(yè)教育政策監(jiān)測與評價

1.職業(yè)教育政策監(jiān)測。監(jiān)測是指在政策的實施與開展過程中，政策實施機構(gòu)系統(tǒng)地收集和分析有關(guān)政策的進展、政策預(yù)期目標(biāo)的達成程度等信息的過程。通過收集有關(guān)指標(biāo)的變化信息，幫助決策者對政策的動態(tài)了解，追蹤政策的實施情況，資源的分配情況和目標(biāo)的達成情況等。監(jiān)測主要回答以下六個問題：（1）政策是否按照計劃實施與推行？（2）政策的投入是否很好地瞄準(zhǔn)了目標(biāo)人群？（3）事先計劃的產(chǎn)出是否有效完成？（4）實踐結(jié)果是否與政策預(yù)期目標(biāo)持續(xù)相關(guān)？（5）在實施政策結(jié)果的過程中，我們面對哪些問題、風(fēng)險以及挑戰(zhàn)？（6）針對政策執(zhí)行中的變化，需要作出哪些決策調(diào)整？[1]職業(yè)教育政策監(jiān)測就是決策機構(gòu)對職業(yè)教育政策制定及實施過程中的每一個環(huán)節(jié)收集和分析信息，通過比較實際效果和預(yù)期目標(biāo)，監(jiān)督職業(yè)教育政策的執(zhí)行情況，以促進既定政策目標(biāo)的實現(xiàn)。

2.職業(yè)教育政策評價。評價是對政策的設(shè)計、執(zhí)行和結(jié)果進行客觀、系統(tǒng)的分析，目的是要確定政策是否對其受益者帶來了預(yù)期效果，具體是如何產(chǎn)生這些效果的，實施效率如何，以及項目的可持續(xù)性如何。主要回答以下四個問題：（1）政策結(jié)果產(chǎn)生的原因是什么？（2）政策實施對目標(biāo)人群的具體貢獻是什么？（3）如何改善政策的實施結(jié)果？（4）從政策實施的過程中，可以獲得什么經(jīng)驗或教訓(xùn)？[2]職業(yè)教育政策評價就是決策機構(gòu)對職業(yè)教育政策實施結(jié)束后收集到的信息進行分析和總結(jié)，以評價政策產(chǎn)生的影響和效果。

從以上解析中可以看出，一方面，監(jiān)測與評價密不可分，監(jiān)測為評價提供必要的信息和數(shù)據(jù)，評價則對監(jiān)測信息進行價值判斷，但同時，監(jiān)測與評價在分析問題的深度、內(nèi)容、目標(biāo)等方面又有著本質(zhì)區(qū)別。監(jiān)測回答的是教育政策的實施情況，是描述性的，而評價回答的是預(yù)期目標(biāo)的實現(xiàn)情況，是因果關(guān)系。在一個完整的教育政策生命周期中，監(jiān)測與評價兩者缺一不可。

二、職業(yè)教育政策效度分析

孟衛(wèi)青在《教育政策分析的三維模式》中提出了政策分析的一般理論框架，即價值分析、內(nèi)容分析、過程分析[3]。本文試從以上三方面來分析我國改革開放以來職業(yè)教育政策效度低下的現(xiàn)狀。

（一）職業(yè)教育政策價值效度分析

教育政策的價值分析主要回答“教育政策處理各種有沖突的教育利益訴求，或者分配有限的教育資源所遵循的價值準(zhǔn)則是什么”[4]這一問題，即決策主體在制定教育政策時的價值取向。而教育決策主體的價值體系是一個非常復(fù)雜的系統(tǒng)，共分為元價值、隱價值和顯價值三種[5]。元價值就是超越一切價值的價值，是最基本的價值；隱價值是決策主體真實表現(xiàn)出的價值取向，往往會左右教育政策的執(zhí)行；顯價值是公開的、顯露明顯的價值。對于職業(yè)教育來講，其元價值即為本體性價值，發(fā)展職業(yè)教育可以促進教育公平正義、實現(xiàn)人的全面發(fā)展、消除貧窮防止社會失調(diào)，這是所有政策制定者遵循的價值觀；隱價值實際上就是工具性價值，即政府通過職業(yè)教育短期內(nèi)培養(yǎng)大量技術(shù)人才實現(xiàn)經(jīng)濟利益的最大化，而從實踐角度，職業(yè)教育作為一種“二流教育”，周期長成本高，在資源有限的情況下，政府會將其邊緣化，在這種情況下，隱價值必然受到影響；同時，職業(yè)教育作為人才強國戰(zhàn)略的重要組成部分，政府必須高度重視，表現(xiàn)出顯價值，一方面，教育相關(guān)部門必定頒布大量的政策文本，但另一方面在實際的經(jīng)費投入、就業(yè)制度等方面互相推卸責(zé)任。因此，在職業(yè)教育政策價值領(lǐng)域，為了追求效率、經(jīng)濟利益而忽視公平、人本發(fā)展，即重工具價值輕本體價值，而規(guī)避責(zé)任又扭曲了職業(yè)教育政策的顯價值，出現(xiàn)了明顯的價值沖突。

（二）職業(yè)教育政策內(nèi)容效度分析

教育政策的內(nèi)容效度分析是將政策視為一種規(guī)范性文件或行動準(zhǔn)則，對政策文本和背景、原因和結(jié)果進行分析[6]。在職業(yè)教育領(lǐng)域，由于理論主體的不成熟和信息的不充分，職業(yè)教育政策內(nèi)容的科學(xué)性和系統(tǒng)性較低。因此，職業(yè)教育政策內(nèi)容的效度有待于進一步提高。如在高職院校人才培養(yǎng)質(zhì)量方面，《關(guān)于高等職業(yè)教育人才培養(yǎng)工作的若干意見》中指出，“高職教育培養(yǎng)擁護黨的基本路線，適應(yīng)生產(chǎn)、建設(shè)、管理和服務(wù)第一線需要的，德、智、體、美全面發(fā)展的高等技術(shù)應(yīng)用性專門人才”，“學(xué)生應(yīng)在具備的基礎(chǔ)理論知識和專門知識的基礎(chǔ)上，重點掌握從事本專業(yè)領(lǐng)域?qū)嶋H工作的基本能力和基本技能”[7]。我們從中可以看出，在職業(yè)教育政策中，人才培養(yǎng)目標(biāo)表述籠統(tǒng)，在文化和技能方面沒有更加細化的指標(biāo)，時代性和地域性特征也不明顯。除此之外，在人才培養(yǎng)途徑方面，校企合作方式規(guī)定模糊，沒有明確合作雙方的權(quán)利和義務(wù)，最重要由于政府角色缺失而難以保證校企合作的正常運轉(zhuǎn)。同時，經(jīng)過仔細核查，我們就會發(fā)現(xiàn)許多職業(yè)教育政策邏輯性差，關(guān)聯(lián)度不高，甚至有很多內(nèi)容交叉重復(fù)。因此，職業(yè)教育政策內(nèi)容在很多方面缺乏系統(tǒng)性、科學(xué)性，甚至有些地方會相沖突相矛盾。

（三）職業(yè)教育政策過程效度分析

教育政策過程分析主要回答“為了實現(xiàn)一定的政策目標(biāo)，教育政策是怎樣形成的以及如何執(zhí)行的”這一問題，涉及到從選擇政策問題到政策終結(jié)共七個階段[8]。在這些過程中，或多或少都存在著低效度問題：

首先，職業(yè)教育政策目標(biāo)不明確，在多數(shù)職業(yè)教育法律條文中，目標(biāo)多屬于“宣言式”表述，只是做了原則性規(guī)范，不管從實體上還是程序上操作性都很差，因此在實踐過程中很容易出現(xiàn)有法不依、執(zhí)法不嚴(yán)的現(xiàn)象。

其次，職業(yè)教育政策實施方案缺乏科學(xué)性，決策者在界定政策問題后，緊接著要選擇政策實施方案，實施方案的確定必須根據(jù)我國職業(yè)教育自身特點，而我國職業(yè)教育相關(guān)政策在制定過程中缺乏實地調(diào)研，僅僅照搬西方國家優(yōu)秀經(jīng)驗，而且職業(yè)教育作為一種特殊教育類型，決策者在政策制定過程中并沒有綜合考慮社會各個利益團體的意見，科學(xué)性嚴(yán)重不足。

第三，職業(yè)教育政策執(zhí)行效力不高，美國政策學(xué)家艾利森稱：“在達到政策目標(biāo)的過程中，方案確定的功能只占10%，而其余的90%取決于有效的執(zhí)行。”[9]職業(yè)教育政策的效度不僅取決于政策本身的科學(xué)性，跟主要的取決于政策執(zhí)行過程中的行政效力問題，但由于職業(yè)教育政策在制定過程中并沒有廣泛調(diào)研征求意見，因此，職業(yè)教育政策不但執(zhí)行不力，反而還會引起人們的不滿情緒。

最后，職業(yè)教育政策評估機制不完善，由于我國政策制定機構(gòu)和評估組織合二為一，因此，我國的政策評估形同虛設(shè)，決策者在制定評估指標(biāo)時只會注重外在成績，互相攀比政績，難以保證評估的真正價值。

三、職業(yè)教育政策監(jiān)測與評價體系構(gòu)建

從以上分析中可以看出，正是由于缺少監(jiān)測與評價，導(dǎo)致我國職業(yè)教育政策價值效度、內(nèi)容效度和過程效度低下的現(xiàn)象。因此，在職業(yè)教育政策制定過程中有效實施監(jiān)測和評價是中國教育政策領(lǐng)域亟待解決的一個問題，而監(jiān)測是評價的基礎(chǔ)、前提，選擇有效的職業(yè)教育政策監(jiān)測模式將是建構(gòu)職業(yè)教育政策監(jiān)測與評價體系的關(guān)鍵所在。

（一）職業(yè)教育政策監(jiān)測模式選擇

傳統(tǒng)的職業(yè)教育政策在制定和實施過程中采取的是線性模式（如圖1），即職業(yè)教育政策的制定往往是一次性的，政策執(zhí)行即意味著政策制定的結(jié)束，往往是單向的，在政策的每一個環(huán)節(jié)沒有及時的反饋與調(diào)整，不重視教育實踐對教育政策本身的完善，缺乏連續(xù)監(jiān)測，當(dāng)然也就不免會出現(xiàn)低效度的問題。而世界發(fā)達國家在職業(yè)教育政策制定過程中采取的是周期循環(huán)模式（如圖2），螺旋上升的，即從甄別政策問題到形成方案再到政策過程都會納入監(jiān)測范圍之內(nèi)，監(jiān)測會涉及到政策的每個環(huán)節(jié)、每項內(nèi)容，它可以連續(xù)性地收集信息和反饋信息，給政策制定者、實施者提供決策依據(jù)。

圖1 線性模式

圖2 循環(huán)模式

（二）職業(yè)教育政策監(jiān)測與評價體系構(gòu)建

1.根據(jù)監(jiān)測與評價目標(biāo)確定指標(biāo)體系。為了有效地實現(xiàn)職業(yè)教育政策的預(yù)期目標(biāo)，不僅需要制定完善的政策執(zhí)行計劃，更重要的是嚴(yán)格執(zhí)行計劃。為了系統(tǒng)地測量與記錄政策運行過程中的具體信息，需要首先確定監(jiān)測指標(biāo)體系，監(jiān)測指標(biāo)是由一系列具有針對性、可信性、可跟蹤性及時效性的指標(biāo)構(gòu)成的。根據(jù)指標(biāo)測量的用途，可將監(jiān)測指標(biāo)分為投入性指標(biāo)、產(chǎn)出指標(biāo)和結(jié)果指標(biāo)[10]。投入指標(biāo)主要是考察政策實施過程中所投入的人力、物力、財力資源是否按照預(yù)期規(guī)劃分配；產(chǎn)出指標(biāo)主要是考察政策投入對政策覆蓋對象所產(chǎn)生的直接變化如福利等，即用來測量用于政策特定目標(biāo)群體的資源是否落實到位；結(jié)果目標(biāo)主要考察政策實施的滿意度，即分析政策對目標(biāo)群體帶來的直接或間接影響以及政策目標(biāo)的達成情況。其中，投入指標(biāo)和產(chǎn)出指標(biāo)屬于中間指標(biāo)，結(jié)果指標(biāo)屬于終期指標(biāo)。中間指標(biāo)測量的僅是政策的干預(yù)情況，是與政策實施息息相關(guān)的，而終期目標(biāo)與政策目標(biāo)有關(guān)，是用來測量政策目標(biāo)的達成情況的。通過上述指標(biāo)體系的建立，可以比較精確地監(jiān)測政策活動，獲取大量政策執(zhí)行情況的數(shù)據(jù)，為評價政策效果奠定基礎(chǔ)。

2.選擇恰當(dāng)?shù)脑u價模式。目前，國內(nèi)外已經(jīng)形成較為完備的教育政策評價模式，主要有參與式評價、邏輯框架法、成本效益分析等模式。參與式評價是通過充分考慮相關(guān)人員的廣泛參與，促進其對教育政策的認(rèn)同感，提高其自我決策和發(fā)展能力，這種方法強調(diào)群眾基礎(chǔ)，能確保獲取資料的真實性，但群眾意見往往存在分歧，需要耗費大量時間去統(tǒng)一；邏輯框架法的基本假設(shè)是所有政策活動的投入、產(chǎn)出、目標(biāo)等都能通過一定的方法量化，在使用該方法時，首先需要設(shè)計邏輯框架表，評價人員填入政策實施的實際情況，通過與預(yù)期目標(biāo)對比發(fā)現(xiàn)問題，提出對策，但對指標(biāo)設(shè)計要求非常高；成本效益分析是通過評價政策的成本和效益，來確定其評價效率問題的，這種方法可以對政策進行標(biāo)準(zhǔn)化評價，數(shù)據(jù)易得，但不能評價單一方案，只能同時比較兩個或多個方案。每種方法各有所長，決策機構(gòu)可以根據(jù)評價目標(biāo)、經(jīng)費限制、時間要求等作出選擇，或?qū)⒍喾N方法有機結(jié)合。

3.監(jiān)測與評價資料的收集。對每一個監(jiān)測指標(biāo)而言都需要有精確的信息來源。相關(guān)政策監(jiān)測信息主要有兩個獲取途徑：

第一，二手資料，即相關(guān)部門或單位已收集好的資料，如教育統(tǒng)計年鑒、政府機構(gòu)的報告和數(shù)據(jù)庫。這種方式相對比較容易，人力、物力、財力成本相對較小，而且在信息統(tǒng)計過程中，有很多數(shù)據(jù)不是單個研究者調(diào)研所能獲得的，但二手資料的針對性、時效性、客觀性有待于進一步評估；

第二，實地調(diào)研，是監(jiān)測資料獲取的重要途徑，一般來說，需要耗費大量的人力、物力、財力，但這個環(huán)節(jié)可以為監(jiān)測提供數(shù)據(jù)支持，是必不可少的，主要涉及兩個方面：首先科學(xué)抽樣，根據(jù)監(jiān)測目標(biāo)選擇代表性樣本，然后進行質(zhì)性與量化分析，這兩種方法各有利弊，可以起到互補作用，質(zhì)性分析方法適合研究比較復(fù)雜或者富有爭議性的問題，深入分析問題產(chǎn)生的原因，樣本選擇不宜選擇過多；量化分析方法可以將問題數(shù)量化，結(jié)論準(zhǔn)確，但不適用于復(fù)雜問題，因此，實際調(diào)研中應(yīng)將兩種方法結(jié)合起來，揚長避短。

4.監(jiān)測與評價報告撰寫。這一環(huán)節(jié)是整個職業(yè)教育政策監(jiān)測與評價體系的落腳點，是對監(jiān)測與評價的結(jié)果進行總結(jié)反饋的階段，也是對工作人員技術(shù)要求最高的一個階段。首先，對監(jiān)測與評價資料數(shù)據(jù)進行統(tǒng)計匯總，歸類整理并存檔，以備政策調(diào)整的需要；其次，績效監(jiān)測與評價，它的基本假設(shè)是職業(yè)教育政策可以產(chǎn)生預(yù)期結(jié)果，根據(jù)政策預(yù)期設(shè)計方案，這些結(jié)果指標(biāo)是可以測量的，通過對這些指標(biāo)的測量來衡量政策績效。通過績效監(jiān)測與評價，可以明確哪些活動已經(jīng)正常展開，哪些沒有按照計劃展開，預(yù)期結(jié)果在多大程度上展開，哪些地方做得好或者不好及其原因分析，這些信息可以用來幫助決策者調(diào)整政策的管理措施。因此，要確?？冃ПO(jiān)測與評價在政策過程中發(fā)揮應(yīng)有的效果，還必須要設(shè)計一個學(xué)習(xí)和反饋系統(tǒng)，如通過績效監(jiān)測定期發(fā)布監(jiān)測信息；最后，撰寫監(jiān)測與評價報告呈現(xiàn)結(jié)論，注意提出政策實施過程中存在的問題，并未后續(xù)的政策實施提供建設(shè)性的意見，以達到政策實施的方向、合理利用及配置資源，提高效率和效益等目的。

[1][2]UNDP，Handbook and Book of Planning，Monitoring and Evaluation for Development Results[EB/OL].http：//www.undp.org/eo/handbook.2009-09-28.

[3][4][6][8]孟衛(wèi)青.教育政策分析的三維模式[J].教育科學(xué)研究，2008（21）：23-25.

[5]張社字.我國職業(yè)教育政策的效度分析[J].教育與職業(yè)，2008（32）：5.

[7]尚悅.遼寧省高等職業(yè)教育人才培養(yǎng)質(zhì)量政策的內(nèi)容分析[D].沈陽師范大學(xué)，2009：1.

[9]周建國，張俊峰.公共政策執(zhí)行：偏差與對策[J].公共管理高層論壇，2006（02）：300.

[10]杜育紅.教育政策的監(jiān)測與評價研究[M].北京：人民教育出版社，2011：163.