職教改革中的技能評價方式研究

孫鈺林?趙益樞

摘 要 “學(xué)歷證書+若干職業(yè)技能等級證書”是我國職業(yè)教育改革的重要目標(biāo)，技能評價的效度是影響職業(yè)技能等級證書質(zhì)量的重要因素。以教育部等主辦的全國職業(yè)院校技能大賽為平臺，選擇養(yǎng)老服務(wù)技能賽項，運用COMET能力測評對考生開展技能評價后，對其就業(yè)或頂崗實習(xí)中短期內(nèi)的工作績效進行跟蹤調(diào)查，研究發(fā)現(xiàn)：COMET能力測評成績與工作績效評估結(jié)果間的關(guān)系趨向強相關(guān);COMET測評三個能力層級中，過程性能力與工作績效的關(guān)聯(lián)度最高;COMET測評的八個一級指標(biāo)中，除社會接受度外，其余指標(biāo)均與工作績效呈正相關(guān)。據(jù)此建議，在研究上加強對X證書的能力模型和測評模型的分析;在實踐中應(yīng)以典型工作任務(wù)為依據(jù)，靈活運用多元化的評價方式，強化技能評價結(jié)果與學(xué)分銀行制度的銜接。

關(guān)鍵詞 職業(yè)教育;技能評價;COMET能力測評;工作績效;預(yù)測效度

中圖分類號 G719.2 文獻標(biāo)識碼 A 文章編號 1008-3219（2022）13-0020-06

作者簡介

孫鈺林（1981- ），男，北京社會管理職業(yè)學(xué)院副教授，民政部培訓(xùn)中心培訓(xùn)部主任，職業(yè)技術(shù)教育學(xué)博士，研究方向：職業(yè)能力測評，職業(yè)競賽（北京，102600）;趙益樞（1999- ），女，北京師范大學(xué)教育學(xué)部碩士研究生，研究方向：職業(yè)能力測評

基金項目

2018年北京市職業(yè)教育教學(xué)改革項目“學(xué)生技能競賽引領(lǐng)產(chǎn)教融合機制研究”（2018-135）;北京市教育科學(xué)“十三五”規(guī)劃優(yōu)先關(guān)注課題“‘1+X證書’制度建設(shè)中技能評價法研究”成果（BDEA2020009），主持人：孫鈺林

一、問題提出

2019年1月，國務(wù)院印發(fā)《國家職業(yè)教育改革實施方案》（國發(fā)[2019]4號），提出“啟動‘學(xué)歷證書+若干職業(yè)技能等級證書’制度試點（以下簡稱“1+X”證書制度試點）工作”，這是對“學(xué)歷證書+職業(yè)資格證書”的“雙證書制度”的創(chuàng)新?！?+X”證書制度被看作是“引領(lǐng)創(chuàng)新培養(yǎng)培訓(xùn)模式和評價模式，深化教師、教材、教法改革”的手段[1]，被賦予廣泛意義。2020年10月，中共中央、國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》指出，要“完善高等職業(yè)教育‘文化素質(zhì)+職業(yè)技能’考試招生辦法”[2]。這些國家層面的制度設(shè)計為開展學(xué)生職業(yè)技能評價提供了政策依據(jù)，同時也帶來了挑戰(zhàn)。

被市場和社會認(rèn)可的現(xiàn)實需求對技能評價效度提出新要求。“職業(yè)技能等級證書”（以下簡稱“X”證書）制度替代傳統(tǒng)“職業(yè)資格證書”，根本原因在于職業(yè)資格證書無法全面、有效地反映用人單位對技術(shù)技能人才的職業(yè)能力要求。證書頒發(fā)的依據(jù)是技能評價結(jié)果，若評價效度不高，則證書所反映的勞動力市場信號便難以發(fā)揮預(yù)期的指示作用，從而面臨被詬病和淘汰的宿命。提高職業(yè)技能評價的質(zhì)量和“X”證書技能評價水平的準(zhǔn)確度，可以緩解結(jié)構(gòu)性就業(yè)矛盾。但是，當(dāng)前支持證書“技能評價模式”的系統(tǒng)性研究還很匱乏。

設(shè)計可持續(xù)發(fā)展的技能等級證書需要實證基礎(chǔ)。目前，“1+X”證書制度試點的推廣主要依靠行政力量的引導(dǎo)和支持，如與院校財政經(jīng)費、“雙高計劃”的選拔指標(biāo)等掛鉤?！癤”證書制度試點階段的各類支持政策不會無限期延續(xù)，失去扶植政策支持后該如何依托自身實現(xiàn)可持續(xù)發(fā)展，是亟待解決的難題。為提高“X”證書的認(rèn)可度，迫切需要相關(guān)研究為證實其有效性提供依據(jù)。

本研究以教育部等部門主辦的全國職業(yè)院校技能大賽為平臺，選擇養(yǎng)老服務(wù)技能賽項，探究COMET能力測評這一技能評價方法對被試者工作績效水平的預(yù)測效度，以期在職業(yè)院校、技能評價組織和用人單位之間建立有效的人才培養(yǎng)信號，完善“人才培養(yǎng)—考核評價—選人用人”的人才培養(yǎng)鏈。

二、研究設(shè)計

（一）研究問題與研究假設(shè)

“X”證書的發(fā)放需要經(jīng)過技能評價，評價根據(jù)學(xué)習(xí)成果的認(rèn)定會出具相應(yīng)的結(jié)果證明。結(jié)果證明的效度，取決于結(jié)果證明與持證者未來實際工作績效的相關(guān)性。評價的預(yù)測效度決定著證書的質(zhì)量，證書的質(zhì)量是職教改革的重要問題。當(dāng)前關(guān)于技能評價的研究中，缺少對評價方式預(yù)測效度的研究，基于此，本研究的核心問題在于探究“技能評價的預(yù)測效度問題”。對比應(yīng)用較為廣泛的三種職業(yè)能力測評工具（ASCOT、COMET 職業(yè)能力測評和行政職業(yè)能力測驗）后，考慮到測試任務(wù)綜合性、領(lǐng)域特殊性等因素，選用COMET職業(yè)能力測評方案對其預(yù)測效度進行研究。

COMET大規(guī)模職業(yè)能力測評項目是英文“Competence Measurement”（“職業(yè)能力測評”或“職業(yè)能力診斷”）的簡稱，發(fā)源于德國，是一個職業(yè)教育的國際比較研究項目，在多個國家開展了相關(guān)的測評活動，其內(nèi)涵相當(dāng)于職業(yè)教育的PISA。它采用大規(guī)模能力診斷（large-scale diagnostics）方法，對被測試者的職業(yè)能力、職業(yè)承諾和職業(yè)認(rèn)同感發(fā)展情況進行評價。COMET能力模型和測評模型憑借獨特的優(yōu)勢與特征得到廣泛認(rèn)同，結(jié)構(gòu)效度已得到驗證[3][4]?；趶某鯇W(xué)者到專家的能力模型，在不同國家的不同專業(yè)開展了測評活動，除了針對職業(yè)教育學(xué)生的測評之外，也擴展到了對職業(yè)教育教師職業(yè)能力的測評。

COMET能力測評充分反映了設(shè)計導(dǎo)向、工作過程知識等當(dāng)代職業(yè)教育理念，從“職業(yè)效度”的視角評價研究對象的職業(yè)能力，建構(gòu)有機綜合的能力模型，與職業(yè)教育培養(yǎng)綜合職業(yè)能力的目標(biāo)相契合。經(jīng)濟社會發(fā)展和產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級對人才技能提出了差異化、多樣化的要求，在流水線作業(yè)的技術(shù)和生產(chǎn)組織方式下，員工的外顯性動作技能對工作績效的影響較大;而在現(xiàn)行更加突出人性化的生產(chǎn)組織方式下，僅靠動作能力并不能直接帶來高績效，人才的高工作績效與其綜合職業(yè)能力掛鉤，而非與某個單項操作的技能水平相關(guān)。綜合職業(yè)能力是個體在真實工作情境中整體化地解決綜合性專業(yè)問題的能力，超越了職業(yè)功能性要求，強調(diào)綜合素質(zhì)和發(fā)展?jié)撃躘5]。綜合職業(yè)能力與“工作”息息相關(guān)，顯然，對工作績效的考察理應(yīng)蘊含在COMET能力測評中。基于此，本研究將工作績效與COMET能力測評結(jié)果之間的相關(guān)性作為預(yù)測效度的效標(biāo)，提出核心假設(shè)：COMET能力測評成績與學(xué)習(xí)者的工作績效呈正相關(guān)。研究重點回應(yīng)三個問題：一是探索COMET能力測評與工作績效之間的相關(guān)程度;二是在功能性能力、過程性能力和設(shè)計能力三個能力層級中，探究COMET能力測評中哪些能力層級與工作績效相關(guān)性更高;三是分析COMET能力測評中八個一級指標(biāo)對工作績效的預(yù)測效度。

（二）研究對象

依托2018年和2019年全國職業(yè)院校技能大賽養(yǎng)老服務(wù)技能賽項，采用整群抽樣的方法，對所有參賽選手（共計147名，其中2018年64名，2019年83名）進行研究。研究對象均來自高職院校老年服務(wù)與管理專業(yè)，培養(yǎng)方案略有差異，部分研究對象擁有企業(yè)實習(xí)經(jīng)歷。

（三）數(shù)據(jù)收集

1. COMET職業(yè)能力測評

運用非標(biāo)準(zhǔn)化作品評定法，具體流程主要包含三個方面。

第一，對相關(guān)人員進行培訓(xùn)。在開發(fā)測試任務(wù)前，研究者需將研究目的告知職業(yè)學(xué)校教師、企業(yè)專家等相關(guān)人員，并就COMET能力測評方案及命題要求對相關(guān)人員進行培訓(xùn)。

第二，開發(fā)試題并進行測試。依據(jù)專業(yè)教學(xué)標(biāo)準(zhǔn)、職業(yè)標(biāo)準(zhǔn)和專業(yè)人員的建議，以COMET能力模型中“提高者”階段的代表性工作任務(wù)為基礎(chǔ)開發(fā)測評任務(wù)，對研究對象進行紙筆測試。通過開展實踐專家研討會確定典型工作任務(wù)，并提煉完整工作過程，據(jù)此開發(fā)次級指標(biāo)。測評題目需體現(xiàn)開放性特征，以解題空間的方式呈現(xiàn)問題的解決方案，部分解題空間見表1。區(qū)別于工業(yè)技術(shù)類職業(yè)和商業(yè)類職業(yè)，針對個人的服務(wù)類職業(yè)教育重點是促進個體人格的發(fā)展與完善。因此，在對COMET測評一級指標(biāo)進行調(diào)整時，要關(guān)注專業(yè)特殊性;在測評題目設(shè)計上，除了囊括傳統(tǒng)的生活照料和技術(shù)護理外，突出對失智老年人心理的關(guān)照。經(jīng)過三輪修改，開發(fā)出符合COMET方案要求的平行任務(wù)后，進行測試。

第三，評分環(huán)節(jié)。通過開設(shè)評分培訓(xùn)會、增加評分者數(shù)量（由原定的2名評分者擴大到7名）、試評分等手段保證評分者信度，使用Finn系數(shù)對評分者的一致性進行考察，以提升評分者評價標(biāo)準(zhǔn)的統(tǒng)一性。

2. 360°績效問卷

在綜合考量各類績效測評方法后，選擇使用360°績效評估考核結(jié)果作為績效的表征。360°績效評估是在人力資源領(lǐng)域開展工作績效評估時廣泛運用的一種方式，由加州創(chuàng)造性領(lǐng)導(dǎo)者中心在20世紀(jì)80年代中期研究提出。研究聚焦將反饋用于提升管理效能，促進企業(yè)目標(biāo)實現(xiàn)。由于重視反饋環(huán)節(jié)，該方法也被稱為360°績效反饋、全視角評價（full-circle appraisal）、多源評估（multi-rater assessment）等，該方法從多個角度獲取組織成員行為的觀察資料，使被考評者本人及其所有利益相關(guān)方都作為績效信息來源，反饋績效信息，最終達到提高績效的目標(biāo)[6]。其核心在于通過不同評價對象全方位地對受試者的績效表現(xiàn)進行評價而使結(jié)果接近實際，體現(xiàn)綜合績效觀。同時，用人單位、服務(wù)對象和學(xué)校等所有利益相關(guān)方的參與，也符合職業(yè)教育“產(chǎn)教融合”的要求。

運用問卷調(diào)查法，收集研究對象的背景信息和360°績效評估數(shù)據(jù)。績效問卷模型在醫(yī)院規(guī)培醫(yī)生360°評價問卷的基礎(chǔ)上開發(fā)[7]，同時針對老年服務(wù)與管理專業(yè)學(xué)生的專業(yè)特征、年級階段、工作學(xué)習(xí)特點，對測評主體、測評問卷的項目等進行針對性修改。在征求行業(yè)專家和一線工作者意見后，形成4個維度的問卷，分別是上級評價問卷、服務(wù)對象評價問卷、同級評價問卷和本人評價問卷。每種問卷有不同數(shù)量的項目，如本人評價問卷共設(shè)置15個評分項，見表2。問卷題目采用Likert五點式量表作答方式，從“偶爾”“較少”“有時”“經(jīng)常”到“總是”，依次記作1～5分。通過增加評分者數(shù)量等方式保障評分者信度，最終根據(jù)問卷結(jié)果，確定每位研究對象的績效總成績。

（四）數(shù)據(jù)分析

對相應(yīng)的研究數(shù)據(jù)進行轉(zhuǎn)換。按照COMET測評的級別劃分方式，將三個能力層級、8個一級指標(biāo)和40個評分點的得分分別轉(zhuǎn)化為百分制量綱。通過三個能力層級與COMET測評總分來測定內(nèi)部一致性信度，得出Cronbach'sα系數(shù)為0.858，說明COMET測評的信度符合要求。為將工作績效量綱與COMET測評進行統(tǒng)一，將績效評價結(jié)果依照一定權(quán)重進行數(shù)據(jù)轉(zhuǎn)換，使其轉(zhuǎn)化為百分制量綱。針對四種評價主體，通過德爾菲法確定排序。對工作績效進行隨機分布后的折半信度進行計算，得到的折半信度系數(shù)為0.903，屬可接受的范圍。

數(shù)據(jù)轉(zhuǎn)換完成后，篩除1人份無效數(shù)據(jù)（實操考試否定項，未納入分析），有效數(shù)據(jù)共146人份，以選手姓名作為對應(yīng)項，輸入相關(guān)數(shù)據(jù)建立二維表后，納入SPSS 26.0軟件中進行分析。經(jīng)過上述操作后，兩種變量（COMET能力測評成績、360°績效評價結(jié)果）的性質(zhì)均為連續(xù)分?jǐn)?shù)變量，相關(guān)指標(biāo)具有可比性，從而可以采用積矩相關(guān)系數(shù)（Pearson）進行相關(guān)分析。

三、研究結(jié)果

（一）COMET測評結(jié)果與工作績效的相關(guān)性分析

將COMET能力測評成績與360°績效評價結(jié)果這兩個非確定性關(guān)系變量的數(shù)據(jù)對應(yīng)列出，得到的散點圖顯示二者呈現(xiàn)正相關(guān)趨勢，相關(guān)性統(tǒng)計結(jié)果也證實了上述結(jié)論，如表3所示。COMET能力測評成績與績效成績的相關(guān)系數(shù)為0.460，達到了顯著相關(guān)水平。這說明，COMET能力測評成績可以預(yù)測實際工作績效，初步證實了研究假設(shè)。

分析COMET測評成績對工作績效預(yù)測效果較好的原因可能是：一是COMET能力測評的理念是職業(yè)導(dǎo)向而非課程導(dǎo)向，工作績效考察職業(yè)活動中的實際表現(xiàn)，兩者在理念上相通，均面向職業(yè)要求，區(qū)別在于前者測量被試在校期間的潛力，后者則側(cè)重考察被試在實際工作中的表現(xiàn);二是COMET能力測評考察的能力涵蓋較全面，從功能性能力、過程性能力到設(shè)計能力，為良好工作績效打下基礎(chǔ);三是COMET能力測評基于完整的工作過程和典型工作任務(wù)，通過獲取信息、控制到評價等一系列過程，形成完整的反饋體系，對提升工作績效大有裨益。

COMET能力測評對技能的評價與教育學(xué)對評價的理解相契合，能夠探查被試者的潛力，從多元智能理論的角度出發(fā)，發(fā)現(xiàn)個體不同方面智力的不同水平。依據(jù)信息經(jīng)濟學(xué)中的信號理論，能力測評結(jié)果對工作績效的預(yù)測可以幫助雇主判斷雇員的生產(chǎn)力水平。證書作評價結(jié)果的證明，為勞動力市場提供質(zhì)量信號，易于對高技能水平勞動者與低技能水平勞動者進行區(qū)分。評價方式的研究，有助于促進行業(yè)企業(yè)對學(xué)生完成職業(yè)崗位典型工作任務(wù)的勝任力的了解，提高企業(yè)選拔人才的效率和“X”證書的市場認(rèn)可度[8];也有利于鼓勵勞動者進行人力資本投資，形成對人才的激勵機制，緩解人才與勞動力市場之間結(jié)構(gòu)性失調(diào)的矛盾。

（二）COMET測評各能力層級與工作績效的相關(guān)分析

針對COMET能力測評分項的各一級指標(biāo)，分別就研究對象在COMET能力測評中三個能力層級的得分與工作績效評估的分值進行相關(guān)分析，結(jié)果見圖1。

分析發(fā)現(xiàn)，三個層級的能力值與工作績效分值均呈現(xiàn)顯著相關(guān)關(guān)系，說明COMET能力測評各層級能力對工作績效均存在預(yù)測效果。其中，過程性能力與工作績效的相關(guān)程度最高，相關(guān)系數(shù)達到0.439。這說明工作過程知識隱含于實際工作中，在工作者解決復(fù)雜問題的工作過程中被建構(gòu)，與工作績效緊密相關(guān)。工作過程知識是主觀知識與客觀知識的結(jié)合，包括存在于工作組織和其他工作者中的難以言明的知識，乃至工作者的生活經(jīng)驗[9]。面對現(xiàn)代社會高度復(fù)雜和專業(yè)化的生產(chǎn)條件，限于考察外顯職業(yè)行動能力的實操考試顯然無法對工作過程知識進行全面準(zhǔn)確的考察?？梢姡瑢嵅倏荚嚳疾斓穆殬I(yè)行動能力是高工作績效的必要條件，而非充分條件。設(shè)計能力與工作績效之間的相關(guān)系數(shù)為0.412，也呈現(xiàn)出顯著相關(guān)水平。功能性能力與工作績效之間的相關(guān)系數(shù)為0.391，超過0.30，達到了預(yù)測效度的要求。

（三）COMET測評一級指標(biāo)與工作績效的相關(guān)性

為了分析COMET能力測評結(jié)果在工作績效預(yù)測過程中的影響因素，分別就COMET能力測評8個一級指標(biāo)的得分與工作績效評估的分值進行分析，結(jié)果見圖2。

除K6（社會接受度）指標(biāo)外，其余7個一級指標(biāo)均在0.01水平（雙側(cè)）上與工作績效分值呈現(xiàn)顯著相關(guān)關(guān)系。其中，K1（直觀性和展示）、K2（功能性）、K4（經(jīng)濟性和效益）、K7（家庭、社會與文化環(huán)境）四項指標(biāo)與工作績效的相關(guān)系數(shù)均超過了0.4;K3（使用價值和可持續(xù)性）、K5（工作過程和企業(yè)生產(chǎn)流程導(dǎo)向）、K8（創(chuàng)造性）三項指標(biāo)的相關(guān)系數(shù)均超過0.35。

K6（社會接受度）指標(biāo)不涉及具體操作，考查的是受試者對職業(yè)活動的整體理解和職業(yè)認(rèn)同，需要有系統(tǒng)化的知識作為支撐。回歸分析結(jié)果顯示，K6指標(biāo)與績效幾乎不相關(guān)，出現(xiàn)變異現(xiàn)象。這可能是由于用人單位（包括領(lǐng)導(dǎo)、服務(wù)對象等）在現(xiàn)實中有降低成本的重要訴求，對該指標(biāo)的認(rèn)知和要求與社會的要求存在差異，造成不同主體對社會接受度的重視程度具有差異，且績效評價中對于這類問題的體現(xiàn)不充分。變異現(xiàn)象側(cè)面證明了COMET能力測評在不同指標(biāo)的測量上具有更為精細(xì)的顆粒度，即各指標(biāo)所反映的能力都有其獨特價值，可以為被試者提升相應(yīng)職業(yè)能力提供更為清晰的指導(dǎo)方向。

對每一級指標(biāo)進行橫向比較發(fā)現(xiàn)，K4（經(jīng)濟性和效益）指標(biāo)和工作績效的相關(guān)系數(shù)最高，達到0.456，該指標(biāo)與工作績效中考核內(nèi)容的相關(guān)性更強，體現(xiàn)了被試者在解答測試題目時考慮到經(jīng)濟性等指標(biāo)，區(qū)別于在傳統(tǒng)的學(xué)校教學(xué)中學(xué)到的限于專業(yè)性和功能性的解決方案，說明被試者已經(jīng)初步掌握職業(yè)工作的理念。K1（直觀性和展示）和K2（功能性）指標(biāo)與工作績效的相關(guān)系數(shù)分別達到0.412、0.409，再次印證了達到功能性能力水平的任務(wù)解決方案，已經(jīng)涵蓋了職業(yè)和企業(yè)亟需的多數(shù)能力[10]。

從專業(yè)特殊性層面分析發(fā)現(xiàn)，K7（家庭、社會與文化環(huán)境）指標(biāo)相關(guān)系數(shù)排名第二，達到了0.434。作為高層次能力維度的指標(biāo)之一，這一結(jié)果超出研究預(yù)期。從初始假設(shè)出發(fā)，功能性能力和過程性能力對應(yīng)的相關(guān)指標(biāo)更直接地反映到工作績效中，而設(shè)計能力屬于潛力的范疇，并非直接反映在當(dāng)期工作績效中。由此可知，受專業(yè)特征的影響，老年服務(wù)與管理專業(yè)更加關(guān)注家庭和社會文化，如很多養(yǎng)老機構(gòu)都會提出“替兒女盡孝”等宣傳口號，在一定程度上反映出養(yǎng)老機構(gòu)的宗旨和使命，也反映出績效考核時的導(dǎo)向。此外，屬于設(shè)計能力層級的K8（創(chuàng)造性）指標(biāo)與工作績效的相關(guān)系數(shù)達到0.387，超過過程性能力層級的K3、K5指標(biāo)，反映出與人交互的專業(yè)在工作中需要更多創(chuàng)造性，而非像傳統(tǒng)工科類或者以物為工作對象的專業(yè)一樣，更加關(guān)注使用價值、可持續(xù)性、工作過程和企業(yè)生產(chǎn)流程導(dǎo)向。K3、K5指標(biāo)對重復(fù)性要求較高，而老年服務(wù)與管理專業(yè)開展工作的過程若僅僅是簡單重復(fù)的勞動，將無法滿足服務(wù)對象的多樣化需求。

四、結(jié)論與建議

（一）研究結(jié)論

研究發(fā)現(xiàn)，COMET能力測評的成績與360°績效評估測得績效的相關(guān)性較高，COMET能力測評方案8個一級指標(biāo)中有7個均與360°績效評估顯著相關(guān)。因此，COMET能力測評方法對工作績效有較高的預(yù)測效度，可作為技能評價的有效工具。鑒于COMET能力測評采用紙筆作答形式，成本低廉，未來可大規(guī)模開展?！癤”證書發(fā)證的核心在于技能評價，發(fā)證的依據(jù)是技能評價的結(jié)果，競賽的核心環(huán)節(jié)也是技能評價，在競賽中得到實證驗證的技能評價方式可以推廣到“X”證書的技能評價活動中。基于此，可在“1+X”證書技能評價制度建設(shè)中引入COMET能力測評方案，形成高預(yù)測效度的技能評價方法，并對現(xiàn)有的標(biāo)準(zhǔn)化實操考試進行改進。

（二）相關(guān)建議

1. 應(yīng)對現(xiàn)有“X”證書中技能評價的能力模型和測評模型進行效度分析

目前，“1+X”證書制度在有關(guān)部委的強勢推動下，伴隨著大量財政資源的投入，各省市的職業(yè)院校乃至應(yīng)用型本科院校都積極參與其中，但“1+X”證書制度并非天然就具備“職業(yè)效度”，要保證其培養(yǎng)培訓(xùn)模式和測評模式能夠達到制度設(shè)計的初衷，需要研究為其提供實證基礎(chǔ)。缺乏相應(yīng)的研究，沒有科學(xué)合理的能力模型以及在此基礎(chǔ)上開發(fā)的測評模型，不能開發(fā)出科學(xué)的測評工具。測評工具不科學(xué)，可能導(dǎo)致預(yù)測效度低，致使證書在預(yù)測工作績效或者工作潛力方面效度不高，將會浪費大量的物質(zhì)和時間成本。按照教育學(xué)的觀點，科學(xué)的能力測評的基礎(chǔ)是在教育學(xué)理論基礎(chǔ)之上建立的能經(jīng)過實證檢驗的能力模型和測評模型[11]。這就要求在審定相關(guān)發(fā)證機構(gòu)的條件時，除了需要考察基本的軟硬件條件外，還應(yīng)該對其測評體系、測評試題、支持測評工作的理論模型進行實證研究，深入分析證書的效度，以期獲得預(yù)期效果。證書的含金量受社會認(rèn)可度的影響，而社會認(rèn)可度與測評結(jié)果的效度、測評模型的科學(xué)性息息相關(guān)，可見技能評價工作的實施需要大量實證研究予以驗證。

2. 技能評價與“X”證書的頒發(fā)應(yīng)以典型工作任務(wù)為依據(jù)

本研究表明，來源于真實工作世界的標(biāo)準(zhǔn)化案例性任務(wù)，即研究中確立的典型工作任務(wù)，可以用于觀察和確立被測試者的技能發(fā)展水平。完成典型工作任務(wù)不僅需要理論知識和外在的動作技能，還需要蘊含其中抽象化和普適化的解決問題的方式，這是最關(guān)鍵的可以遷移的技能[12]，以此為依據(jù)進行的技能評價和頒發(fā)的技能等級證書才會有實際意義?；诖耍寄茉u價的測試題目應(yīng)當(dāng)盡量符合情境性測試題目的要求，即讓被試者在真實工作條件下進行工作，通過對其工作行為、工作成果的觀察和必要時對特殊工作環(huán)節(jié)的解釋，評價其職業(yè)能力發(fā)展水平，通過解決（或未成功解決）問題的方式，揭示實際問題解決策略[13]。

3. 將多元化的評價方式應(yīng)用于各類技能評價工作

不同評價方式各有優(yōu)勢和不足，在具體的評價實踐中，應(yīng)具體問題具體分析，統(tǒng)籌評價對象、評價內(nèi)容、評價實踐等要素，確定相應(yīng)的評價方式。COMET能力測評對職業(yè)能力可以作出較為全面、有效的評價，不但可以診斷職業(yè)能力的水平高低及特征輪廓，而且能夠有效預(yù)測未來的工作績效。對于較高層級的技能等級考試，可重點采用COMET能力測評強化開放性和情境性評價;而對于較低層級的技能等級考試，能夠考察功能性能力的實操考試就可以滿足基本需求。這種組合式設(shè)計可以降低學(xué)生求職成本和用人單位的招聘成本，在社會急缺技能領(lǐng)域如養(yǎng)老服務(wù)和實操考試成本高昂的工科類專業(yè)具有重要意義。此外，不同專業(yè)（職業(yè)）可考慮采用不同的技能評價方式，如認(rèn)知能力要求高而對動手能力和技巧要求不高的專業(yè)，可主要采用COMET能力測評進行技能評價;但對操作能力要求較高的專業(yè)，還要關(guān)注行動導(dǎo)向的實操考試。

4. 技能評價結(jié)果應(yīng)與學(xué)分銀行相銜接

通過“1+X”證書的學(xué)分轉(zhuǎn)換機制與職業(yè)教育國家“學(xué)分銀行”銜接，可以促進學(xué)歷職業(yè)教育與相關(guān)職業(yè)技能等級證書建設(shè)的融合，實現(xiàn)復(fù)合型技術(shù)技能人才培養(yǎng)的推進[14]。這種銜接和轉(zhuǎn)換需要對學(xué)歷證書和職業(yè)技能等級證書所體現(xiàn)的技能進行登記、儲存，進而開展學(xué)分認(rèn)定、積累和轉(zhuǎn)換工作，縮短修業(yè)年限，提升人才培養(yǎng)效率?；ネā⑥D(zhuǎn)化的基礎(chǔ)除了硬件方面的登記、存儲、轉(zhuǎn)換以外，最核心的是二者在內(nèi)核上具備相互轉(zhuǎn)換的基礎(chǔ)，使各級各類人才培養(yǎng)具有可比性的“出口標(biāo)準(zhǔn)”。目前學(xué)分銀行中不同主體之間的轉(zhuǎn)換暫未形成科學(xué)依據(jù)，現(xiàn)有的基礎(chǔ)研究不足以支持轉(zhuǎn)換的完成。若二者的課程體系、評價體系有共同的理論基礎(chǔ)，比如均在產(chǎn)教融合、校企合作理念的指導(dǎo)下，以典型工作任務(wù)作為“1”和“X”的共同內(nèi)核，則可以將兩個證書體系分別涵蓋的典型工作任務(wù)作為轉(zhuǎn)換的依據(jù)。此外，要重視不同部門之間在資歷認(rèn)證上的互通，使學(xué)分銀行形成跨越教育部、人力資源和社會保障部等部門的有效機制。

參 考 文 獻

[1]國務(wù)院關(guān)于印發(fā)國家職業(yè)教育改革實施方案的通知[Z].國發(fā)[2019]4號，2019-01-24.

[2]中共中央、國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[EB/OL].（2020-10-13）[2022-01-26].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[3][10][11]趙志群，菲利克斯·勞耐爾. COMET職業(yè)能力測評方法手冊[M].北京：高等教育出版社，2018：54-138.

[4]周瑛儀.大規(guī)模職業(yè)能力測評的預(yù)測效度——基于COMET方案在汽修、數(shù)控與電氣專業(yè)領(lǐng)域的研究[D].北京：北京師范大學(xué)，2015：127.

[5][9]趙志群.職業(yè)教育學(xué)習(xí)新概念[M].北京：北京師范大學(xué)出版社，2021：9-23.

[6]孫健.360度績效考評[M].北京：企業(yè)管理出版社，2003：27.

[7]何明宇.規(guī)培醫(yī)師醫(yī)學(xué)人文素養(yǎng)的360度評價研究[D].重慶：第三軍醫(yī)大學(xué)，2017：15.

[8]賴紅，李欽，譚旭.1+X證書制度實施的現(xiàn)狀分析與改進建議——基于培訓(xùn)評價組織參與的視角[J].職業(yè)技術(shù)教育，2021（30）：47-51.

[12]HACKER， W. Knowledge diagnosis winfried hacker[C]//RAUNER， F.， MACLEAN， R.Eds. Handbook of technical and vocational education and training research. Dordrecht： Springer， 2008：656-660.

[13]趙志群，孫鈺林，羅喜娜.“1+X”證書制度建設(shè)對技術(shù)技能人才評價的挑戰(zhàn)——世界技能大賽試題的啟發(fā)[J].中國電化教育，2020（2）：8-14.

[14]吳南中.基于學(xué)分銀行的1+X證書成果學(xué)分轉(zhuǎn)換：價值意蘊與推進路徑[J].成人教育，2021（10）：51-56.

Research on the Skills Evaluation Modes in the Reform of Vocational Education

——Taking the Predictive Validity of COMET Skills Evaluation Method on Job Performance as the Case

Sun Yulin， Zhao Yishu

Abstract? The validity of skills evaluation is an important factor affecting the quality of vocational skills level certificate. Taking the National Vocational College Skills Competition sponsored by the Ministry of Education as a platform， select the elderly care service skills competition， and use the COMET to evaluate the skills of the candidates， and then conduct performance evaluation of their employment or post-job practice in the short and medium term. The follow-up investigation is expected to provide an empirical basis for the development of skills evaluation work. The study found that the relationship between the COMET results and the job performance assessment results tends to be strongly correlated; among the three competency levels of the COMET， the processual competence has the highest correlation with job performance; among the eight first-level indicators in the COMET， except for social acceptance， the rest of the indicators are positively correlated with job performance. Based on this， it is suggested to improve the analysis of competence model and evaluation model; in practice， it should be based on professional tasks， flexibly use a variety of evaluation methods， and strengthen the link between skills evaluation and credit bank system.

Key words? vocational education; skills evaluation; COMET competence evaluation; job performance; predictive validity

Author? Sun Yulin， associate professor of Beijing Social Management Vocational College （Beijing 102600）; Zhao Yishu， master candidate of Faculty of Education of Beijing Normal University