開創(chuàng)國(guó)內(nèi)職業(yè)教育實(shí)證研究新范式

三階段接力 成就嚴(yán)謹(jǐn)研究

本次課題研究分預(yù)測(cè)、測(cè)評(píng)、數(shù)據(jù)處理與分析總結(jié)等三階段。

首先是預(yù)測(cè)階段。

2012年4月，課題立項(xiàng)后，課題組立即界定研究問(wèn)題、確立研究目標(biāo)、選擇理論支持和方法技術(shù)、設(shè)計(jì)測(cè)評(píng)模型與測(cè)評(píng)方案、開發(fā)預(yù)測(cè)評(píng)試題、對(duì)預(yù)測(cè)院校人員開展培訓(xùn)；6月，在3所院校的4個(gè)專業(yè)實(shí)施預(yù)測(cè)評(píng)；6月，完成改卷、數(shù)據(jù)處理和預(yù)測(cè)評(píng)分析總結(jié)，形成預(yù)測(cè)評(píng)報(bào)告；7月，課題在廣州大廈開題，在職業(yè)能力建設(shè)司領(lǐng)導(dǎo)、課題論證專家的悉心指導(dǎo)下，課題組修定了研究設(shè)計(jì)，為正式的學(xué)生職業(yè)能力測(cè)評(píng)工作奠定了基礎(chǔ)。

其次是測(cè)評(píng)階段。

測(cè)評(píng)模型與內(nèi)容設(shè)計(jì)方面——2012年7～9月，依據(jù)開題意見(jiàn)修正本研究問(wèn)題為學(xué)校人才培養(yǎng)與企業(yè)人才需求的契合度，研究目標(biāo)是檢測(cè)一體化課改試點(diǎn)工作的效果，理論支持是一體化課程理論（包括設(shè)計(jì)導(dǎo)向的職業(yè)教育思想、一體化課程理論和一體化課程開發(fā)技術(shù)規(guī)程）和職業(yè)能力測(cè)評(píng)COMET理論（德國(guó)不來(lái)梅大學(xué)菲利克斯﹒勞耐爾教授領(lǐng)導(dǎo)的一個(gè)起源于德國(guó)的國(guó)際職業(yè)能力大規(guī)模測(cè)評(píng)研究項(xiàng)目）。

測(cè)評(píng)設(shè)計(jì)以學(xué)生職業(yè)能力測(cè)評(píng)形式展開，以符合職業(yè)的典型工作任務(wù)要求、體現(xiàn)中級(jí)工的特征（測(cè)評(píng)樣本的學(xué)習(xí)階段）、體現(xiàn)學(xué)習(xí)者和職業(yè)教育的特征為原則；三維測(cè)評(píng)模型設(shè)計(jì)為由初級(jí)工到高級(jí)技師的職業(yè)內(nèi)容維度、完整工作過(guò)程伴隨職業(yè)素養(yǎng)的職業(yè)行動(dòng)維度和職業(yè)能力的三級(jí)水平維度，從職業(yè)人的職業(yè)效度而非從課程效度的視角來(lái)評(píng)價(jià)學(xué)生的職業(yè)能力與職業(yè)素養(yǎng)，遵循學(xué)習(xí)者的認(rèn)知規(guī)律、由初學(xué)者到專家的職業(yè)能力發(fā)展規(guī)律以及特定工作領(lǐng)域的能力特征、技術(shù)標(biāo)準(zhǔn)和社會(huì)規(guī)范，對(duì)學(xué)習(xí)者是否達(dá)到教育目標(biāo)和職業(yè)規(guī)范的要求進(jìn)行大規(guī)模測(cè)試。

圖 學(xué)生職業(yè)能力測(cè)評(píng)模型與測(cè)評(píng)方案

將測(cè)評(píng)內(nèi)容設(shè)計(jì)為分專業(yè)的職業(yè)能力測(cè)評(píng)和學(xué)習(xí)情況調(diào)查。能力測(cè)評(píng)采用真實(shí)任務(wù)，要求被試者以符合職業(yè)要求的專業(yè)態(tài)度和方式方法在紙筆測(cè)評(píng)中獨(dú)立編寫測(cè)評(píng)任務(wù)的解決方案，全面細(xì)致地闡述采取方案的理由，記錄任務(wù)完成過(guò)程和結(jié)果且說(shuō)明理由，并用實(shí)操測(cè)評(píng)的方式實(shí)施、檢驗(yàn)與評(píng)價(jià)這個(gè)方案，從而形成一個(gè)完整的職業(yè)行動(dòng)過(guò)程。

測(cè)評(píng)樣本確定方面——由人社部職業(yè)能力建設(shè)司技工教育管理處依據(jù)2009年試點(diǎn)院校專業(yè)開設(shè)是否有對(duì)比班和測(cè)評(píng)期間學(xué)生實(shí)習(xí)地點(diǎn)情況，確定了試點(diǎn)專業(yè)被測(cè)院校的15個(gè)教學(xué)班級(jí)。

測(cè)評(píng)過(guò)程監(jiān)控方面——人社部職業(yè)能力建設(shè)司下發(fā)文件，課題組制定工作指引，組織了被測(cè)院校管理者的培訓(xùn)。被測(cè)院校嚴(yán)格執(zhí)行了企業(yè)和其他院?？荚u(píng)員聘請(qǐng)的要求，由當(dāng)?shù)芈殬I(yè)技能鑒定部門負(fù)責(zé)考場(chǎng)監(jiān)控，并進(jìn)行全程錄像，確保了考評(píng)過(guò)程的客觀性。

課題組進(jìn)行了5個(gè)專業(yè)6份樣題和10套學(xué)生職業(yè)能力測(cè)評(píng)試題及1份調(diào)查問(wèn)卷的開發(fā)，提交人社部審核。2012年10月19日起，5所院校4個(gè)專業(yè)試點(diǎn)班和非試點(diǎn)班共計(jì)495名學(xué)生，采用A、B卷交叉發(fā)放實(shí)施測(cè)評(píng)和問(wèn)卷調(diào)查（機(jī)加工專業(yè)沒(méi)有合適的測(cè)評(píng)樣本，故未施測(cè)）。

第三是數(shù)據(jù)處理與分析總結(jié)階段。

2012年10月后，組織閱卷與數(shù)據(jù)統(tǒng)計(jì)分析，啟動(dòng)報(bào)告撰寫與內(nèi)審，2013年3月22日課題結(jié)題。

數(shù)據(jù)統(tǒng)計(jì)依據(jù)4個(gè)專業(yè)測(cè)評(píng)試題的評(píng)分標(biāo)準(zhǔn)，對(duì)試題中每一個(gè)評(píng)分點(diǎn)的得分情況從四方面逐項(xiàng)開展統(tǒng)計(jì)。共統(tǒng)計(jì)371個(gè)評(píng)價(jià)點(diǎn)，生成67225個(gè)數(shù)據(jù)、195個(gè)圖和132個(gè)表，形成約30萬(wàn)字的測(cè)評(píng)總報(bào)告、調(diào)查問(wèn)卷報(bào)告與4個(gè)分專業(yè)報(bào)告及5所測(cè)評(píng)院校15個(gè)教學(xué)班的成績(jī)報(bào)告、495名學(xué)生成績(jī)報(bào)告。數(shù)據(jù)準(zhǔn)確，圖表詳實(shí)，行文嚴(yán)謹(jǐn)，內(nèi)容客觀，結(jié)論可信。

攻克三大難點(diǎn) 創(chuàng)新研究過(guò)程

難點(diǎn)一：職業(yè)能力測(cè)評(píng)模型的建立。

建立一個(gè)跨職業(yè)領(lǐng)域的職業(yè)能力測(cè)評(píng)模型是面臨的首要挑戰(zhàn)。本研究以“COMET三維職業(yè)能力模型”為基礎(chǔ)，但該模型用紙筆測(cè)試方式只測(cè)評(píng)學(xué)生的認(rèn)知潛能，而本課題的研究問(wèn)題是測(cè)評(píng)學(xué)生的職業(yè)行動(dòng)能力，包括紙筆和實(shí)操兩部分測(cè)評(píng)，這就需要對(duì)COMET測(cè)評(píng)模型這一國(guó)際前沿理論創(chuàng)新應(yīng)用。為此，課題組構(gòu)建了由職業(yè)內(nèi)容維度、職業(yè)行動(dòng)維度和職業(yè)能力維度組成的測(cè)評(píng)模型。在職業(yè)內(nèi)容維度上，依據(jù)中級(jí)工測(cè)評(píng)對(duì)象水平，以程序性任務(wù)為主；在職業(yè)行動(dòng)維度上，職業(yè)素養(yǎng)伴隨從明確任務(wù)/獲取信息、制定/確定方案、實(shí)施/檢查控制到評(píng)價(jià)反饋的職業(yè)工作過(guò)程；在職業(yè)能力維度上，以功能性能力為主，適當(dāng)考慮過(guò)程性與設(shè)計(jì)能力。

難點(diǎn)二：職業(yè)能力測(cè)評(píng)試題的開發(fā)。

開發(fā)一套跨專業(yè)的符合測(cè)評(píng)模型的一組測(cè)評(píng)試題是又一挑戰(zhàn)。COMET職業(yè)能力測(cè)評(píng)是以職業(yè)的典型工作任務(wù)為基礎(chǔ)，是設(shè)計(jì)完成典型工作任務(wù)解決方案的紙筆測(cè)試形式。而本研究測(cè)評(píng)試題為保證測(cè)評(píng)的科學(xué)性、客觀性，對(duì)5個(gè)專業(yè)均設(shè)計(jì)了A卷、B卷兩份試題，測(cè)評(píng)時(shí)交叉發(fā)放給學(xué)生，采用真實(shí)任務(wù)，要求被試者在紙筆測(cè)評(píng)中獨(dú)立編寫測(cè)評(píng)任務(wù)的解決方案，全面細(xì)致地闡述采取方案的理由，記錄任務(wù)完成過(guò)程和結(jié)果且說(shuō)明理由，并用實(shí)操測(cè)評(píng)的方式實(shí)施、檢驗(yàn)與評(píng)價(jià)這個(gè)方案，從而形成一個(gè)完整的職業(yè)行動(dòng)過(guò)程。如何讓測(cè)評(píng)模型與測(cè)評(píng)原則充分反映在不同專業(yè)的試題中？如何保證同一專業(yè)兩份試題的等值性？如何涵蓋職業(yè)行動(dòng)與職業(yè)素養(yǎng)要求來(lái)設(shè)計(jì)紙筆與實(shí)操測(cè)評(píng)試題？這些都是非常大的挑戰(zhàn)。

難點(diǎn)三：測(cè)評(píng)數(shù)據(jù)分析維度的設(shè)計(jì)。

設(shè)計(jì)一套跨專業(yè)的符合測(cè)評(píng)模型的分析處理方法是第三個(gè)挑戰(zhàn)。如何對(duì)8份正式測(cè)評(píng)試題的371個(gè)評(píng)分點(diǎn)的數(shù)據(jù)進(jìn)行分類分析？課題組緊緊圍繞“學(xué)生綜合職業(yè)能力培養(yǎng)與企業(yè)職場(chǎng)綜合職業(yè)能力要求是否匹配”的研究目標(biāo)，創(chuàng)新性地設(shè)計(jì)了數(shù)據(jù)分析的四個(gè)維度：測(cè)評(píng)總分、紙筆測(cè)試與實(shí)操測(cè)試試點(diǎn)班與非試點(diǎn)班的對(duì)比情況分析；職業(yè)行動(dòng)維度的對(duì)比情況分析；紙筆測(cè)試綜合職業(yè)能力的對(duì)比情況分析；紙筆測(cè)試的設(shè)計(jì)與實(shí)操測(cè)試的實(shí)施和評(píng)價(jià)等若干項(xiàng)目的相關(guān)性統(tǒng)計(jì)。數(shù)據(jù)處理方法是數(shù)據(jù)的科學(xué)性、嚴(yán)謹(jǐn)性的重要保障。本研究的數(shù)據(jù)采用SPSS 18.0軟件包進(jìn)行分析，設(shè)計(jì)檢驗(yàn)指標(biāo)有：平均分、平均得分率、標(biāo)準(zhǔn)差、t值、F值、顯著性和均值的標(biāo)準(zhǔn)誤等。

兩大因素給力 開創(chuàng)研究新范式

第一，成功歸于結(jié)構(gòu)合理、運(yùn)作高效的科研團(tuán)隊(duì)。

本課題組由領(lǐng)導(dǎo)小組、科研顧問(wèn)組、企業(yè)專家組、課題研究組、五個(gè)專業(yè)組和數(shù)據(jù)統(tǒng)計(jì)組等組成，本課題研究取得成功的重要基礎(chǔ)是研究團(tuán)隊(duì)的結(jié)構(gòu)合理、運(yùn)作高效。課題研究組的核心成員有著豐富的一體化課改課題研究經(jīng)驗(yàn)和大規(guī)模測(cè)評(píng)經(jīng)驗(yàn)，能充分保持良好的溝通，按照領(lǐng)導(dǎo)小組的要求來(lái)完成命題式課題研究，順利推進(jìn)研究進(jìn)展；能充分發(fā)揮科研顧問(wèn)組、企業(yè)專家組的指導(dǎo)作用；能科學(xué)高效管理著來(lái)自7所院校的19位不同專業(yè)教師組成的5個(gè)專業(yè)小組；能充分溝通以確保數(shù)據(jù)統(tǒng)計(jì)小組工作的科學(xué)嚴(yán)謹(jǐn)。這些都是本課題研究中碰到的新問(wèn)題、新挑戰(zhàn)、新經(jīng)驗(yàn)。在廣州市職業(yè)技術(shù)教研室的統(tǒng)籌和精心組織下，課題組敬業(yè)愛(ài)業(yè)、凝心聚力，充分發(fā)揮團(tuán)隊(duì)的合力作用，課題研究成果實(shí)現(xiàn)了預(yù)期的效果。

同時(shí)，成功來(lái)自對(duì)被測(cè)評(píng)院校的高效溝通與科學(xué)管理。本次預(yù)測(cè)評(píng)3所院校4個(gè)專業(yè)、正式測(cè)評(píng)5所院校4個(gè)專業(yè)，涉及19個(gè)教學(xué)班，區(qū)域跨度大，專業(yè)差異大，學(xué)校間軟硬件條件、測(cè)評(píng)組織管理能力參差不齊，一體化課改實(shí)施的水平不一，給測(cè)評(píng)的組織管理帶來(lái)了挑戰(zhàn)，科學(xué)的過(guò)程控制設(shè)計(jì)非常重要。在人社部職業(yè)能力建設(shè)司技工院校管理處、廣州市人社局的領(lǐng)導(dǎo)下，課題組培訓(xùn)考務(wù)人員，發(fā)布考場(chǎng)工作準(zhǔn)備要求等指引文件，實(shí)施過(guò)程監(jiān)管等方式，確保了測(cè)評(píng)的科學(xué)性和客觀性。

第二，成功歸于理論實(shí)踐、探索檢驗(yàn)的有機(jī)結(jié)合。

在本課題研究中，理論與實(shí)踐、探索與檢驗(yàn)的有機(jī)結(jié)合是課題研究取得成功的重要保障。2009年以來(lái)，人社部積極推進(jìn)一體化課程教學(xué)改革工作，采用了設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和一體化課程開發(fā)技術(shù)，這些都是國(guó)際職業(yè)教育最前沿的理論方法。在國(guó)內(nèi)專家的指導(dǎo)下，經(jīng)過(guò)整體設(shè)計(jì)、精心策劃，全國(guó)30所試點(diǎn)院校5個(gè)專業(yè)的中級(jí)工學(xué)生開展了兩年教學(xué)實(shí)驗(yàn)的探索，緊接著才可能提出科學(xué)評(píng)價(jià)學(xué)生綜合職業(yè)能力水平的檢驗(yàn)問(wèn)題。

而破解問(wèn)題采用了開放的職業(yè)效度方式，即職業(yè)人在職業(yè)情境中的綜合職業(yè)能力與職業(yè)素養(yǎng)要求，分為預(yù)測(cè)評(píng)和正式測(cè)評(píng)兩個(gè)階段，選取611位學(xué)生作為檢驗(yàn)樣本，采用國(guó)際前沿的職業(yè)能力測(cè)評(píng)技術(shù)，委托第三方的評(píng)價(jià)方式，而非簡(jiǎn)單、常規(guī)、封閉式的經(jīng)驗(yàn)總結(jié)方式。本研究以科學(xué)理論方法為基礎(chǔ)，用統(tǒng)計(jì)檢驗(yàn)數(shù)據(jù)為載體，用行動(dòng)導(dǎo)向的實(shí)驗(yàn)實(shí)踐為過(guò)程，是理論思想、測(cè)評(píng)模型、方法技術(shù)與教學(xué)實(shí)驗(yàn)、測(cè)評(píng)實(shí)踐、研究實(shí)踐的完美融合，在對(duì)全國(guó)技工院校一體化課改工作作出科學(xué)評(píng)價(jià)的同時(shí)，開創(chuàng)了國(guó)內(nèi)職業(yè)教育實(shí)證研究的新范式、新篇章。