德國(guó)COMET評(píng)分量表在我國(guó)應(yīng)用的多面Rasch模型分析

何興國(guó)?趙志群?何壯

摘 要 德國(guó)COMET評(píng)分量表是職業(yè)能力測(cè)評(píng)的重要評(píng)價(jià)工具，其蘊(yùn)含著設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力的人才培養(yǎng)目標(biāo)，對(duì)我國(guó)職業(yè)教育評(píng)價(jià)及改革都具有重要借鑒意義。運(yùn)用項(xiàng)目反應(yīng)理論之多面Rasch模型，對(duì)COMET評(píng)分量表在我國(guó)學(xué)生職業(yè)能力測(cè)評(píng)中的適用性進(jìn)行了分析。結(jié)果表明：COMET評(píng)分量表總體區(qū)分度較高，能夠有效地區(qū)分我國(guó)職業(yè)教育背景下的學(xué)生職業(yè)能力水平；我國(guó)學(xué)生對(duì)COMET評(píng)分量表部分項(xiàng)目存在著不適應(yīng)現(xiàn)象，部分學(xué)生答題行為內(nèi)部一致性較差；我國(guó)教師對(duì)COMET評(píng)分量表寬嚴(yán)尺度把握內(nèi)部一致性較好，但不同評(píng)分教師個(gè)體之間的寬嚴(yán)程度還存在差異；評(píng)分教師與評(píng)分項(xiàng)目交互作用也存在一些顯著偏差。

關(guān)鍵詞 COMET評(píng)分量表；多面Rasch模型；項(xiàng)目分析；職業(yè)能力測(cè)評(píng)；職業(yè)院校

中圖分類號(hào) G719.516 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1008-3219（2016）25-0069-06

一、問(wèn)題的提出

起源于德國(guó)的職業(yè)教育學(xué)生職業(yè)能力測(cè)評(píng)國(guó)際研究項(xiàng)目（Competence Development and Assessment in TVET，COMET），對(duì)職業(yè)能力的理解超越了行為主義和一般個(gè)性特征的能力觀，將其理解為專業(yè)能力、方法能力和社會(huì)能力相統(tǒng)一，行動(dòng)過(guò)程和行動(dòng)結(jié)果相統(tǒng)一的綜合職業(yè)能力，其以設(shè)計(jì)導(dǎo)向職業(yè)教育思想、行動(dòng)導(dǎo)向教學(xué)、工作過(guò)程知識(shí)等先進(jìn)的職業(yè)教育理論為基礎(chǔ)，構(gòu)建了跨職業(yè)領(lǐng)域的職業(yè)能力測(cè)評(píng)模型[1]。COMET項(xiàng)目于2008年對(duì)德國(guó)不萊梅州和黑森州9所職業(yè)學(xué)校700名學(xué)生進(jìn)行了大規(guī)模標(biāo)準(zhǔn)化職業(yè)能力測(cè)評(píng)，為職業(yè)院校學(xué)生職業(yè)能力測(cè)評(píng)提供了新的視角和方法，被認(rèn)為是職業(yè)教育領(lǐng)域的“PISA”項(xiàng)目，得到了國(guó)際社會(huì)的廣泛關(guān)注[2]。2009年以來(lái)，北京師范大學(xué)在國(guó)際合作項(xiàng)目中引入COMET測(cè)評(píng)方案，在北京、廣州、重慶等地多次開(kāi)展學(xué)生職業(yè)能力測(cè)評(píng)實(shí)踐，為我國(guó)職業(yè)院校學(xué)生職業(yè)能力評(píng)估提供了新的方法，也為我國(guó)職業(yè)教育質(zhì)量保障提供了有效的工具[3]。

COMET評(píng)分量表是職業(yè)能力測(cè)評(píng)的重要評(píng)價(jià)工具，其蘊(yùn)含和體現(xiàn)了德國(guó)設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力的人才培養(yǎng)目標(biāo)。即培養(yǎng)的職業(yè)人才不僅要具有技術(shù)適應(yīng)能力，而且更重要的是應(yīng)對(duì)能力，本著對(duì)社會(huì)、經(jīng)濟(jì)和環(huán)境負(fù)責(zé)的態(tài)度，參與設(shè)計(jì)和創(chuàng)造未來(lái)的技術(shù)和勞動(dòng)世界；具有專業(yè)能力、方法能力和社會(huì)能力相統(tǒng)一的整體性綜合職業(yè)能力，即在復(fù)雜的職業(yè)情境中做出判斷并采取行動(dòng)的職業(yè)能力。正是以此思想為指導(dǎo)和目標(biāo)，COMET評(píng)分量表建立了八個(gè)評(píng)價(jià)維度的評(píng)價(jià)體系，以評(píng)估學(xué)生職業(yè)能力輪廓和職業(yè)能力水平。一是“直觀性與可展示性”，即通過(guò)語(yǔ)言或文字描述，利用圖紙條理清晰、結(jié)構(gòu)合理地向委托方展示解決方案以及完成工作任務(wù)后的結(jié)果。二是“功能性”，即工具性的專業(yè)能力、與具體情境無(wú)關(guān)的學(xué)科知識(shí)以及專業(yè)技能。三是“使用價(jià)值導(dǎo)向”，即以職業(yè)為導(dǎo)向，除滿足用戶直接使用要求外，還要考慮后期保養(yǎng)和維修的便利性。四是“經(jīng)濟(jì)性”，即在工作行動(dòng)中，需要估算經(jīng)濟(jì)性并考慮各種成本因素，并考慮未來(lái)可能產(chǎn)生的使用成本。五是“生產(chǎn)流程與工作過(guò)程導(dǎo)向”，即考慮企業(yè)的上下級(jí)結(jié)構(gòu)以及不同生產(chǎn)部門之間的銜接，考慮跨越每個(gè)人工作領(lǐng)域的部門間合作。六是“社會(huì)接受度”，即人性化的工作設(shè)計(jì)與組織、健康保護(hù)以及其他超越工作本身的社會(huì)因素，例如委托方、客戶和社會(huì)的不同利益。七是“環(huán)保性”，即不僅指一般的環(huán)保意識(shí)，而且針對(duì)生產(chǎn)過(guò)程和生產(chǎn)結(jié)果提出的特定要求，使用了對(duì)環(huán)境無(wú)害的材料，以及完成工作的計(jì)劃多大程度上符合環(huán)保要求。八是“創(chuàng)造性”，即在特定情境下為完成任務(wù)預(yù)留的高度設(shè)計(jì)空間，解決方案在滿足創(chuàng)造性要求的同時(shí)要有助于目標(biāo)的實(shí)現(xiàn)。COMET評(píng)分量表的八個(gè)評(píng)價(jià)維度充分體現(xiàn)了設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力目標(biāo)，并進(jìn)一步細(xì)化為39個(gè)評(píng)分項(xiàng)目，見(jiàn)表1，每個(gè)項(xiàng)目評(píng)分采用0～3分的李克特四級(jí)計(jì)分，依次為“完全不符合”“基本不符合”“基本符合”“完全符合”[4]。

COMET評(píng)分量表是在德國(guó)職業(yè)教育文化中開(kāi)發(fā)出來(lái)并得到實(shí)證檢驗(yàn)，引進(jìn)COMET評(píng)分量表對(duì)我國(guó)開(kāi)展學(xué)生職業(yè)能力測(cè)評(píng)和教學(xué)改革都具有重要的現(xiàn)實(shí)意義。然而，基于不同的職業(yè)教育理念和文化背景，COMET評(píng)分量表在我國(guó)應(yīng)用中的適應(yīng)性還有待研究。本研究將通過(guò)COMET測(cè)評(píng)方案下的我國(guó)職業(yè)院校學(xué)生職業(yè)能力測(cè)評(píng)實(shí)踐，探討COMET評(píng)分量表在我國(guó)的適用性，具體包括COMET評(píng)分量表的區(qū)分性、學(xué)生答題行為一致性、評(píng)分教師之間的一致性、評(píng)分教師內(nèi)部一致性、評(píng)分教師與評(píng)分項(xiàng)目的交互作用等問(wèn)題。

二、研究方法

（一）數(shù)據(jù)來(lái)源

本次研究所使用的是重慶市2014年6月中等職業(yè)學(xué)校汽車運(yùn)用與維修專業(yè)學(xué)生職業(yè)能力監(jiān)測(cè)數(shù)據(jù)。測(cè)評(píng)工作由重慶市教育評(píng)估院統(tǒng)一組織實(shí)施，共抽取25所學(xué)校的786名2012級(jí)在校學(xué)生參與測(cè)評(píng)。選擇2012級(jí)學(xué)生，原因在于2012級(jí)學(xué)生經(jīng)過(guò)兩年的專業(yè)學(xué)習(xí)，處于職業(yè)能力發(fā)展的關(guān)鍵時(shí)期，了解其職業(yè)能力現(xiàn)狀對(duì)檢驗(yàn)教學(xué)效果及進(jìn)一步改進(jìn)教學(xué)均具有重要的現(xiàn)實(shí)意義。

根據(jù)COMET測(cè)評(píng)方案，本次測(cè)評(píng)開(kāi)發(fā)并使用了基于該專業(yè)典型工作任務(wù)的綜合測(cè)評(píng)工具：“發(fā)動(dòng)機(jī)水溫高排故”。共有16位教師參與評(píng)分，每份試卷由隨機(jī)2位教師評(píng)定。評(píng)分教師接受了評(píng)分培訓(xùn)，根據(jù)COMET評(píng)分量表的39個(gè)項(xiàng)目進(jìn)行評(píng)分。

（二）研究工具

多面Rasch模型（Many-Faceted Rasch Model， MFRM）是項(xiàng)目反應(yīng)理論模型之一，可以將學(xué)生職業(yè)能力、評(píng)分教師寬嚴(yán)程度、評(píng)分項(xiàng)目難度、評(píng)分等級(jí)梯難度等放在同一等距水平的Logit標(biāo)尺上進(jìn)行精確度量，計(jì)算每個(gè)度量值的估算誤差、擬合程度以及各層面的交互作用，為評(píng)分量表以及測(cè)驗(yàn)質(zhì)量分析提供了更加客觀的視角。因此，研究選取該模型進(jìn)行參數(shù)估計(jì)，建立了以下分析模型：

其中，Pnijk是學(xué)生n由評(píng)分員j在項(xiàng)目i上評(píng)為k分的概率，Pnij（k-1）為其他條件相同情況下該學(xué)生被評(píng)為k-1分的概率。這一概率受到考生能力Bn、評(píng)分項(xiàng)目難度Di、評(píng)分教師寬嚴(yán)程度Cj和評(píng)分量表中各得分梯難度Fk的影響（由K-1到K的相對(duì)難度）。

本研究采用SPSS 22對(duì)收集到的原始數(shù)據(jù)進(jìn)行管理，使用Facets 3.70軟件，選擇多面Rasch模型（Many-Facet Rasch Model， MFRM）進(jìn)行參數(shù)估計(jì)，結(jié)果主要包括學(xué)生職業(yè)能力、測(cè)量誤差、擬合指數(shù)、項(xiàng)目難度、等級(jí)量表梯難度、各面之間的交互作用等。

三、結(jié)果與討論

（一）總體分析

圖1顯示了各層面的總體分布情況。圖左側(cè)第一列為Rasch量尺，以Logit為單位。分析中將評(píng)分項(xiàng)目的平均難度設(shè)定為Rasch量尺的零點(diǎn)。第二列至第五列分別為學(xué)生面、評(píng)分項(xiàng)目面、評(píng)分教師面和評(píng)分量表等級(jí)面。

從學(xué)生面來(lái)看，學(xué)生職業(yè)能力跨度為5.38個(gè)Logit單位，職業(yè)能力最高值為1.02，最低值為-4.26。學(xué)生職業(yè)能力集中在[-1，0]區(qū)間內(nèi)，占總?cè)藬?shù)的71.5%。學(xué)生職業(yè)能力平均值為-1.13，低于評(píng)分項(xiàng)目平均難度值0。

從評(píng)分教師面來(lái)看，16名評(píng)分教師中評(píng)分最嚴(yán)格的是5號(hào)教師，評(píng)分最寬松的是11號(hào)教師。教師評(píng)分的寬嚴(yán)程度相差在1.26個(gè)Logit單位以內(nèi)。

從評(píng)分項(xiàng)目面來(lái)看，評(píng)分項(xiàng)目難度的跨度為5.7個(gè)Logit單位，評(píng)分項(xiàng)目難度分布合理，“環(huán)保性”的評(píng)分項(xiàng)目32（考慮到環(huán)境友好的工作設(shè)計(jì)）難度值最高，這表明該項(xiàng)目的完成對(duì)學(xué)生職業(yè)能力要求高，只有職業(yè)能力值達(dá)到該項(xiàng)目難度（3.22）的學(xué)生才可能勝任該項(xiàng)目?！爸庇^性與可展示性”的評(píng)分項(xiàng)目2（恰當(dāng)表述解決方案）、“功能性”的評(píng)分項(xiàng)目6（解決方案滿足功能性要求）難度值最低，這表明該項(xiàng)目的完成對(duì)學(xué)生職業(yè)能力要求最低，只要職業(yè)能力達(dá)到對(duì)應(yīng)難度的學(xué)生就可以勝任該項(xiàng)目。

從評(píng)分量表等級(jí)面來(lái)看，在分值使用方面，各分值與臨近分值之間的界限清楚，且相鄰幾個(gè)等級(jí)區(qū)間的寬度分布比較均勻，見(jiàn)圖2，不存在等級(jí)倒置（disorder[5]）的現(xiàn)象。

（二）分層面分析

1.學(xué)生面

Rasch模型中以分隔系數(shù)（Separation）和分隔信度（Reliability）來(lái)衡量某一層面?zhèn)€體之間的差異是否大于測(cè)量誤差[6]。分隔系數(shù)大于2時(shí)說(shuō)明個(gè)體之間存在較大差異，分隔系數(shù)越大則個(gè)體間差異越顯著。學(xué)生面分析結(jié)果顯示，分隔系數(shù)為3.06、分隔信度為0.90、卡方值為7770.7（p<0.01），這說(shuō)明學(xué)生職業(yè)能力存在顯著差異。分隔指數(shù)（Strata ）代表了量表將該層面內(nèi)個(gè)體分成有顯著差異的等級(jí)數(shù)，可根據(jù)分隔信度計(jì)算得到，計(jì)算公式為（4·Separation+1）/3[7]。經(jīng)計(jì)算可得學(xué)生層面的分隔指數(shù)為4.41，即學(xué)生職業(yè)能力可分為5個(gè)顯著不同的層次，這表明COMET評(píng)分量表可以有效區(qū)分不同職業(yè)能力水平的學(xué)生。

Rasch模型中最常用的擬合參數(shù)為加權(quán)均方差（Infit MNSQ）和未加權(quán)均方差（Outfit MNSQ）。兩個(gè)參數(shù)取值范圍在[0，+∞]之間，理想值為1。擬合參數(shù)大于1稱為不擬合（underfit），即數(shù)據(jù)的實(shí)際變異大于模型的預(yù)期，當(dāng)高能力學(xué)生答錯(cuò)了簡(jiǎn)單項(xiàng)目或低能力學(xué)生答對(duì)了高難度項(xiàng)目時(shí)會(huì)出現(xiàn)不擬合的情況。擬合參數(shù)小于1稱為過(guò)度擬合（overfit），即數(shù)據(jù)的實(shí)際變異小于模型的預(yù)期[8]。當(dāng)項(xiàng)目難度分布太偏向兩個(gè)極端，即項(xiàng)目分為太難和太容易的兩大類，中等能力的學(xué)生全部答對(duì)了簡(jiǎn)單題目，全部答不出難的題目時(shí)就會(huì)出現(xiàn)過(guò)度擬合。擬合參數(shù)的取值一般在[0.7，1.3]之間[9]，每個(gè)面中不擬合的個(gè)體數(shù)量一般應(yīng)在5%以下[10]。從此次測(cè)評(píng)的學(xué)生擬合參數(shù)來(lái)看，Infit MNSQ值大于1.3的比例為16%，Outfit MNSQ的相應(yīng)比例為17%，明顯高于5%的要求。這說(shuō)明部分學(xué)生答題行為內(nèi)部一致性較差，進(jìn)一步調(diào)查發(fā)現(xiàn)，當(dāng)前中職課程教學(xué)活動(dòng)中教育者更多關(guān)注技術(shù)的功能性傳授，缺乏對(duì)技術(shù)所涉及的社會(huì)和環(huán)境問(wèn)題的關(guān)注，這可能導(dǎo)致學(xué)生在難度中等的技術(shù)的功能性、經(jīng)濟(jì)性評(píng)分項(xiàng)目表現(xiàn)較好，而在難度較低的直觀性與可展示性評(píng)分項(xiàng)目，以及難度較高的環(huán)保性、社會(huì)接受度評(píng)分項(xiàng)目上表現(xiàn)過(guò)低。這就是中國(guó)職業(yè)教育理念下學(xué)生對(duì)COMET評(píng)分量表部分項(xiàng)目存在的不適應(yīng)現(xiàn)象。

2.評(píng)分教師面

評(píng)分教師面的分析結(jié)果顯示，分隔系數(shù)為8.57、分隔信度為0.99、卡方值為1177.4（p<0.01），說(shuō)明教師之間的寬嚴(yán)程度存在著顯著差異。計(jì)算可得教師面的分隔指數(shù)為11.76，亦即教師之間打分的寬嚴(yán)程度可以分為12個(gè)顯著不同的層次，這說(shuō)明評(píng)分教師外部一致性不佳。

從擬合參數(shù)來(lái)看，僅有5號(hào)教師出現(xiàn)不擬合，其Outfit MNSQ值為1.31，非常接近1.3的擬合標(biāo)準(zhǔn)，這表明教師在評(píng)分時(shí)都能保持較高的內(nèi)部一致性。總體來(lái)說(shuō)評(píng)分教師個(gè)體評(píng)分素質(zhì)較高、經(jīng)驗(yàn)豐富，經(jīng)過(guò)評(píng)分培訓(xùn)，能夠保持較高的內(nèi)部一致性。但是不同教師之間，對(duì)COMET評(píng)分量表的整體理解和把握還存在著一定的差異，特別是表現(xiàn)在評(píng)分過(guò)程中不同評(píng)分教師個(gè)體之間的寬嚴(yán)程度存在較大差異。

3.評(píng)分項(xiàng)目面

評(píng)分項(xiàng)目面分析結(jié)果顯示，分隔系數(shù)為7.17、分隔信度為0.98、卡方值為26361.3（p<0.001），說(shuō)明評(píng)分項(xiàng)目之間的難度存在著顯著差異。計(jì)算可得分隔指數(shù)為9.89，亦即項(xiàng)目難度可以分為10個(gè)顯著不同的層次。這也充分表明COMET評(píng)分量表區(qū)分度較高，能夠有效地區(qū)分不同能力水平的學(xué)生。從擬合參數(shù)估計(jì)結(jié)果可以看出，大多數(shù)項(xiàng)目的Outfit MNSQ和Infit MNSQ參數(shù)都在0.7～1.3的可接受范圍之內(nèi)，擬合效果良好，僅“直觀性與可展示性”的評(píng)分項(xiàng)目1（方案表述適合與委托方溝通）和“環(huán)保性”的評(píng)分項(xiàng)目31（考慮到所用材料符合環(huán)境可持續(xù)發(fā)展的要求）出現(xiàn)不擬合的情況，其Outfit MNSQ和Infit MNSQ參數(shù)分別為1.46、1.45和1.42、1.19，即在這兩個(gè)評(píng)分項(xiàng)目上，出現(xiàn)了高能力學(xué)生得低分，或低能力學(xué)生得高分的現(xiàn)象。原因可能在于，我國(guó)職業(yè)教育理念下的學(xué)生對(duì)于這兩個(gè)評(píng)分項(xiàng)目的敏感性不強(qiáng)，在答題過(guò)程中無(wú)意或潛意識(shí)行為較多，因而出現(xiàn)了不擬合現(xiàn)象，這也說(shuō)明這兩個(gè)評(píng)分項(xiàng)目不能有效區(qū)分我國(guó)職業(yè)教育背景下的學(xué)生職業(yè)能力。

4.評(píng)分等級(jí)面

圖2為各評(píng)分等級(jí)的概率曲線圖，圖中每條曲線對(duì)應(yīng)一個(gè)分值。從左至右依次為0、1、2、3。橫軸為能力量尺，縱軸為概率。圖中相鄰兩個(gè)分?jǐn)?shù)的交點(diǎn)就是量表的閾值（Thresholds）。從左至右三個(gè)交點(diǎn)分別對(duì)應(yīng)三個(gè)閾值：-3.48、-0.07和3.54。由于能力越高的學(xué)生獲得高分?jǐn)?shù)的概率應(yīng)當(dāng)更大，所以梯難度應(yīng)當(dāng)呈遞增趨勢(shì)。數(shù)據(jù)分析結(jié)果表明，COMET評(píng)分量表不存在低分梯難度高于高分梯難度的等級(jí)倒置現(xiàn)象[11]。同時(shí)三個(gè)閾值將整個(gè)Rasch能力量尺劃分為四個(gè)能力區(qū)間，每個(gè)能力區(qū)間對(duì)應(yīng)一條概率曲線的峰值，在此能力區(qū)間內(nèi)的學(xué)生最容易得相應(yīng)得分值。例如代表1分的概率曲線峰值對(duì)應(yīng)的能力區(qū)間為[-3.48，-0.07]，所以能力在此區(qū)間內(nèi)的學(xué)生得1分的可能性最高。兩端的區(qū)間可以延伸到無(wú)窮大或無(wú)窮小，中間兩個(gè)區(qū)間的跨度為3.41和3.61。Rasch理論認(rèn)為，這一區(qū)間的理想寬度為1個(gè)Logit，最大不超過(guò)4個(gè)Logit單位[12]。本次研究中COMET評(píng)分量表的兩個(gè)區(qū)間分布比較平均，寬度都在4 Logit以內(nèi)，沒(méi)有出現(xiàn)某一區(qū)間過(guò)大或過(guò)小的現(xiàn)象。此外，四個(gè)分?jǐn)?shù)等級(jí)的擬合參數(shù)在[0.9，1.2]之間，不存在不擬合或過(guò)度擬合。綜合評(píng)分等級(jí)面的統(tǒng)計(jì)結(jié)果，說(shuō)明COMET測(cè)評(píng)的評(píng)分等級(jí)方案設(shè)計(jì)合理，可以有效區(qū)分不同能力水平的我國(guó)職校學(xué)生。

5.教師與評(píng)分項(xiàng)目交互作用的偏差分析

評(píng)分教師的Infit和Outfit參數(shù)表明了教師評(píng)分的自身一致性程度。對(duì)教師與評(píng)分項(xiàng)目的交互作用分析，可以進(jìn)一步了解中國(guó)教師在特定評(píng)分項(xiàng)目上的一致性程度。多面Rasch模型中以Z值的大小來(lái)判定交互作用的大小，一般認(rèn)為|Z|>2時(shí)存在顯著偏差，顯著偏差占項(xiàng)目比例在5%以內(nèi)為可接受范圍。當(dāng)Z值大于2時(shí)說(shuō)明該教師對(duì)此學(xué)生打分顯著嚴(yán)格；相反，當(dāng)Z值小于-2時(shí)說(shuō)明該教師對(duì)此學(xué)生打分顯著寬松。

教師與評(píng)分項(xiàng)目的交互分析表明，實(shí)驗(yàn)偏差項(xiàng)目共有624個(gè)，其中顯著偏差項(xiàng)目272個(gè)，占43.59%。其中，偏差超過(guò)10個(gè)的評(píng)分項(xiàng)目有“直觀性與可展示性”的評(píng)分項(xiàng)目1（方案表述適合與委托方溝通），“功能性”的評(píng)分項(xiàng)目7（考慮到當(dāng)前先進(jìn)技術(shù)）、項(xiàng)目9（從職業(yè)活動(dòng)角度說(shuō)明解決方案）和項(xiàng)目10（所表述和解釋的方案正確），“使用價(jià)值導(dǎo)向性”的評(píng)分項(xiàng)目12（方案考慮到使用的持久性和功能擴(kuò)展的可能性）。這表明評(píng)分教師在評(píng)價(jià)這些項(xiàng)目時(shí)與其他項(xiàng)目的尺度不一致，其原因一方面在于教師自身偏好等因素，另一方面也在于這些項(xiàng)目?jī)?nèi)涵難以把握，例如界定方案表述的適合性，從職業(yè)活動(dòng)的角度說(shuō)明方案，使用價(jià)值的持久性和功能的可擴(kuò)展性等。這也提示應(yīng)增進(jìn)和統(tǒng)一評(píng)分教師對(duì)這些項(xiàng)目在我國(guó)職業(yè)教育背景下內(nèi)涵的理解，特別應(yīng)進(jìn)一步貫徹“職業(yè)教育的學(xué)習(xí)內(nèi)容是工作”的職業(yè)教育理念，增進(jìn)教師對(duì)職業(yè)教育內(nèi)容的“職業(yè)性”理解，而不僅僅是從狹義的“技術(shù)”角度理解學(xué)習(xí)內(nèi)容。

四、結(jié)論

運(yùn)用現(xiàn)代教育測(cè)量項(xiàng)目反應(yīng)理論的多面Rasch模型分析，對(duì)COMET評(píng)分量表在中國(guó)的適用性研究有以下發(fā)現(xiàn)：

COMET評(píng)分量表總體區(qū)分度較高，能夠有效地區(qū)分我國(guó)職業(yè)教育背景下的學(xué)生職業(yè)能力水平。評(píng)分項(xiàng)目難度差異顯著，區(qū)分性強(qiáng)；評(píng)分等級(jí)設(shè)置合理，不存在低分閾值高于高分閾值的等級(jí)倒置現(xiàn)象。

我國(guó)職業(yè)院校學(xué)生對(duì)COMET評(píng)分量表的個(gè)別項(xiàng)目還存在不適應(yīng)現(xiàn)象，部分學(xué)生答題行為存在內(nèi)部一致性較差現(xiàn)象，主要表現(xiàn)在“直觀性與可展示性”的評(píng)分項(xiàng)目1（方案表述適合與委托方溝通）和“環(huán)保性”的評(píng)分項(xiàng)目31（考慮到所用材料符合環(huán)境可持續(xù)發(fā)展的要求）等方面。其原因在于我國(guó)職業(yè)教育實(shí)踐界多持行為主義職業(yè)能力觀，重視技術(shù)的功能性教學(xué)，而忽視了技術(shù)的環(huán)保性、社會(huì)接受度和顧客導(dǎo)向等方面的培養(yǎng)，學(xué)生對(duì)這些評(píng)分項(xiàng)目的敏感性不強(qiáng)。這提示我國(guó)職業(yè)教育應(yīng)進(jìn)一步建立設(shè)計(jì)導(dǎo)向的職業(yè)教育思想和綜合職業(yè)能力目標(biāo)，不僅要培養(yǎng)學(xué)生對(duì)技術(shù)的功能性意識(shí)與能力，還要培養(yǎng)學(xué)生對(duì)于技術(shù)的環(huán)保性、社會(huì)授受度和顧客導(dǎo)向等的意識(shí)和能力，也就是對(duì)技術(shù)的社會(huì)性設(shè)計(jì)的能力。

我國(guó)職業(yè)教育教師對(duì)COMET評(píng)分量表寬嚴(yán)尺度把握內(nèi)部一致性較好，但不同評(píng)分教師個(gè)體之間的寬嚴(yán)程度還存在著較大差異。交互作用分析發(fā)現(xiàn)，教師個(gè)體之間的評(píng)分寬嚴(yán)程度差異突出表現(xiàn)在“直觀性與可展示性”的評(píng)分項(xiàng)目1（方案表述適合與委托方溝通），“功能性”的評(píng)分項(xiàng)目7（考慮到當(dāng)前先進(jìn)技術(shù)）、項(xiàng)目9（從職業(yè)活動(dòng)角度說(shuō)明解決方案）和項(xiàng)目10（所表述和解釋的方案正確），“使用價(jià)值導(dǎo)向性”的評(píng)分項(xiàng)目12（方案考慮到使用的持久性和功能擴(kuò)展的可能性）等方面。這也表明，應(yīng)加強(qiáng)我國(guó)教師對(duì)職業(yè)教育本質(zhì)內(nèi)涵的理解：職業(yè)教育的學(xué)習(xí)內(nèi)容是工作，而不僅僅是從狹義的無(wú)任何社會(huì)關(guān)聯(lián)的“技術(shù)”，進(jìn)一步增進(jìn)和統(tǒng)一評(píng)分教師對(duì)項(xiàng)目評(píng)價(jià)尺度的把握。

參 考 文 獻(xiàn)

[1][4]Rauner F， Maurer L H A. Competence Development and Assessment in TVET （COMET）[M]. Springer， 2013：47-50.

[2]Fischer M， Rauner F， Zhao Z. Kompetenzdiagnostik in der Beruflichen Bildung-Methoden zum Erfassen und Entwickeln beruflicher Kompetenz： COMET auf dem Prüfstand[M]. Muenster： LIT， 2014：2.

[3]趙志群，莊榕霞.職業(yè)院校學(xué)生職業(yè)能力測(cè)評(píng)研究[J].職教論壇，2013（3）：4-7.

[5]Linacre J M. Optimizing Rating Scale Category Effectiveness[J]. J Appl Meas， 2002，3（1）：85-106.

[6]Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many-facet Rasch Measurement： Part I[J]. Journal of Applied Measurement， 2003， 4（4）： 386-422.

[7]Myford C M， Wolfe E W. Detecting and Measuring Rater Effects Using Many-facet Rasch Measurement： Part II[J]. Journal of Applied Measurement， 2004， 5（2）： 189-227.

[8]晏子.心理科學(xué)領(lǐng)域內(nèi)的客觀測(cè)量——Rasch模型之特點(diǎn)及發(fā)展趨勢(shì)[J].心理科學(xué)進(jìn)展，2010（8）：1298-1305.

[9]Mok M M C， Cheong C Y， Moore P J， et al. The Development and Validation of the Self-directed Learning Scales （SLS）.[J]. Journal of Applied Measurement， 2006，7（4）：418-449.

[10]張潔. PETS三級(jí)口語(yǔ)考試評(píng)分誤差研究——結(jié)合定量統(tǒng)計(jì)和定性描述的方法[J]. 外語(yǔ)測(cè)試與教學(xué)，2012（2）：33-42.

[11]何壯，趙守盈.技能評(píng)分項(xiàng)目裁判員評(píng)分結(jié)果的多面Rasch模型分析——項(xiàng)目反應(yīng)理論在體育運(yùn)動(dòng)領(lǐng)域的應(yīng)用[J].成都體育學(xué)院學(xué)報(bào)，2014（3）：43-48.

[12]Linacre J M. Investigating Rating Scale Category Utility[J]. Journal of Outcome Measurement， 1999，3（2）：103-122

Analysis of Application of German COMET Score Scale in China Context with the Many-Faceted Rasch Model

He Xingguo， Zhao Zhiqun， He Zhuang

Abstract German COMET score scale based the guideline of design orientation and comprehensive professional competence is an important evaluation tool for professional competence evaluation， and it is of great significance to the evaluation and reform of Vocational Education in our country. The applicability of German COMET score scale was analyzed in the context of Chinese students' professional competence evaluation with the Many-Facet Rasch Model. The results showed that the COMET score scale had higher differential validity， and could differentiate Chinese students' professional competence； there was the question of adaption of some items on Chinese students； some students answers had poor internal consistency； Chinese teachers had good internal consistency on the COMET score scale， but there was significant difference between teacher individual， and some biases also existed in the interaction between teachers and items.

Key words COMET score scale； Many-Faceted Rasch Model； item analysis； professional competence evaluation； vocational colleges

Author He Xingguo， PhD student of Beijing Normal University（Beijing 100875）； Zhao Zhiqun， professor of Beijing Normal University； He Zhuang， Beijing Normal University