基于Rasch模型的體育專業(yè)學(xué)生Excel考試質(zhì)量分析

張國瑞 沈陽體育學(xué)院

計算機應(yīng)用基礎(chǔ)課是各類高校均開設(shè)的一門重要的公共基礎(chǔ)課程，其教學(xué)內(nèi)容包括計算機基礎(chǔ)知識、Word文字處理、Excel電子表格和PowerPoint演示文稿。結(jié)課后采用無紙化考試的方式對學(xué)生Word、Excel、PowerPoint等軟件的操作能力進(jìn)行考核，本研究對其中的Excel考試試題質(zhì)量進(jìn)行分析，國內(nèi)進(jìn)行試題質(zhì)量分析大多是在經(jīng)典測試?yán)碚摚╟lassical testing theory，CCT）的基礎(chǔ)上進(jìn)行分析，這種方法計算簡單但存在一些局限性，對抽樣質(zhì)量要求過高、測量出的信度也存在一定的不準(zhǔn)確[1]，也無法分析出學(xué)生的能力水平。而項目反應(yīng)理論（item response theory，IRT）可以有效彌補CTT的不足。該理論中的Rasch模型目前應(yīng)用也比較廣泛，這是一種利用數(shù)據(jù)擬合模型的分析方法，當(dāng)數(shù)據(jù)擬合度差的時候可以根據(jù)模型需求對數(shù)據(jù)進(jìn)行修改以便得到合理的模型，這個過程正好適合對考試試題做分析，不理想的試題可以根據(jù)模型理論進(jìn)行修改[2]。因此本研究將Rasch模型引入到Excel考試的質(zhì)量分析中，通過科學(xué)的定量分析，驗證試題的難易度以及學(xué)生的能力水平，為了日后修訂試題庫，提高試題質(zhì)量提供理論依據(jù)。

一、研究對象與方法

（一）研究對象

本研究為了分析體育類專業(yè)學(xué)生Excel試題質(zhì)量，隨機抽取體育教育、運動訓(xùn)練、社會體育指導(dǎo)員等專業(yè)289名學(xué)生的Excel考試成績，學(xué)生考試過程采用計算機無紙化考試系統(tǒng)，全部試卷由系統(tǒng)自動判分，極大地避免了人為判卷中可能出現(xiàn)的誤差。本次考試Excel共有22道題，每題答對計1分，答錯計0分。

（二）研究方法

使用WINSTEPS 5.1.5.2軟件對所得數(shù)據(jù)進(jìn)行Rasch分析，主要研究分析的內(nèi)容為：總體擬合情況、單維度檢驗、題目與個體分析、懷特圖、氣泡圖等，通過上述分析研究試題質(zhì)量并提出修改建議。

二、研究結(jié)果

（一）整體質(zhì)量檢測

將考試數(shù)據(jù)導(dǎo)入Winsteps 5.1.5.2進(jìn)行分析，試題的整體質(zhì)量一般用擬合指數(shù)MNSQ（包括IMNSQ和OMNSQ）來表示。本次考試中學(xué)生和題目的擬合值數(shù)MNSQ（包括IMNSQ和OMNSQ）均接近理想值1，表明考試成績與Rasch模型的擬合度比較高。學(xué)生的分離度（PSI）為2.33，高于臨界值2，信度（PR）為0.84，高于臨界值0.8，綜合這兩個指標(biāo)說明參與本次考試的學(xué)生樣本能力分布比較合理。試題的分離度（ISI）為5.69，高于臨界值2，信度（IR）為0.97，高于臨界值0.8，綜合這兩個指標(biāo)說明試題的區(qū)分度比較理想。

（二）單維性檢驗

單維性是Rasch模型使用的前提條件之一，試題滿足單維性是指該試題考查學(xué)生某種單一能力或潛在特質(zhì)。本研究利用Winsteps 5.1.5.2對殘差進(jìn)行主成分分析（PCA），這樣可以將相關(guān)項目轉(zhuǎn)換為主成分，由此計算出來的解釋方差可以衡量模型的單維性，這里通常要求通過測量解釋的原始方差應(yīng)大于50%，第一次對比未解釋的方差應(yīng)小于3.0，本次考試成績殘差主成分分析結(jié)果，通過測量解釋的原始方差為58%，第一次對比未解釋的方差為2.76。說明本次考試數(shù)據(jù)滿足單維性的要求，適合做Rasch模型分析。

（三）各試題擬合度分析及誤差統(tǒng)計

應(yīng)用Rasch模型分析實際數(shù)據(jù)時，還需要對該數(shù)據(jù)進(jìn)行模型擬合度檢驗。該檢驗可以分析數(shù)據(jù)與模型的擬合情況，只有擬合情況符合要求時對實際數(shù)據(jù)進(jìn)行Rasch分析才具有實際意義。Rasch擬合度分析中常用的指標(biāo)是INFIT MNSQ和OUTFIT MNSQ，INFIT MNSQ是加權(quán)后的殘差均方，用來分析試題難度與所對應(yīng)的學(xué)生能力水平是否相符。OUTFIT MNSQ是標(biāo)準(zhǔn)殘差的均方，用來分析異常數(shù)據(jù)。通常情況下這兩個MNSQ值介于0.5到1.5之間時，數(shù)據(jù)與模型的擬合程度可以接受，當(dāng)該值為1時，數(shù)據(jù)與模型完全擬合。此外該值大于1.5時表示學(xué)生在答題時，作答方式與模型設(shè)定的方式不一致，即數(shù)據(jù)與模型不擬合[2]。該值小于0.5時，表示學(xué)生對某題的答題結(jié)果差異很小或者說這道題無法區(qū)分學(xué)生之間能力水平上的差異，即數(shù)據(jù)與模型過度擬合[1]。在對數(shù)據(jù)進(jìn)行擬合度檢驗時可能出現(xiàn)INFIT MNSQ和OUTFIT MNSQ的結(jié)果不一致的情況，此時我們一般以INFIT MNSQ為準(zhǔn)[1]。

本次考試各試題擬合度及誤差統(tǒng)計中題目Q1的INFIT MNSQ和OUTFIT MNSQ均大于1.5，說明該題目在測量學(xué)生與之相對應(yīng)的能力時存在一些干擾因素。題目Q2的INFIT MNSQ和OUTFIT MNSQ均過小而無法測量，該題目回答的正確率為100%，無論能力水平高低，全部學(xué)生均答對了這道題，該題目區(qū)分度極差。其余題目INFIT MNSQ都在合理范圍內(nèi)，數(shù)據(jù)擬合度良好。

（四）試題難度與學(xué)生能力水平分析

為了直觀的展示題目難度與學(xué)生能力、各題目難度、各學(xué)生能力之間的關(guān)系，本研究采用Rasch模型中的懷特圖，見圖1。懷特圖可以將Rasch模型中根據(jù)原始數(shù)據(jù)轉(zhuǎn)換成等距的logit值，將試題難度和學(xué)生能力放到同一量尺中進(jìn)行標(biāo)定，從而直接比較題目難度與學(xué)生能力、各題目難度、各學(xué)生能力之間的差異。

圖1 學(xué)生能力與試題難度關(guān)系懷特圖

圖1中，中線是logit刻度尺，中線左側(cè)表示學(xué)生的能力，中線右側(cè)表示試題的難度。圖中M表示平均水平，S是距離平均值一個標(biāo)準(zhǔn)差的距離，T是距離平均值兩個標(biāo)準(zhǔn)差的距離。刻度尺由上往下表示學(xué)生能力和試題難度的逐漸降低。中線左側(cè)的每一個“#”代表4名學(xué)生，每一個“.”代表1至3名學(xué)生。從圖1中可以看出本次考試學(xué)生能力的均值比試題難度均值高出將近2個logit的值，說明本次考試試題整體難度過低。其中，題目Q2、Q3、Q4、Q5難度都低于學(xué)生平均能力兩個標(biāo)準(zhǔn)差以上，對大部分學(xué)生而言這四道題沒有什么區(qū)分度。同時有25名以上的學(xué)生能力水平比難度最大的題目Q15的難度高了將近1個logit，說明對這一部分學(xué)生沒有能夠與之相匹配的題目。同樣在學(xué)生能力均值附近僅有1個題目Q21，在這一水平附近的學(xué)生人數(shù)最多，需要比較多的同等難度的題目來對學(xué)生進(jìn)行測試，本次考試中僅有1道題顯然不夠。

三、結(jié)論與建議

本研究使用Rasch模型分析體育專業(yè)學(xué)生Excel考試的試題質(zhì)量，通過分析可以認(rèn)為Rasch可以很好地對本次考試進(jìn)行分析。本次考試試題整體質(zhì)量比較高，與Rasch模型擬合度比較高，整體區(qū)分度也比較理想，但是整體的難度比較低。本次考試Excel試題是從2018年建立的試題庫中隨機抽取的，試題難度是按當(dāng)時學(xué)生的一般水平編寫的。2018年以來對體育類學(xué)生《計算機應(yīng)用基礎(chǔ)》課進(jìn)行了不斷地教學(xué)改革，從以教師為中心逐步轉(zhuǎn)變?yōu)橐詫W(xué)生為中心，從單一的線下授課轉(zhuǎn)變?yōu)榫€上線下混合式的教學(xué)，在提升學(xué)生自主學(xué)習(xí)能力的同時也在不斷地提升學(xué)生對于Excel操作的水平。從本次考試的Rasch模型分析結(jié)果中可以看到，學(xué)生的能力水平已經(jīng)高出試題難度將近2個logit，這個差距已經(jīng)非常明顯的說明了學(xué)生能力有了顯著的提升。由此可見本課程Excel試題庫應(yīng)該根據(jù)學(xué)生現(xiàn)有能力水平進(jìn)行大范圍修訂。

此外，由于本次考試整體難度比較低，其余題目雖然在Rasch模型分析中未發(fā)現(xiàn)問題，為了提高試題整體難度，在試題修訂中也應(yīng)在原題要求基礎(chǔ)上適當(dāng)增加題目難度。與此同時，建議調(diào)整教學(xué)大綱，增加一些學(xué)習(xí)難度比較大的Excel操作知識。