基于考情分析的大學計算機基礎考評系統(tǒng)設計

張 軍，吳 荻，周海芳，周競文，賈 楠，寧偉勛

（國防科技大學 計算機學院，湖南 長沙 410073）

0 引言

大學計算機基礎課程（本文中簡稱“大基”）在諸多高校課程體系中是面向全校學生的基礎課程，對其教學質量進行便捷、有效的量化評價是大基教學的重要環(huán)節(jié)。在以“能力為導向”的教育趨勢下［1］，教師對學生考評的關注點已經不僅僅浮于考試的分數高低、及格率、優(yōu)秀率等指標，而是希望通過考評結果數據客觀地量化分析，縱向比較，以便能用客觀數據判斷學生能力是否達到教學大綱的要求、教學效果是否有提高、教育改革是否有成效。然而，在實際教學過程中，教師需要根據目前學生情況從數量龐大的教學資源中選取或設計合適的題目形成一份學生能力考察試卷，這具有一定難度；另一方面，由于學生人數眾多，計算機知識水平差異大，為客觀評價教學效果以便指導后續(xù)教學工作，教師需要對大量成績數據進行多方位、多層次整理與分析。傳統(tǒng)考評系統(tǒng)僅提供考試環(huán)境和原始考試成績，在考前考卷組建方式和考后考情分析等方面均十分薄弱。例如，傳統(tǒng)考評系統(tǒng)中教師憑借個人經驗確定試題難易度、知識點等考題屬性，在分析過程中主觀因素占比多，易產生疏漏和偏頗。因此，在當前教學要求下，需要設計科學、全面分析學生能力并依據分析結果選擇考題等的考評系統(tǒng)。

目前有考評系統(tǒng)摒棄了傳統(tǒng)考評系統(tǒng)組卷方式，采用自適應方式，其具體實施方式主要是真分數模型與難度相結合。例如，文獻［2］從認知層次、知識點數量、知識跨度、信息干擾4個因素展開分析，結合布盧姆目標分析理論，構建出了試題難度的分級方法和試卷生成策略，并對考試系統(tǒng)的開發(fā)進行需求分析和設計，但未對考試結果進行分析；文獻［3］認為Rasch模型可最大限度地減少額外因素對真實測量目的的影響和干擾，從而保證測量的客觀性和準確性，但缺乏在計算機教育中的實際應用研究。目前已有一些研究將Rasch模型應用于計算思維能力的測量，但存在測試樣本不足的缺陷，例如樣本中測試題目較少［4］、參與測評學生數目較少［5］、參與測試學生專業(yè)不屬于理工科方向［6］、參與測試學生的學生不屬于本科教育范圍［7］。

Rasch模型又稱為一維難度模型，是一種用于評估考試或測驗題目質量或難易程度的統(tǒng)計模型，是IRT（Item Response Theory）中最基礎的模型。該模型基于概率分布函數，假設考生的能力和試題的難度可以用單個參數來描述，從而建立起考試成績與題目難度之間的聯(lián)系，適用于各種類型的教育評估，包括學術考試和職業(yè)認證等。該模型還可以評估測試的信度和效度，對受試者、項目和整個測試的屬性進行分析和比較。為彌補以上研究不足，本文以大學計算機基礎這門公共課程作為研究對象，將Rasch模型應用于其基礎教學測評中，以期拓寬Rasch模型在能力測評中的應用范圍，也為大學計算機基礎課程的發(fā)展與完善提供理論與數據支撐。

1 考評系統(tǒng)分析與設計

1.1 考評系統(tǒng)分析

考評是教學閉環(huán)中的重要環(huán)節(jié)，通過精準的考情分析可以及時把握學生學習情況，有效督促教學改進。在很多院校中，大基屬于全校公共基礎課程，考生人數多。為評估考生能力，教師需要花費大量時間和精力對每一題的答題情況進行統(tǒng)計分析，如答題正確率、班級平均分與整體平均分數的比較等。對答題情況進行分析一方面有助于教師有針對性地增強薄弱知識點講解，另一方面可剔除或修改不合適的題目，完善試題庫。

考評系統(tǒng)結構如圖1所示，系統(tǒng)中各個考評環(huán)節(jié)的支撐說明見表1。目前無論是采用簡單隨機式還是先進的人工智能考評系統(tǒng)，其主要關注點在于組卷方式，但均必須基于試題可以客觀反映學生能力的基礎上才能達到預期考核目的。因此，考評系統(tǒng)除需支持考試組卷等外，還需提供考情分析功能，幫助教師完成考核閉環(huán)的迭代改進過程。

Table 1 Supporting description of evaluation sector表1 考評環(huán)節(jié)支撐說明

Fig.1 Evalutation system structure圖1 考評系統(tǒng)結構

1.2 功能模塊

依據用戶類型，考評系統(tǒng)功能模塊分為面向教師和考生兩個部分，面向教師模塊主要提供考題設置、考核結果分析、考生能力評估等功能；面向考生模塊根據考核目的、考場設置提供不同考核界面，具體如圖2和圖3所示。為方便學生平時自測和正式考試，減少對客戶端軟硬件的需求，該系統(tǒng)采用WEB模式，教師和考生可通過瀏覽器訪問考評系統(tǒng)。該模式受客戶端操作系統(tǒng)、設備性能等因素限制少，擴展了考評系統(tǒng)用戶規(guī)模和層次。

Fig.2 Teacher module圖2 教師模塊

Fig.3 Student module圖3 考生模塊

根據考評系統(tǒng)主要分為面向教師和考生兩個模塊，其頂層設計如圖2和圖3所示。

1.3 考題選擇模塊

在考題選擇模塊，系統(tǒng)在傳統(tǒng)選題模式的基礎上提供高級篩選功能中的相對難度和絕對難度作為選題參考［2］，具體如圖4所示。

Fig.4 Module design of "selecting questions"圖4 考題選擇模塊設計

1.3.1 相對難度

相對難度的計算公式為：

式中，H表示難度系數，M表示答錯該題的人數，N表示參加測試的總人數，答錯的人越多，難度系數越高。

隨著歷史數據量的增長，N和M均產生變化，H也隨之改變，根據相對難度選擇考題可以通過考評結果橫向比較學生能力。

影響相對難度的因素見表2，在同一學期中，因素1、2、3、4等外部客觀因素相對穩(wěn)定，此時相對難度可側面反映同一批次的學生能力情況。以2018年期末考試為例，抽取一部分班級答題情況，將其與全體考生答題情況進行比較。根據式（1）計算前10道題目的相對難度，結果見表3。采用式（2）表示相對難度偏差度，以考察不同樣本量下同一題目相對難度的不一致程度，其中D表示相對難度偏差度，b1表示Rasch模型中依據部分樣本統(tǒng)計得到的統(tǒng)計出的難度，b2表示Rasch模型中依據全體樣本統(tǒng)計出的難度。

Table 2 Factors affecting "relative difficulty"表2 影響相對難度的因素

Table 3 Relative difficulty deviation of 10 questions between some candidates and all candidates表3 部分考生與全體考生10道題目的相對難度偏差度

可以看出，抽取的部分考生與全體考生10道題目的相對難度偏差度范圍為［ -42.11%，28.91% ］，跨度高達70%，說明相對難度值高度依賴選取的樣本，抽取出來的學生在部分知識點的應用能力上低于平均水平，如第5題。

1.3.2 絕對難度

相對難度存在極大變化幅度，不適合作為不同年度、不同考生群體的能力考評參數。由于難度是題目本身的屬性，客觀上不因抽取樣本的不同而改變，因此考評系統(tǒng)同時提供了絕對難度參數，以縱向比較學生能力，該參數可通過測量考生能力的IRT模型獲得［8］。IRT模型以概率解釋學生答題情況與能力素養(yǎng)之間的關系［9］。IRT模型有3條基本假設：①能力單維性假設，其含義是組成某個測驗的所有項目均為測量同一潛在特質；②局部獨立性假設，其含義是對某個被試者而言，不同測試題目不存在相關性；③項目特征曲線假設，其含義是對被試者對某項目的正確反映概率與被試者能力之間的函數關系所作的模型［10］。為使絕對難度符合IRT模型，考評系統(tǒng)需要滿足以上3個假設前提［11］。為考察學生解決問題能力水平而不是知識點記憶情況，課題組采用開卷考試形式，重點考察學生運用知識點解決實際問題的能力，題目特征曲線嚴格單調上升?？荚u系統(tǒng)提供按IP地址發(fā)放A/B試卷、切換窗口控制等措施，可以做到作答真實可信，學生之間互不影響?？碱}中判斷題、選擇題占80%以上，保證學生有充足時間作答。基于以上前提實現(xiàn)對考生能力和試卷、試題質量的測評，可以達到使用同一尺度比較不同年度試卷、試題、考生水平和教學水平的目的［12］。

式中，Pi(θ)表示能力值為θ時的學生正確回答題目i的概率，一般為［ -3，+3 ］；bi表示題目i的難度系數，一般為 ［ -3，+3 ］。

IRT模型測量某個考題的特征曲線如圖5所示，其中橫坐標為θ，縱坐標為考生答題的正確率，函數是單調上升的。由圖5（a）可以看出，能力值（θ)越大，考生能力越強；由圖5（b）可以看出，當θ值一定時，曲線從左至右，b分別為［-2，-1，0，1，2］，即能力值一定時，b值越小，答題正確率越高。當題目難度過小或過大時，在曲線頂部或底部的Pi(θ)值趨向于水平變化不明顯，說明考生基本均能答題正確或錯誤，無法區(qū)分考生能力。

Fig.5 IRT model measuring the characteristic curve of a certain exam question圖5 IRT模型測量某個考題的特征曲線

為使考試系統(tǒng)更符合Rasch模型，依據IRT模型的假設前提采取如表4所示的多項措施，以支撐絕對難度作為選題指標。

Table 4 IRT assumptions and implementation conditions表4 IRT假設前提與實施條件

本文系統(tǒng)采用Winsteps軟件根據Rasch 模型［13］計算得到的題目絕對難度符合教學規(guī)律，由此在相對難度相同的兩組考生答題情況下計算獲得絕對難度值，結果見表5?？梢钥闯?，表5中的偏差度較表3明顯穩(wěn)定。

Table 5 Absolute difficulty and deviation of samples表5 絕對難度值及其偏差度

1.4 考生能力分析模塊

在以能力為導向的教育環(huán)境下，教師更關注學生們解決問題的過程，為此考評系統(tǒng)記錄考生解決問題的時長，嘗試次數等過程信息，將其作為參數，結合題目正確率，根據式（3）計算并生成學生能力分布圖和效率分布圖。該模塊設計見圖6，用戶根據實際評估需求選擇相對難度或絕對難度，例如若需評估某個班級能力水平在全年級中所處的排名，可以采用樣本為全體考生的相對難度作為參數，若比較不同年度考生能力水平則使用絕對難度作為參數。

Fig.6 Candidate ability analysis module圖6 考生能力分析模塊

1.5 考核結果分析模塊

大基課程參考人數多、考察知識范圍廣，考評系統(tǒng)提供多角度、多層次的考核結果反饋考生能力和教學效果，具體如表6所示。

Table 6 Assessment result analysis表6 考核結果分析

考評系統(tǒng)同時支持線上和線下考核結果的整理、展示，具體如圖7所示，教師可直觀地對學生能力和教學效果進行整體評估。

Fig.7 Organization and display of assessment results圖7 考核結果整理、展示

1.6 考場設置模塊

為針對考評目標合理構建考題，需盡量減少非考題因素對考生的影響，以得到真實考生數據并據此調整考題，因此考評系統(tǒng)設計了模擬考試和正式考試兩種模式，具體見表7。

Table 7 Module of examination hall settings表7 考場設置模塊

2 考評系統(tǒng)實現(xiàn)

2.1 考題選擇

為方便教師選擇考題并對已選考題進行操作，考評系統(tǒng)建立一個考題籃，將待選考題加入考題籃，考題確認后可形成一套試卷。界面如圖8所示。

Fig.8 Test question selection interface圖8 考題選擇界面

2.2 考情分析

為直觀展示學生能力，考評系統(tǒng)對其能力值進行百分制量化，并采用散點圖表示。如圖9所示，縱坐標表示學生能力量化值，橫坐標表示做對該題目所用時長，每個小藍色圓點代表一個學生。若考生使用該功能，則有紅色水滴形標簽標出其排名。以圖9考情分析結果對該考題進行改進，首先學生在該題能力值集中于左上部，如圖9中方框線所示，平均能力值偏大，且用時較??；其次該題的絕對難度平均能力值為-，小于0，表明需要修正該題目。

Fig.9 Distribution of candidates' ability values圖9 考生能力值分布

修改考題示例如表8所示，對題目調整后再次測試，發(fā)現(xiàn)其參數值均在合理范圍內。

Table 8 Example of modifying examination questions表8 修改考題示例

3 結語

采用難度量化后的考卷能在滿足考核所需的同時提高考情分析的科學性和全面性，將考核結果多層次直觀地展示給教師，可便捷準確地定位教學短板。本文基于Rasch模型分解難度維度，為計算思維能力提供了客觀的測量方式。但在使用Rasch模型對學生編程能力評估時并不理想，這是由于樣本的編程題評分方式不同，例如即使沒有編寫正確的功能代碼，但只要編譯通過了也可以獲得部分分數，這種設置無法準確反映學生的計算機思維能力。下一步將隨著樣本的數量增加針對編程題樣本數據進一步整理和挖掘，以期可以使用量化方式客觀評價考生能力，為考察教學效果提供客觀依據。