對口支援課程建設下的跨校域課程聯(lián)考分析方法

姚敦紅　陳宇

[摘 要]課程聯(lián)考是對口支援課程建設的一種手段，為分析跨校域聯(lián)考課程的試卷質量及考試可信度等評價系數(shù)，課題組改進了傳統(tǒng)試卷難度、區(qū)分度和可信度分析方法，設計了一套跨校域聯(lián)考試卷分析方法，實現(xiàn)了跨校域聯(lián)考試卷質量分析和結果可信分析。分析結果表明，基于該方法能準確得出跨校域聯(lián)考課程的綜合難度、區(qū)分度和可信度系數(shù)，可用來檢驗對口支援課程建設的成效。

[關鍵詞]跨校域；課程聯(lián)考；難度；區(qū)分度；可信度；成效評價

[中圖分類號] G64 [文獻標識碼] A [文章編號] 2095-3437（2017）05-0033-03

為加快湖南偏遠地方高校的建設，提升辦學綜合水平，湖南省教育廳于2010年12月正式成文明確了相關對口支援單位，其中湖南農(nóng)業(yè)大學對口支援懷化學院?？缧５母叩冉逃砟羁纱龠M教育從封閉、集權化走向開放與合作。在這種背景下，湖南農(nóng)業(yè)大學信息科學技術學院成為懷化學院計算機科學與工程學院的對口支援單位，協(xié)助提升懷化學院計算機科學與工程學院的各項建設。

因此，針對跨校課程聯(lián)考的試卷質量及考試情況分析，以及為檢驗對比近年來在對口支援建設中的受援單位課程建設的成效，將采用一種改進的跨校域聯(lián)考難度、區(qū)分度與可信度分析的方法，分析由湖南農(nóng)業(yè)大學信息科學技術學院（以下簡稱“農(nóng)大”）、吉首大學信息科學與工程學院（以下簡稱“吉大”，主動加入課程聯(lián)考）和懷化學院計算機科學與工程學院（以下簡稱“懷院”）共同構建的聯(lián)考（以下簡稱“三校聯(lián)考”）機制下的課程聯(lián)考成效，檢查對口支援課程建設的成果。

一、課程聯(lián)考情況

本文將三所高校2013級、2014級學生高級語言程序設計課程聯(lián)考的試卷與考試情況做一個綜合分析，以此來衡量對口支援課程建設的成效。

考前，根據(jù)高級語言程序設計三校課程聯(lián)考實施方案的具體步驟，事先規(guī)范考試大綱和知識點，確定考試范圍。為能體現(xiàn)動手編程實踐能力，三校一致認同考試試卷由理論試卷與實踐試卷兩種類型組合構成，采用輪換交替機制進行出題，實施教考分離。對于理論測試與實踐測試，三校均采用無紙化考試平臺同時進行?？己螅呒壵Z言程序設計“三校聯(lián)考”兩部分考試基本數(shù)據(jù)情況如表1、表2、表3所示：

二、跨校域聯(lián)考課程分析方法

（一）試卷難度分析

為能體現(xiàn)跨校域聯(lián)考課程試卷難度系數(shù)，不能僅憑某一所學校的考試結果單獨確定難度系數(shù)，應綜合權衡三校難度作為整體試卷難度系數(shù)，同時，還需綜合權衡理論考試與實踐考試的難度系數(shù)。因此，在已知三校各自的理論與實踐考試平均成績與參考人數(shù)的情況下，“三校聯(lián)考”的試卷總難度P可按公式（1）計算得出：

其中 N、 J和 H分別表示農(nóng)大、吉大和懷院的理論考試平均成績， N、 J和 H分別表示農(nóng)大、吉大和懷院實踐考試平均成績，SN、SJ和SH分別表示農(nóng)大、吉大和懷院參考學生數(shù)，W表示試卷滿分值。P值越大表示試卷整體難度越小，根據(jù)教育測量學，要求試卷難度P值一般在0.4-0.7之間為宜，過高或過低表示試卷難度偏小或偏大，不利于體現(xiàn)考試的可信度。

（二）試卷區(qū)分度分析

區(qū)分度可以用來作為檢測每道試題設置是否合理有效的評價指標，或用來作為評價試題質量高低的依據(jù)。根據(jù)伊貝爾測量學的經(jīng)驗表明，區(qū)分度在0.4以上表示此題區(qū)分度很好，小于0.19表示不好，應放棄該題。在此，結合“三校聯(lián)考”的特點，特從各校的理論與實踐試題按題序、分年級和跨校域綜合考慮試卷的區(qū)分度，用以分析聯(lián)考試卷的質量。區(qū)分度采用改進的鑒別指數(shù)法進行，使用公式（4）計算出整套試題的綜合區(qū)分度D？綴（0，1）：

N為理論與實踐試卷總試題數(shù)，DNi、DJi、DHi分別表示農(nóng)大、吉大和懷院的第i題區(qū)分度，該區(qū)分度由公式（5）計算得出：

其中 PHi表示高分組（最高的27%）的得分率， PLi表示低分組（最低的27%）的得分率。

（三）考試信度分析

為檢測“三校聯(lián)考”試卷的考試結果對于三所學校的可信度，采用克倫巴赫（L.J.Cronbach）系數(shù)估計方法先對三所學校的聯(lián)考試卷做各自的系數(shù)計算，然后按公式（6）計算出平均值作為“三校聯(lián)考”試卷的α？綴（0，1）系數(shù)：

α 值越大，表明試卷測試結果越可信，其中αN 、αJ 和αH分別表示農(nóng)大、吉大和懷院的試卷α系數(shù)，可根據(jù)克倫巴赫α系數(shù)估計方法計算得到：

N為理論與實踐試卷題目總數(shù)，DM（X）為M校的所有考題總得分的方差，DM（Xi）為M校第i題得分的方差。

三、聯(lián)考結果分析

（一）聯(lián)考結果

采用上述方法，分析了從無紙化考試平臺導出的各年級考試結果數(shù)據(jù)，經(jīng)過統(tǒng)計計算，將結果使用直方圖、折線圖加以可視化處理，得到兩次聯(lián)考試卷難度系數(shù)（P），如圖1所示：

從圖中可以看出，兩次“三校聯(lián)考”的各校難度系數(shù)及總體難度系數(shù)均在合理區(qū)間，且2014級的試卷難度較2013級要低些。得到兩次“三校聯(lián)考”試卷總的區(qū)分度（D），如圖2所示：

從圖2可以看出，兩次“三校聯(lián)考”試卷總體區(qū)分度均在理想值范圍，具有較好的區(qū)分能力，使用聯(lián)考試卷進行考試能將不同水平的學生區(qū)分開來。

2013級理論試卷41題，實踐試卷8題，共49題，2014級理論試卷39題，實踐試卷8題，共47題，經(jīng)運行算法程序，得出如圖3所示的兩次“三校聯(lián)考”各校與總體測試信度的系數(shù)。

從圖3可以看出，各校及綜合的α系數(shù)值均大于0.7，表明考試可信度高。

圖4為受援單位懷化學院計算機科學與工程學院兩次聯(lián)考的平均分與及格率的對比圖：

從圖4可以看出，在對口支援課程聯(lián)考機制下，懷化學院計算機科學與工程學院的高級語言程序設計課程建設成效顯著得到提升，特別是在理論教學上提升的效果較為明顯。

（二）綜合評價分析

聯(lián)考試卷質量的好與差，不能單一的看綜合難度或綜合區(qū)分度，應該由難度與區(qū)分度兩個指標共同確定。根據(jù)文獻中的經(jīng)驗表明，當P>0.5且D>0.15時為好試卷，當P<0.5且D>0.15時為適用卷，當P>0.5且D≤0.15時為一般卷，當P<0.5且D≤0.15時為差試卷。對于一般的探索性測試結果研究，只需要克倫巴赫系數(shù)在0.7以上，可被認為結果是信度的。按此規(guī)則，從圖1、圖2和圖3可以清晰看出，兩次“三校聯(lián)考”試卷均為好試卷，并且結果是可信的。

四、結語

“三校聯(lián)考”是對口支援課程建設的重要手段之一，為分析聯(lián)考試卷的質量、可信度以及檢驗對口支援下課程建設成效，設計了一套用于跨校域的試卷分析方法，成功地實現(xiàn)了分析聯(lián)考課程試卷的難度、區(qū)分度等質量指標系數(shù)，以及考試結果可信度系數(shù)。分析結果表明，基于改進的跨校域分析方法能正確得到相應的分析結果，可作為一種衡量協(xié)同共建課程成效的方法。

[ 參 考 文 獻 ]

[1] Dunn P. SPSS survival manual： a step by step guide to da？鄄ta analysis using IBM SPSS[J]. Australian & New Zealand Jour？鄄nal of Public Health，2013（6）：597-598.

[2] 孫居鋒， 王春華， 侯桂革. 藥物合成反應考試試卷分析[J].大學教育，2015（8）：150-151.

[3] 張春輝，席衛(wèi)文，陳戈煜，等.卓越醫(yī)學本科教育的課程考核方式改革研究[J].中國高等醫(yī)學教育，2011（1）：22-24.

[4] 王剛，任汝靜，杜敏，等.醫(yī)學生神經(jīng)病學課學習態(tài)度量表的編制及效信度評價[J].醫(yī)學教育探索，2009（7）：802-806.

[5] 馮艷賓，馬洪超.關于經(jīng)典測量理論和項目反應理論中難度和區(qū)分度的探討[J].中國考試，2012（4）：10-14.

[6] 何明高，吳福根.對試題和試卷質量的分析——考試質量分析專用軟件介紹[J].教育探索，2001（2）：31-32.

[責任編輯：鐘 嵐]