圖形分析法在高考試題評價中的應用
——以高考物理試題為例

關丹丹 程力 門東平

（教育部考試中心，北京 100084）

基于經典測量理論（CTT）對試題進行分析，其指標和方法都已經相當成熟。難度和區(qū)分度是最為熟知的評價指標，但如何給命題人員呈現分析結果，或者如何幫助命題人員更好地理解試題的難度、區(qū)分度等指標及其意義，這些問題仍然值得探討。事實上，我們經常會看到兩個試題具有同樣的難度，但對不同水平考生起到的區(qū)分作用可能不同。如果以圖形形式呈現試題對于不同能力水平考生所表現出來的難度、區(qū)分度情況，可能更有助于命題專家獲得直觀的理解。選項分析（distractor analysis）近幾年被國內外考試機構廣泛使用，日益顯示出圖形分析的強大生命力[1]。如何對選擇題進行選項分析，選項分析的結果如何解讀？多級計分的主觀題是否能夠同樣通過圖形分析來豐富試題的統計特征所傳達的信息？如何對非選擇題進行圖形分析，結果又如何解讀？本文試圖解答這些問題。

1 圖形分析法的邏輯：基于條件概率估計

通常而言，題目的難度等統計特征值都是以總體水平的概率進行估計的，如二級計分題目難度（即正確率）=正確回答該題目的考生數/考生總數，多級計分題目難度（即得分率）=該題目的平均得分/題目滿分。如某選擇題的難度為0.6，就意味著在總體上有60%的考生正確作答了該題，但是不同水平的考生正確作答該題的概率是不一樣的，一般而言，能力水平低的考生正確作答該題的概率較低，而能力水平高的考生正確作答該題的概率較高。不同能力水平的考生正確作答試題的概率變化，不僅能豐富試題難度的信息，也豐富了試題區(qū)分度信息。因此，與基于總體的概率估計相比，美國ETS的統計學家認為，基于條件概率估計提供的統計信息是最有用的題目分析信息[1]。如果說基于總體的概率估計是相對于總體平均水平而言的，那么基于條件概率的估計就是相對于每一個具體能力水平的考生群體而言的，即對于任何效標變量（如試卷總分或IRT參數等）上的每一個可能值，基于條件概率的估計可以顯示該水平的考生正確回答某一題目或者選擇某個選項，或者至少獲得某一分數的可能性。對于選擇題而言，基于條件概率的估計可以將不同水平的考生選擇某一選項的反應曲線（包括正確選項和干擾選項）以圖形形式直觀顯示出來。對于命題人員來說，選擇題的重要統計特征如題目的難度、對于不同水平考生而言難度的變化、干擾選項的迷惑性、干擾選項對于不同水平考生的迷惑性變化等在圖形中就可以直觀顯示出來[2]。同理，對于多級計分題目而言，如果把可能獲得的每一個得分點作為一個分析對象，再考慮獲得低分數是獲得高分數的前提，那么就可以使用基于條件概率的估計，將不同水平的考生獲得每一個可能分數的累積概率以圖形形式直觀顯示出來。這樣的圖形分析不僅能幫助命題人員直觀地理解題目難度的變化，也能從不同分數的累積概率曲線的稀疏和密集程度上直觀地判斷分步計分梯度設計的合理性。

按照條件概率估計，對于0/1計分題目，如選擇題的選項分析，按照該科目總分從低到高將考生分為n組，將每組考生在正確選項以及干擾選項上的選擇率分別連成折線，即可直觀看出不同能力水平的考生對各個選項選擇的情況及變化趨勢。對于單選題而言，該題有幾個選項就有幾條折線；對于多選題而言，則有幾種選項組合就有幾條折線。理想的模式是，正確選項的選擇率隨著考生水平的提高呈單調遞增趨勢，干擾選項的選擇率則呈單調遞減趨勢[2]。

對于多級計分題目，如主觀題，同樣按照該科目總分從低到高將考生分為n組，將每組考生在可能獲得的每一個得分點上的累積百分比連成折線，即可直觀看出隨著考生能力水平的遞增，考生在可能獲得的每一個分數點上的情況和變化趨勢。該題有幾個可能獲得的分數點就有幾條折線，當然，當分數點過多時，也可根據需要，有針對性地展示其中幾條分數折線。理想的模式是，所有的可能獲得的分數點的累積百分比折線都是隨著考生水平的提高呈單調遞增趨勢，不同分數點的累積百分比折線之間疏密程度比較均衡，特別是沒有交叉的情況。

為簡單方便起見，在以考生水平（試卷得分）為橫坐標時，可以按四分位數將考生由低到高分為4組，也可以按五分位數將考生分為5組，分別計算每一組的情況。當然也可以根據試卷總分以1分或者10分為單位將考生水平劃分為多個組。本文是按五分位數將考生從低到高分為5組。

2 圖形分析法結果解讀：以高考物理試題為例

我們基于2017年全國高考抽樣數據，對相應科目的高考試題進行了圖形分析。下面以2017年高考物理試題及其圖形分析結果為例，詳細展示選擇題和非選擇題（在統計上主要表現為計分形式不同）圖形分析法的結果及其解讀。

2.1 單項選擇題的圖形分析

例1（2017年高考理科綜合能力測試全國Ⅰ卷第15題）

發(fā)球機從同一高度向正前方依次水平射出兩個速度不同的乒乓球（忽略空氣的影響）。速度較大的球越過球網，速度較小的球沒有越過球網；其原因是

A.速度較小的球下降相同距離所用的時間較多

B.速度較小的球在下降相同距離時在豎直方向上的速度較大

C.速度較大的球通過同一水平距離所用的時間較少

D.速度較大的球在相同時間間隔內下降的距離較大

本題難度為0.83，區(qū)分度為0.50，正確選項為C。對該題考生答題情況進行圖形分析，見圖1。表1列出了各組考生選擇各選項的百分比。

圖1 2017年高考理科綜合能力測試全國Ⅰ卷第15題的圖形分析

表1 2017年高考理科綜合能力測試全國Ⅰ卷第15題各組考生各選項選擇比例%

從圖1可以看出，正確選項C隨著考生能力水平的遞增，選擇率呈上升趨勢，干擾選項則隨著考生能力水平的遞增，選擇率呈下降趨勢?？傮w上該題較容易，對中低段考生有較好區(qū)分度，試題作答正確率從組1的45.69%快速增加到組3的93.50%。對低分段考生來說，選項B比較具有迷惑性，比如能力水平最低的1組選擇率為30.01%。本題情境貼近生活實際，主要考查考生對平拋運動的理解能力。對于選項B來說，無論水平初速度多大，下降相同的豎直距離，乒乓球在豎直方向的速度和時間均相等。

例2（2017年高考理科綜合能力測試全國Ⅱ卷第14題）

一光滑大圓環(huán)固定在桌面上，環(huán)面位于豎直平面內，在大圓環(huán)上套著一個小環(huán)。小環(huán)由大圓環(huán)的最高點從靜止開始下滑，在小環(huán)下滑的過程中，大圓環(huán)對它的作用力

A.一直不做功

B.一直做正功

C.始終指向大圓環(huán)圓心

D.始終背離大圓環(huán)圓心

本題難度為0.46，區(qū)分度為0.52，正確選項為A。對該題考生答題情況進行圖形分析，見圖2。

圖2 2017年高考理科綜合能力測試全國Ⅱ卷第14題的圖形分析

從圖2可以看出，本題對所有考生都具有良好的區(qū)分度。能力最低的組1正確答對的概率為13%，低于考生隨機作答的正確概率。能力最高的組5正確答對的概率超過80%。本題設置了小環(huán)在光滑大圓環(huán)上下滑的情境，考查考生對力與功的關系、物體做圓周運動時的向心力等概念的理解。由于在小環(huán)下落過程中，大環(huán)對小環(huán)的作用力始終垂直于小環(huán)的運動方向，因此，大圓環(huán)對小環(huán)的作用力一直不做功。從圖2可以看出，選項C對考生的迷惑性比較大。能力最低的組1有超過50%的學生選擇C，成績中等的組3也有超過30%的考生選擇此選項。從選擇選項C的比例可以看出，考生對物體在運動變化過程中的受力分析還存在一定的問題。

例3（2017年高考理科綜合能力測試全國Ⅱ卷第15題）

A.衰變后釷核的動能等于α粒子的動能

B.衰變后釷核的動量大小等于α粒子的動量大小

C.鈾核的半衰期等于其放出一個α粒子所經歷的時間

D.衰變后α粒子與釷核的質量之和等于衰變前鈾核的質量

本題難度為0.38，區(qū)分度為0.39，正確選項為B。對該題考生答題情況進行圖形分析，見圖3。

從圖3可以看出，本題對低分段考生來說較難，對高分段考生具有較好的區(qū)分度。組1至組3考生正確回答的概率與考生隨機應答正確的概率相當，從組4至組5考生正確回答的概率顯著升高，兩組正確回答的概率從接近40%升高到接近80%。選項D對于各組考生來說具有很大的迷惑性，特別是對于中等能力的考生迷惑性更大。本題通過具體的原子核的衰變方程，考查考生對于動量守恒、質量虧損、能量守恒、半衰期等物理概念的理解。由于衰變前鈾核是靜止的，其動量為零，因此衰變后釷核的動量與α粒子的動量的矢量和應該為零，兩者大小相等，方向相反，選項B正確。鈾核在發(fā)生衰變時，存在質量虧損，衰變后α粒子與釷核的質量之和小于衰變前鈾核的質量，選項D錯誤。一般在化學方程式兩邊反應物與生成物的質量相等，考生選擇錯誤選項D，可能是受到這些規(guī)律的影響，沒有仔細分析兩類反應的異同。

2.2 多項選擇題的圖形分析

例4（2017年高考理科綜合能力測試全國Ⅱ卷第19題）

海王星繞太陽沿橢圓軌道運動，P為近日點，Q為遠日點，M、N為軌道短軸的兩個端點，運行的周期為T0。若只考慮海王星和太陽之間的相互作用，則海王星在從P經M、Q到N的運動過程中

A.從P到M所用的時間等于T0/4

B.從Q到N階段，機械能逐漸變大

C.從P到Q階段，速率逐漸變小

D.從M到N階段，萬有引力對它先做負功后做正功

本題難度為0.47，區(qū)分度為0.49，正確選項為C、D。對該題考生答題情況進行圖形分析，見圖4。

圖4 2017年高考理科綜合能力測試全國Ⅱ卷第19題的圖形分析

本題是多項選擇題，有兩個正確選項，選對但不全的（即僅選選項C或選項D）得一半分。從圖4可以看出，試題對所有考生都具有良好的區(qū)分度。隨著考生能力水平的遞增，組3至組5正確回答的概率分別為接近20%、40%和75%，本題對中高分段考生區(qū)分明顯。低分段雖然選對的概率很低，但正確選擇選項C的考生比例和正確選擇D選項的考生比例較其他選擇高，也可得一半分，因此本題對低分段考生也有很好的鑒別作用。干擾選項B最具有迷惑性，隨著考生能力水平遞增，選擇率呈下降趨勢。本題考查考生對萬有引力定律、功能原理、機械能守恒定律等物理概念和規(guī)律的理解。海王星繞太陽沿橢圓軌道運動，在近日點P，它的速率最大，在遠日點Q時，速率最小。若只考慮海王星和太陽之間的相互作用，由于萬有引力是保守力，因此，海王星在繞太陽的運動過程中機械能守恒。從Q到N的運動過程，萬有引力做正功，海王星動能增加，引力勢能減小，機械能不變。選擇選項B的考生在機械能守恒、動能、勢能等概念和規(guī)律的理解上存在問題。

2.3 非選擇題的圖形分析

例5（2017年高考物理海南卷第12題）

某同學用伏安法測量待測電阻的阻值?，F有器材為：待測電阻R（阻值約為5 W），電源（電動勢3 V），滑動變阻器（阻值范圍0～10 W），電流表（量程0.6 A，3 A），電壓表（量程3 V，15 V），開關、導線若干。實驗要求在測量電路中將電流表外接，滑動變阻器起限流作用?；卮鹣铝袉栴}：

（1）按照實驗要求在圖（a）中畫出實物連線圖。

圖（a）

（2）若已按實驗要求接線，閉合開關后移動滑動變阻器的滑片，電壓表的示數始終約為3 V，電流表的示數始終接近0。寫出產生這種現象的一個原因：__________。

（3）在連線正確后，閉合開關。電壓表和電流表的示數分別如圖（b）和圖（c）所示。由圖可知，電壓表讀數為___V，電流表讀數為___A。由此可得待測電阻的阻值為___W（結果保留3位有效數字）。

圖（b）

圖（c）

本題難度為0.41，區(qū)分度為0.77，答案略。對該題考生答題情況進行圖形分析，見圖5。

圖5 2017年高考物理海南卷第12題的圖形分析

本題是一道實驗題，滿分為12分。橫坐標依然是對考生群體從低到高分為5組，縱坐標為獲得某一分數的累積比例，可以展示1～12分每一個得分隨著考生能力水平遞增的趨勢，此處為使圖形更清晰，以2分為一個遞增單位，僅展示了其中的6條曲線。比如，最上面的“2分”線為隨著考生能力水平的遞增得分等于和超過2分的累積比例變化趨勢，最下面的“12分”線為隨著考生能力水平的遞增得分等于12分的比例變化趨勢。從圖5各得分線的斜率可以看出，“2分”線對于中低段的考生區(qū)分較好，“4分”線和“6分”線對于所有的考生都有較好的區(qū)分度，“8分”線和“10分”線對中高水平的考生有較好的區(qū)分度，“12分”線對高分段特別是拔尖的考生有很好的區(qū)分度。不同得分線之間間距比較大且比較均衡，說明本題不同給分點在分值設計上是合理的，能夠很好地把不同思維層次區(qū)分開來。本題考查考生的實驗探究能力，涉及伏安法測量電阻的基本原理和方法，要求考生在理解實驗原理的基礎上，設計恰當的實驗電路，選擇合適的儀器檔位，正確使用各種電表。本題第（2）問要求考生分析電路出現故障的原因，具有一定的開放性，考查考生的探究能力，對考生的能力要求較高。本題既有基礎實驗技能的考查，同時也有探究能力的考查，從圖5可以看出，試題難度合適，能力層級搭配合理，對不同分數段的考生均具有很好的區(qū)分效果。

3 結語

本文以高考物理試題的考試數據圖形分析結果為例，探討了如何基于條件概率估計對不同計分形式的題目進行圖形分析以及如何解讀圖形分析結果?；诳傮w的題目難度、區(qū)分度等統計特征信息固然重要，但基于條件概率（不同水平考生條件下）的統計特征圖形分析法更加直觀和有意義，為評價試題質量提供了更加豐富的視角。對于過難的題目、過易的題目或者區(qū)分度過低的題目，圖形分析法能夠更容易地幫助命題人員找到題目的問題所在。

本文為操作簡單且方便讀者理解，將考生按能力水平從低到高分為5組，得到的是概率折線。事實上，在進行圖形分析時也可以采用平滑技術對每一個能力水平上的觀察數據進行平滑處理，從而可以使曲線更加平滑[1]。

總體上，基于條件概率估計給出的題目統計特征圖形，外形上雖然與項目反應理論中的項目反應曲線很相似，但其不依賴于任何數學模型，原理簡單直觀，結果容易解釋。但以圖形的方式直觀表示統計特征，不像統計特征數值本身，是比較難以建立公認的判斷準則的，因此，尚需根據經驗積累逐步產生經驗判斷準則。

[1]LIVINGSTON S A,DORANS N J.A Graphical Approach to Item Analysis:ETS Research Report:RR-04-10[R].Princeton:NJ,2004.

[2]楊志明.提高選擇題區(qū)分度的若干方法[J].教育測量與評價,2017（2）:5-10.