高考試卷區(qū)分功能的評(píng)價(jià)方法研究

任子朝 關(guān)丹丹 佟威 陳昂

（教育部考試中心，北京 100084）

高考試卷區(qū)分功能的評(píng)價(jià)方法研究

任子朝 關(guān)丹丹 佟威 陳昂

（教育部考試中心，北京 100084）

高考是選拔性考試，強(qiáng)調(diào)對(duì)考生的精確區(qū)分，研究試卷的區(qū)分功能有助于科學(xué)評(píng)價(jià)試卷的區(qū)分效果，進(jìn)而提高試卷的區(qū)分能力。試卷的區(qū)分功能可以用標(biāo)準(zhǔn)差的臨界值、變異系數(shù)等統(tǒng)計(jì)學(xué)方法進(jìn)行評(píng)價(jià)，也可參照試題區(qū)分度的評(píng)價(jià)方法，應(yīng)用相關(guān)系數(shù)法和極端分組法進(jìn)行評(píng)價(jià)。

高考改革；高考試卷；考試評(píng)價(jià)；標(biāo)準(zhǔn)差；區(qū)分度；變異系數(shù)

1 問(wèn)題的提出

普通高等學(xué)校招生全國(guó)統(tǒng)一考試（以下簡(jiǎn)稱“高考”）是合格的高中畢業(yè)生和具有同等學(xué)力的考生參加的選拔性考試[1]。高考屬于常模參照測(cè)驗(yàn)，其分?jǐn)?shù)更多地被用于確定考生在群體中的位置，以便高校根據(jù)考生成績(jī)，由高到低擇優(yōu)錄取。目前大多數(shù)省份用于錄取的高考分?jǐn)?shù)還是由語(yǔ)文、數(shù)學(xué)（文科或理科）、英語(yǔ)以及文科綜合或理科綜合的分?jǐn)?shù)相加得到的，因此各科對(duì)考生的區(qū)分能力決定了高考總分的區(qū)分能力，研究一份試卷的區(qū)分功能進(jìn)而提高高考的區(qū)分能力就顯得非常必要。

2013年11月發(fā)布的《中共中央關(guān)于全面深化改革若干重大問(wèn)題的決定》指出高考改革的方向，提出“探索全國(guó)統(tǒng)考減少科目、不分文理科、外語(yǔ)等科目社會(huì)化考試一年多考”[2]。新一輪高考綜合改革，全國(guó)統(tǒng)考科目將只有語(yǔ)文、數(shù)學(xué)、外語(yǔ)三科，因此對(duì)這三科區(qū)分和選拔功能的要求更加突出。提高高考統(tǒng)考科目的區(qū)分功能，滿足不同高校、不同專業(yè)的錄取需求，是這三科的重要任務(wù)和巨大挑戰(zhàn)。

新一輪高考綜合改革的另一項(xiàng)改革措施是全國(guó)統(tǒng)一高考數(shù)學(xué)不再分文理科，所有考生使用相同的數(shù)學(xué)試卷。為此，數(shù)學(xué)科要重新構(gòu)建學(xué)科考試的知識(shí)體系、能力框架、試卷結(jié)構(gòu)和試題類型。因此，對(duì)數(shù)學(xué)試卷進(jìn)行區(qū)分功能研究，將有助于提高文理合卷后的數(shù)學(xué)科的區(qū)分能力。本文以實(shí)行課程標(biāo)準(zhǔn)后數(shù)學(xué)科的實(shí)考數(shù)據(jù)為例，進(jìn)行實(shí)證研究。

一般地，教育測(cè)量學(xué)研究試題的區(qū)分度，并作為評(píng)價(jià)試題質(zhì)量的一個(gè)指標(biāo)，對(duì)試卷則沒(méi)有區(qū)分度的提法。本文提出試卷區(qū)分功能的概念，并參照試題區(qū)分度的評(píng)價(jià)方法，研究試卷區(qū)分功能的評(píng)價(jià)方法。

2 試卷區(qū)分功能的評(píng)價(jià)方法

對(duì)試卷區(qū)分功能的研究可以利用統(tǒng)計(jì)學(xué)的方法，同時(shí)借鑒試題區(qū)分度的研究方法進(jìn)行深入研究。本文提出了應(yīng)用試卷標(biāo)準(zhǔn)差的臨界值、變異系數(shù)法、相關(guān)系數(shù)法和極端分組法評(píng)價(jià)試卷的區(qū)分功能。

2.1 標(biāo)準(zhǔn)差的臨界值

標(biāo)準(zhǔn)差是考生分?jǐn)?shù)離散程度的統(tǒng)計(jì)指標(biāo)，標(biāo)準(zhǔn)差越大說(shuō)明考生間的分?jǐn)?shù)差異越大。一個(gè)服從正態(tài)分布的樣本總體，當(dāng)總體均值固定時(shí)，如果標(biāo)準(zhǔn)差愈小，則分布函數(shù)會(huì)變得愈尖，數(shù)據(jù)會(huì)愈集中，差異性也會(huì)愈??；如果標(biāo)準(zhǔn)差愈大，則分布函數(shù)會(huì)變得愈平，數(shù)據(jù)會(huì)愈分散，差異性也會(huì)愈大。

對(duì)于服從正態(tài)分布的樣本總體而言，隨機(jī)變量的絕對(duì)值在一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)的概率可以達(dá)到68.3%，在兩個(gè)標(biāo)準(zhǔn)差范圍內(nèi)的概率達(dá)到95.4%，在三個(gè)標(biāo)準(zhǔn)差范圍內(nèi)的概率達(dá)到99.7%?？梢?jiàn)，對(duì)于一個(gè)樣本群體，如果其服從正態(tài)分布，那么基本上所有的數(shù)據(jù)點(diǎn)都會(huì)集中在距離均值三個(gè)標(biāo)準(zhǔn)差的距離以內(nèi)。

假設(shè)一份數(shù)學(xué)試卷的滿分為150分，考生群體的分?jǐn)?shù)符合正態(tài)分布，且均值為75分，那么能夠基本覆蓋全分?jǐn)?shù)段的考生分?jǐn)?shù)標(biāo)準(zhǔn)差臨界值為25分。當(dāng)符合正態(tài)分布的考生分?jǐn)?shù)標(biāo)準(zhǔn)差大于或者等于25分時(shí)，考生分?jǐn)?shù)能夠有效覆蓋［0,150］全量表范圍，表明試卷有很強(qiáng)的區(qū)分能力。

根據(jù)表1，數(shù)學(xué)理科試卷的標(biāo)準(zhǔn)差平均值為27.83分，文科試卷的標(biāo)準(zhǔn)差平均值為28.51分，超過(guò)25分的臨界值。結(jié)合試卷平均分可以看出，目前理科數(shù)學(xué)區(qū)分功能很好，文科數(shù)學(xué)雖然平均分偏低，但是由于標(biāo)準(zhǔn)差較大，高分段也有覆蓋。

標(biāo)準(zhǔn)差的臨界值是根據(jù)各科總分確定一個(gè)本學(xué)科標(biāo)準(zhǔn)差的合理閾值，由于高考不同學(xué)科各具特點(diǎn)，題型不同，所以每個(gè)學(xué)科還要根據(jù)本學(xué)科的實(shí)際情況確定標(biāo)準(zhǔn)差的合理范圍。

表1 2007—2016年高考數(shù)學(xué)（課標(biāo)卷）統(tǒng)計(jì)數(shù)據(jù)

2.2 變異系數(shù)法

2.2.1 變異系數(shù)的概念和計(jì)算

標(biāo)準(zhǔn)差雖然能夠比較兩組數(shù)據(jù)離散程度的大小，但如果兩組數(shù)據(jù)的測(cè)量尺度相差太大，如滿分是150分和滿分是300分的試卷，或者數(shù)據(jù)量綱不同，直接使用標(biāo)準(zhǔn)差來(lái)進(jìn)行比較就不合適了。此時(shí)就應(yīng)當(dāng)消除測(cè)量尺度和量綱的影響引入變異系數(shù)，變異系數(shù)（Coefficient of Variation）是原始數(shù)據(jù)標(biāo)準(zhǔn)差與原始數(shù)據(jù)平均數(shù)的比值。變異系數(shù)沒(méi)有量綱，可以更精確、更客觀地比較兩組數(shù)據(jù)離散程度的大小。變異系數(shù)并沒(méi)有統(tǒng)一規(guī)定的閾值范圍，可用于考生分?jǐn)?shù)分散程度的相對(duì)比較，變異系數(shù)越大，分?jǐn)?shù)分布越分散；變異系數(shù)越小，分?jǐn)?shù)分布越集中。A.R.Feinstein主張實(shí)驗(yàn)監(jiān)測(cè)數(shù)據(jù)的變異系數(shù)應(yīng)該在5%～15%[3]。在本文中，借鑒變異系數(shù)的研究方法討論考試數(shù)據(jù)的離散程度，這在考試數(shù)據(jù)分析方面還是創(chuàng)新，目前并沒(méi)有固定的參考范圍。

2.2.2 高考數(shù)學(xué)試卷的變異系數(shù)

在試卷難度與標(biāo)準(zhǔn)差和變異系數(shù)的關(guān)系方面，已有研究表明，一般對(duì)理科試卷而言，難度控制在0.5左右，標(biāo)準(zhǔn)差和變異系數(shù)達(dá)到比較好的平衡，即兩者都比較高，考生分?jǐn)?shù)分散程度較高；對(duì)文科試卷而言，難度在0.4左右，標(biāo)準(zhǔn)差和變異系數(shù)有較好的平衡[4]。試題是試卷的基本組成單位，試題的性能理所應(yīng)當(dāng)影響試卷的整體性能。本研究利用2007—2016年高考數(shù)學(xué)（課標(biāo)卷）的實(shí)測(cè)數(shù)據(jù)，計(jì)算各卷中試題區(qū)分度（由單個(gè)試題得分與總分的相關(guān)系數(shù)計(jì)算得出）以及區(qū)分度的平均值，再根據(jù)標(biāo)準(zhǔn)差、平均分計(jì)算得到變異系數(shù)（見(jiàn)表1），以此探究試題區(qū)分度、試卷難度、標(biāo)準(zhǔn)差和變異系數(shù)之間的關(guān)系。

根據(jù)A.R.Feinstein提出的變異系數(shù)在5%～15%為合格的標(biāo)準(zhǔn)，從表1的結(jié)果可以看出，高考理科和文科數(shù)學(xué)試卷的變異系數(shù)均較高。這說(shuō)明，整個(gè)試卷分?jǐn)?shù)分布很均勻，并沒(méi)有集中在某個(gè)分?jǐn)?shù)區(qū)間。文科數(shù)學(xué)卷的變異系數(shù)整體上高于理科數(shù)學(xué)試卷。這說(shuō)明，雖然文科數(shù)學(xué)試卷平均得分低于理科數(shù)學(xué)試卷，對(duì)于考生而言試題較難，但是，由于考生分?jǐn)?shù)的變異系數(shù)較大，所以文科試卷依然保持著合理分?jǐn)?shù)分布，特別是有利于對(duì)中低分?jǐn)?shù)段考生的區(qū)分和甄別。

2.2.3 標(biāo)準(zhǔn)差、變異系數(shù)與試題區(qū)分度的關(guān)系

根據(jù)表1數(shù)據(jù)，通過(guò)散點(diǎn)圖和回歸分析來(lái)考察試卷標(biāo)準(zhǔn)差、變異系數(shù)與試題區(qū)分度的關(guān)系，見(jiàn)圖1～圖4。

圖1 高考理科數(shù)學(xué)試題區(qū)分度與標(biāo)準(zhǔn)差散點(diǎn)圖

圖2 高考文科數(shù)學(xué)試題區(qū)分度與標(biāo)準(zhǔn)差散點(diǎn)圖

圖3 高考理科數(shù)學(xué)試題區(qū)分度與變異系數(shù)散點(diǎn)圖

圖4 高考文科數(shù)學(xué)試題區(qū)分度與變異系數(shù)散點(diǎn)圖

從文理科數(shù)學(xué)試題區(qū)分度與標(biāo)準(zhǔn)差的散點(diǎn)圖可以看到，兩者具有比較明顯的正相關(guān)關(guān)系，理科數(shù)學(xué)試題區(qū)分度均值對(duì)標(biāo)準(zhǔn)差的解釋率甚至達(dá)到了55.24%，這說(shuō)明提高單個(gè)試題的區(qū)分度對(duì)于提高試卷的區(qū)分功能有著顯著的作用。

從文理科數(shù)學(xué)試題區(qū)分度與變異系數(shù)的散點(diǎn)圖可以看出，高考文理科數(shù)學(xué)試題區(qū)分度與變異系數(shù)均無(wú)顯著性相關(guān)。

綜合試題區(qū)分度、試卷難度與標(biāo)準(zhǔn)差的關(guān)系來(lái)看，試題區(qū)分度對(duì)變異系數(shù)的影響作用被同樣對(duì)標(biāo)準(zhǔn)差有較大影響的試卷難度所抵消，從而區(qū)分度對(duì)變異系數(shù)的影響程度減弱。這表明，要保持考生分?jǐn)?shù)均值中等水平且有較高標(biāo)準(zhǔn)差，且能覆蓋整個(gè)分?jǐn)?shù)區(qū)間，需要從試卷難度、試題區(qū)分度等多個(gè)方面來(lái)綜合考量。

2.3 相關(guān)系數(shù)法

試題區(qū)分度的一種計(jì)算方法就是計(jì)算題目與總分的相關(guān)系數(shù)。利用相關(guān)的思想，可以分析高考各科分?jǐn)?shù)與總分的相關(guān)系數(shù)，以此評(píng)價(jià)各科試卷的區(qū)分功能。在分析過(guò)程中，考慮到各科目在總分中所占比重不同，除了對(duì)各科目得分與總分計(jì)算相關(guān)外，還對(duì)各科與不包括自身在內(nèi)的其他科目分?jǐn)?shù)和的相關(guān)進(jìn)行了進(jìn)一步分析。以H省和C市2016年高考試卷為例，計(jì)算數(shù)據(jù)見(jiàn)表2和表3。

從表2和表3的數(shù)據(jù)可以看出，在包括本學(xué)科在內(nèi)統(tǒng)計(jì)相關(guān)系數(shù)時(shí)，理科綜合、文科綜合與總分的相關(guān)系數(shù)是最高的，而在單科中，數(shù)學(xué)與總分的相關(guān)系數(shù)是最高的。除去本學(xué)科后，理科中數(shù)學(xué)與其他科目分?jǐn)?shù)和的相關(guān)系數(shù)最高，文科中文科綜合與其他科目分?jǐn)?shù)和的相關(guān)系數(shù)最高。其中的原因可能是文科數(shù)學(xué)的平均分比較低，影響了其在總分中的作用，還有可能是文科的思維方式和理科存在差別，理科偏重邏輯、推理的方法，而文科偏重辯證和歷史的方法。

2.4 極端分組法

試題區(qū)分度的另一種計(jì)算方法就是高低分組法，即按考生在該題的得分把全體考生從高到低依次排列，然后從兩極端確定前27%為高分組，后27%為低分組，再分別求這兩組考生的得分率，設(shè)PH為高分組的得分率，PL為低分組的得分率，將其相減，得到該題的鑒別度指數(shù)D，D＝PH－PL。鑒別度指數(shù)的評(píng)價(jià)標(biāo)準(zhǔn)是：0.2～0.3為合格，0.3～0.4為良好，0.4以上為很好[5]。仿照這種計(jì)算方法，可以按考生在數(shù)學(xué)科的得分把全體考生從高到低依次排列，根據(jù)2016年H省高考數(shù)據(jù)，理科數(shù)學(xué)試卷高分組的得分率PH＝0.77，低分組的得分率PL＝0.14，得到D＝0.77-0.14＝0.63。同理，文科數(shù)學(xué)試卷的D值為0.61。按照D的評(píng)價(jià)標(biāo)準(zhǔn)，數(shù)學(xué)科文理兩卷的區(qū)分功能都非常好。

在這個(gè)思想的基礎(chǔ)上進(jìn)一步發(fā)展，試卷的區(qū)分功能也可以使用分組法進(jìn)行評(píng)價(jià)，分組的方法是根據(jù)高考錄取批次劃分相應(yīng)的組別。以數(shù)學(xué)科為例，首先根據(jù)各省不同批次高考錄取分?jǐn)?shù)線，依據(jù)高考總分將考生分成本科一批、本科二批、高職?？?、未被錄取4個(gè)組別，分別計(jì)算每個(gè)組別高考數(shù)學(xué)的平均分、難度（即通過(guò)率或得分率）；相鄰組別難度之差，即反映了數(shù)學(xué)對(duì)相鄰兩個(gè)批次考生的區(qū)分能力。若不同組別難度差別明顯，則區(qū)分度良好；若不同組別難度差別很小，則區(qū)分度差。

表2 2016年H省高考各科目分?jǐn)?shù)相關(guān)計(jì)算結(jié)果

表3 2016年C市高考各科目分?jǐn)?shù)相關(guān)計(jì)算結(jié)果

還以2016年H省高考數(shù)據(jù)為例，根據(jù)其公布的各批次分?jǐn)?shù)線將考生分為4組，針對(duì)各組考生，分別計(jì)算各科成績(jī)的平均分、難度等指標(biāo)，見(jiàn)表4和表5。理科數(shù)學(xué)相鄰兩個(gè)批次通過(guò)率的差在0.15～0.25，不同批次考生的數(shù)學(xué)平均成績(jī)至少相差22分。說(shuō)明文理科試卷均能很好地區(qū)分各批次考生，數(shù)學(xué)科試卷具有良好的區(qū)分功能。

表4 2016年H省高考分批次理科數(shù)學(xué)試卷的統(tǒng)計(jì)數(shù)據(jù)

表5 2016年H省高考分批次文科數(shù)學(xué)試卷的統(tǒng)計(jì)數(shù)據(jù)

3 結(jié)語(yǔ)

從統(tǒng)計(jì)數(shù)據(jù)分析看，試題的難度和試題的區(qū)分度對(duì)試卷區(qū)分功能有顯著影響。提高試題區(qū)分度則可以相應(yīng)提高試卷的區(qū)分功能，試卷的難度與試卷的區(qū)分功能也有明顯的正相關(guān)關(guān)系[4]。然而難度的提高可能會(huì)造成整卷偏難，對(duì)中學(xué)教學(xué)造成一定的影響，也可能影響對(duì)低分考生的區(qū)分能力，所以將試卷難度控制在何種水平還需要獲取更微觀的數(shù)據(jù)來(lái)進(jìn)行具體的分析。綜合當(dāng)前的研究，適中的難度可以保障較高的試題區(qū)分度，同時(shí)試卷的區(qū)分功能較強(qiáng)，從而既可以有效區(qū)分考生，又有利于中學(xué)教學(xué)。

在評(píng)價(jià)試卷的區(qū)分功能時(shí)，可以基于統(tǒng)計(jì)數(shù)據(jù)采取多種方法進(jìn)行分析。但同時(shí)，在考試中特別是在高考中，由于學(xué)科特點(diǎn)不同，采取的題型和試卷結(jié)構(gòu)不同，所以試卷區(qū)分功能的評(píng)價(jià)方法不應(yīng)該是單一的，應(yīng)該結(jié)合學(xué)科特點(diǎn)綜合選定。

提高試卷的區(qū)分功能首先要提高試卷的效度，即提高試卷考查的目的性，有效考查本學(xué)科的基礎(chǔ)知識(shí)和重要能力。這是提高試卷區(qū)分功能的基礎(chǔ)，只有在此基礎(chǔ)上，試卷對(duì)考生的區(qū)分才具有實(shí)際意義。

[1]教育部考試中心.2017年普通高等學(xué)校招生全國(guó)統(tǒng)一考試大綱[M].北京:高等教育出版社,2016.

[2]中共中央關(guān)于全面深化改革若干重大問(wèn)題的決定[M].北京:人民出版社,2013.

[3]FEINSTEIN A R.On chooosing a mean and other quantative indexes to describe the location and dispersion of univariate data[J].Clinical Pharmacology&Therapeutics,1980,27（1）.

[4]任子朝,佟威,陳昂.高考試卷難度與區(qū)分性能分析研究[J].數(shù)學(xué)通報(bào),2017（1）:1-5.

[5]戴海崎,張鋒,陳雪楓.心理與教育測(cè)量[M].廣州:暨南大學(xué)出版社,2006:118.

Research on the Evaluation of the Discriminating Power of the College Entrance Examination

REN Zizhao,GUAN Dandan,TONG Wei,CHEN Ang
（National Education Examinations Authority,Beijing 100084,China）

As discriminating power is critical for the College Entrance Examination（CEE）to accurately distinguish students of different achievement levels,relevant research helps to scientifically evaluate and improve the discriminating power of the CEE.To that end,statistical indicators such as the critical value and the coefficient of variation can be used to evaluate the discriminating power of the CEE.Moreover,methods used to estimate the discriminating power of test items,such as the correlation coefficient and extreme groups,can also be used to calculate the discriminating power of the entire examination paper.

College Entrance Examination Reform;College Entrance Examination Paper;Evaluation of Examinations;Standard Deviation;Item/Test Discrimination;Coefficient of Variation

陳睿）

G405

A

1005-8427（2017）10-0007-6

10.19360/j.cnki.11-3303/g4.2017.10.002

本文系全國(guó)教育科學(xué)規(guī)劃單位資助教育部規(guī)劃課題“新高考改革背景下的高考質(zhì)量評(píng)價(jià)研究”（編號(hào)：FBB160604）的階段性研究成果。

任子朝（1961—），男，教育部考試中心，研究員；

關(guān)丹丹（1980—），女，教育部考試中心，副研究員；

佟 威（1984—），男，教育部考試中心，助理研究員；

陳 昂（1983—），男，教育部考試中心，助理研究員。