楊志明 陳一龍 朱素珍
高考是一種典型的選拔性考試,其區(qū)分度受到大眾的廣泛關(guān)注。若區(qū)分度不夠,會造成大量重分的問題,影響高考的人才選拔功能。不過,不少人對高考區(qū)分度的評價并不準(zhǔn)確。有人認(rèn)為作文題目的區(qū)分度不夠理想,因此在語文和英語考試中應(yīng)當(dāng)壓縮作文題目的分量;也有人認(rèn)為只要題目出得好,任何題型都可以取得良好的區(qū)分度,并因此給命題人員提出一些不切實際的要求,給考試命題以及中小學(xué)教學(xué)等帶來了一定的負(fù)面影響。如何正確評價高考試題區(qū)分度?區(qū)分度不夠理想的題型是否應(yīng)該削減其分量?中學(xué)教師如何根據(jù)不同題型的區(qū)分度特性改進(jìn)自己的教學(xué)?為了回答這些問題,本文以某省新高考落地實施前后兩年的高考英語考試數(shù)據(jù)為例,對其中的作文題進(jìn)行區(qū)分度分析,以期為優(yōu)化命題和改進(jìn)教學(xué)提供一些有益的信息。
區(qū)分度分析主要包括題目和試卷兩個層面的測量學(xué)分析。
在經(jīng)典測驗理論(classical testing theory,CTT)中,題目區(qū)分度被定義為總體的某個代表性考生群體的題目得分與測驗總分的相關(guān)系數(shù)。其中,對于多級計分題目,一般使用斯皮爾曼(Spearman)積差相關(guān)系數(shù);對于二級計分題目,一般使用點-二列相關(guān)系數(shù)。
題目區(qū)分度有時候也使用鑒別指數(shù)D 來定義,即在某道題目上,高分組考生群體的通過率PH與低分組考生群體的通過率PL之差的1/2。其中,高分組和低分組一般由代表性樣本中總成績最高的27%和總成績最差的27%的群體構(gòu)成,題目通過率可以是代表性考生群體中答對該題的人數(shù)與考生總?cè)藬?shù)之比(0/1 二級計分題目),或者為代表性考生群體在該題目上的平均得分與題目滿分之比。
在題目反應(yīng)理論(item response theory,IRT)中,題目區(qū)分度表現(xiàn)為題目特征曲線(item characteristic curve,ICC)在其拐點處切線的斜率?,F(xiàn)以雙參數(shù)logistic 模型為例,其數(shù)學(xué)模型公式如(1)所示,其相應(yīng)的ICC 如圖1 所示。
圖1 雙參數(shù)logistic模型的題目特征曲線(ICC)
其中,Pij表示考生j答對題目i的概率,D=1.7,ai為題目i 的區(qū)分度,bi為題目i 的難度,難度取值的理論范圍通常設(shè)定為[-3,+3]或[-4,+4]。
在圖1 中,縱坐標(biāo)為考生答對題目的概率,橫坐標(biāo)為考生能力水平(θ),題目難度被定義為題目特征曲線拐點的橫坐標(biāo)值(b),曲線拐點切線的斜率被定義為題目的區(qū)分度(a)。
具體來說,基于IRT 框架的題目區(qū)分度指的是考生在曲線拐點附近答對題目概率的變化情況。區(qū)分度(a)值越大,ICC曲線越陡峭,表示該題目在曲線拐點附近區(qū)分考生水平的能力越強(qiáng),反之則區(qū)分考生水平的能力越弱。例如,圖1 中左邊兩條曲線拐點相同,但曲線的陡峭程度不同,說明這兩道題目的難度相同(其b值都為-1),但區(qū)分度不同,曲線更為陡峭的題目區(qū)分度更大。
值得說明的是,根據(jù)IRT 理論,每道題目僅僅對能力水平與題目難度接近的考生具有最大的區(qū)分度,對能力水平遠(yuǎn)遠(yuǎn)高于或遠(yuǎn)遠(yuǎn)低于題目難度的考生而言,題目的區(qū)分度會很小。因為當(dāng)考生能力水平遠(yuǎn)遠(yuǎn)高于題目難度時,絕大部分高水平考生能作答正確,這時的題目區(qū)分度會趨近于0;同理,當(dāng)考生的能力水平遠(yuǎn)遠(yuǎn)低于題目難度時,絕大部分低水平考生基本上會作答錯誤,這時題目的區(qū)分度也會趨近于0。也就是說,針對不同能力水平的考生,同一道題目的區(qū)分度是不同的。而CTT 則認(rèn)為,同一道題目對所有能力水平的人的區(qū)分度是相同的。這正是CTT“先天不足”和IRT獨特優(yōu)點之所在。
與題目層面的區(qū)分度概念不同,在評定試卷或某個題型的區(qū)分度時,一般使用代表性考生樣本得分的離散程度——試卷得分的差異系數(shù)(coefficient of variation,CV)作為評價指標(biāo),其公式如(2)所示。
使用公式(2)評估試卷或題型區(qū)分度的好處是可以對分值不同的題型或科目的區(qū)分度進(jìn)行直接比較。
現(xiàn)代教育測量學(xué)理論(如IRT)已經(jīng)證明,同樣一道試題對不同能力水平的人具有不同的區(qū)分度。難題往往可以有效區(qū)分出頂尖水平的考生,為一流高校選拔學(xué)生提供有力支持;中等偏易的題目往往可以有效區(qū)分出能力水平較低的考生,為高校淘汰不合格者提供精準(zhǔn)信息。因此,評價一道題目或一門考試的區(qū)分度是否恰當(dāng),需要圍繞考試目的展開,部分題目適合于為一流高校選才,部分題目適合于為普通本科院校選才等,抽象地討論區(qū)分度并無實際意義。也說是說,一道題目或一次考試的區(qū)分度是否恰當(dāng),取決于考試的目的。
高考英語作文題的區(qū)分度分析可以采用CTT公式分析法和題目得分分布分析法來進(jìn)行。由于缺乏題目層面的作答反應(yīng)信息,所以本研究中的區(qū)分度分析無法采用基于IRT模型的方法。
根據(jù)CTT理論,本研究選取某省2020 年(新高考落地實施前一年,采用的是“3+綜合”模式)和2021 年(新高考落地實施之年,采用“3+1+2”模式)高考英語作文題進(jìn)行區(qū)分度分析。
表1 示意該省2020 年高考英語試卷中的短文改錯和書面表達(dá)題型,以及2021 年高考英語試卷中的應(yīng)用寫作和讀后續(xù)寫題型的區(qū)分度估計值,即題目得分與測驗總分的斯皮爾曼積差相關(guān)系數(shù)。
由表1 可知,無論是新高考落地實施后的2021 年,還是新高考落地實施前的2020 年,該省高考英語作文題目的區(qū)分度都相當(dāng)不錯。這說明該省高考英語作文題不存在區(qū)分度不夠高的問題。同時,通過比較該省2020 年和2021 年的高考英語作文題,發(fā)現(xiàn)2020 年的書面表達(dá)題型和2021 年的應(yīng)用寫作題型的區(qū)分度穩(wěn)定在0.80 左右,而短文改錯題型和讀后續(xù)寫題型的區(qū)分度穩(wěn)定在0.88 左右。這個結(jié)果表明,若要提升英語作文題的區(qū)分度,可嘗試保留短文改錯題型,同時多用讀后續(xù)寫題型。
表1 某省新高考落地實施前后兩年高考英語作文題區(qū)分度估計
若使用差異系數(shù)評估這兩年該省高考英語作文題目的區(qū)分度,則可以得到如表2 所示結(jié)果。
表2 使用差異系數(shù)評估的某省高考英語作文題區(qū)分度
由表2 可知,在這兩年高考英語試卷中,區(qū)分度最好的作文題型是短文改錯,差異系數(shù)為64.25%;其次是讀后續(xù)寫題型,差異系數(shù)為56.87%;書面表達(dá)和應(yīng)用寫作題型的差異系數(shù)比較接近,分別為36.97%和38.11%。這個結(jié)果與表1 得到的信息完全一致。
進(jìn)一步分析該省2020 年高考英語短文改錯題(滿分10 分)和書面表達(dá)題(滿分25 分)的得分分布情況,結(jié)果如圖2 和圖3 所示。
由圖2 可知,短文改錯題型對各種能力層次的考生都具有一定的區(qū)分度,但有很多考生(78082 人,約占本研究樣本的21.68%)在這種題型上僅僅得了1~2 分。(參見圖4)這可能意味著英語水平很低的考生無法發(fā)現(xiàn)并改正短文中的錯誤。
圖2 某省2020 年高考英語短文改錯題得分分布
由圖3 可知,書面表達(dá)題型僅僅對中上水平的考生具有較好的區(qū)分度,而且閱卷教師的給分具有明顯的趨中特征。如圖5 所示,大約有45%的考生得分介于16 分到21 分之間,得16~17分的考生最多。與書面表達(dá)題型不同,考生在短文改錯題型上的得分趨中特征并不明顯。(參見圖4)由圖5 可知,考生在書面表達(dá)題型上得低分的人數(shù)也比較少(僅有27622 人,約占本研究樣本的7.67%)。這說明,無論水平高低,考生在書面表達(dá)題上只要動筆了就可以拿到相應(yīng)分?jǐn)?shù);短文改錯題則不同,考生如果不懂就會“顆粒無收”。
圖3 某省2020 年高考英語書面表達(dá)題得分分布
圖4 某省2020 年高考英語短文改錯題得分關(guān)鍵點
圖5 某省2020 年高考英語書面表達(dá)題得分關(guān)鍵點
2021 年,該省高考英語作文的題型更新為應(yīng)用寫作(滿分15 分)和讀后續(xù)寫(滿分25 分)題型,其得分分布如圖6 和圖7 所示。
由圖6 和圖3 可知,該省2021 年高考英語應(yīng)用寫作題型與2020 年高考英語書面表達(dá)題型的得分分布比較接近,都僅對高水平考生具有一定的區(qū)分度,并表現(xiàn)出明顯的趨中趨勢。由圖6 和圖8 可知,在2021 年英語高考中,大約有45%的考生在應(yīng)用寫作題型上的得分介于10 分到13 分之間,得10~11 分的考生最多。另外,由圖7 和圖9 可知,考生在讀后續(xù)寫題型上得分的趨中趨勢不如書面表達(dá)題型明顯。
圖6 某省2021 年高考英語應(yīng)用寫作題得分分布
圖7 某省2021 年高考英語讀后續(xù)寫題得分分布
圖8 某省2021 年高考英語應(yīng)用寫作題得分關(guān)鍵點
圖9 某省2021 年高考英語讀后續(xù)寫題得分關(guān)鍵點
值得一提的是,2021 年高考英語試卷中的讀后續(xù)寫題型與2020 年高考英語試卷中的短文改錯題型的得分分布有些類似,都有較多的考生幾乎沒有得分。其中,讀后續(xù)寫題型中共有61581 名考生(約占本研究樣本的18.00%)僅得了1~2 分。這表明,相對來說,短文改錯和讀后續(xù)寫題型能更好地區(qū)分考生。這或許是因為英語水平很低的考生可能無法識別并改正文本中的錯誤,也可能是因為低水平考生無法用準(zhǔn)確的句子表達(dá)清楚一個觀點或一件事情,還可能是因為低水平考生的英語思維能力沒有得到較好的發(fā)展等。
針對上述高考英語作文題區(qū)分度分析的結(jié)果,筆者可以展開如下討論。
根據(jù)真實數(shù)據(jù)的測量學(xué)分析,某省新高考落地實施前后兩年的高考英語作文題區(qū)分度介于0.79 到0.89 之間,這個結(jié)果說明英語高考作文題目具有較高的區(qū)分度。換句話說,高考英語作文題能夠很好地區(qū)分考生,基礎(chǔ)扎實和綜合能力強(qiáng)的學(xué)生基本上能得高分,基礎(chǔ)知識積累不夠和綜合能力較弱的考生則很難得到高分。
這個結(jié)論帶來的教學(xué)啟示是:要提高學(xué)生的英語成績,首先要重視英語寫作教學(xué),而不能局限在背誦單詞和刷題,更不能局限在根據(jù)“內(nèi)容”“結(jié)構(gòu)”“詞句”和“卷面”等評分框架的角度做“應(yīng)試”訓(xùn)練。高中英語教師應(yīng)采取切實可行的辦法,加強(qiáng)學(xué)生英語基礎(chǔ)知識的學(xué)習(xí)和鞏固,并根據(jù)課程標(biāo)準(zhǔn)和學(xué)科素養(yǎng)模型,有意識地培養(yǎng)學(xué)生的語言能力、思維品質(zhì)、文化意識和學(xué)習(xí)能力4 個學(xué)科素養(yǎng)。[1]過早根據(jù)評分標(biāo)準(zhǔn)所參考的“內(nèi)容”“結(jié)構(gòu)”“詞句”和“卷面”4 個方面進(jìn)行反復(fù)刷題訓(xùn)練,其效果必然是事倍功半。
事實證明,在新高考中增加讀后續(xù)寫題型,能有效提升高考作文題的區(qū)分度。數(shù)據(jù)表明,高考讀后續(xù)寫題型的區(qū)分度達(dá)到0.88 左右,這是十分了不起的表現(xiàn)。之所以有這么高的區(qū)分度,可能是因為讀后續(xù)寫題型同時兼顧了理解能力和表達(dá)能力的考查,完全符合二語習(xí)得中的“輸入假說”[2]和“輸出假說”[3]理論。事實上,讀后續(xù)寫題型兼具開放性和客觀性試題的優(yōu)點,不僅能考查學(xué)生的英語基礎(chǔ)知識和英語能力,而且能考查學(xué)生語言背后的高階思維能力,包括分析性思維、批判性思維和創(chuàng)造性思維。這顯然會給各種英語水平層次的考生帶來一定的挑戰(zhàn),從而表現(xiàn)出良好的區(qū)分效果。
由讀后續(xù)寫題型的良好表現(xiàn)可以得到的啟示是:一方面,在今后的高考英語作文命題中,可以加大讀后續(xù)寫題型的使用力度,以保證英語作文考試的良好區(qū)分效果;另一方面,中學(xué)英語教學(xué)需要加大英語名著的閱讀力度,擴(kuò)大語言的“輸入”數(shù)量和質(zhì)量,同時加強(qiáng)英語名著的讀后續(xù)寫訓(xùn)練,使學(xué)生逐漸領(lǐng)悟英語寫作的技能技巧,用“輸出”倒逼“輸入”,提升學(xué)生的英語寫作水平。英語名著中有大量優(yōu)秀的情境描寫、環(huán)境描寫、心理描寫、動作描寫等內(nèi)容,提供了豐富的語言使用的準(zhǔn)確性和得體性案例,為學(xué)生的英語寫作通過模仿過渡到創(chuàng)新提供了有效的途徑。此外,若能在“輸入”和“輸出”的訓(xùn)練中有意識地發(fā)展英語思維能力、領(lǐng)悟文化差異,定能提升學(xué)生的英語水平和學(xué)習(xí)能力,自然也能提高學(xué)生的英語成績。
根據(jù)前文的數(shù)據(jù)分析可知,應(yīng)用寫作題型的區(qū)分度雖然也不錯,達(dá)到了0.80 左右的水平,但與讀后續(xù)寫題型0.88 的區(qū)分度水平相比,還是存在一定差距。應(yīng)用文寫作是高中英語教學(xué)的重要內(nèi)容,是學(xué)生語言表達(dá)能力和思維能力的綜合體現(xiàn)。很多英語教師總結(jié)了一些常用應(yīng)用文寫作的方法和格式,并指導(dǎo)學(xué)生進(jìn)行了大量的練習(xí)。這也在一定程度上造成教師閱卷時出現(xiàn)審美疲勞,給四平八穩(wěn)的作文往往打上一個趨中的分?jǐn)?shù),從而降低了這種題型的區(qū)分度。
針對應(yīng)用寫作題型的這種表現(xiàn),要想提升區(qū)分度,可以考慮進(jìn)一步優(yōu)化高考英語作文評分規(guī)則,打破目前的按模式答題的局面。建議參照《中國高考評價體系》[4-5](下文簡稱“高考評價體系”)和《中國英語能力等級量表》[6-7](下文簡稱“CSE 量表”),按照“四模塊五維度”的框架[8-9],優(yōu)化評分規(guī)則。高考評價體系把高考所要求的內(nèi)容分成了必備知識、關(guān)鍵能力、學(xué)科素養(yǎng)和核心價值4 個層次。CSE 量表把英語必備知識分成了4 種,包括語法知識、篇章知識、功能知識和社會語言知識;把關(guān)鍵能力分成了5 個維度,包括理解能力、表達(dá)能力、語用能力、語言使用策略和翻譯能力。若在作文評分準(zhǔn)則中同時兼顧高考評價體系、CSE 量表以及課程標(biāo)準(zhǔn)、學(xué)科素養(yǎng)等方面的要求,則能破解套路作文的困局,減輕得分趨中的程度,提升應(yīng)用寫作的區(qū)分度。具體細(xì)則的研發(fā)可能需要通過標(biāo)準(zhǔn)設(shè)定或常模研發(fā)等手段,通過實驗驗證等方式給予確認(rèn)。
前文的區(qū)分度分析結(jié)果表明,高考英語短文改錯題型具有較好的區(qū)分度,達(dá)到了0.88 的水平。因此,在新高考中若放棄短文改錯題型,則有些可惜。從教育心理學(xué)角度看,識別錯誤并改正錯誤,需要學(xué)生具有非常扎實的英語基礎(chǔ)知識、良好的英語理解能力和表達(dá)能力。短文改錯題中設(shè)置的錯誤往往來自英語語法知識(包括詞匯、短語、慣用法等)、篇章知識、功能知識和社會語言知識,涉及語言能力、思維品質(zhì)、文化意識和學(xué)習(xí)能力4 種英語學(xué)科素養(yǎng)。因此,短文改錯題型可以非常全面地考查到學(xué)生的英語知識和能力,放棄這種題型可能不是最優(yōu)選擇。
筆者認(rèn)為,在高中英語教學(xué)活動中,教師不必刻意設(shè)計大量的錯誤試題讓學(xué)生練習(xí),學(xué)生也不必在記住正確內(nèi)容的同時,費神費力去記住各種錯誤,這樣可以減少學(xué)生把正確內(nèi)容與錯誤內(nèi)容記混淆的風(fēng)險。如果教師和學(xué)生所討論的問題全是正確的內(nèi)容,學(xué)生就比較容易形成正確的語言感覺,當(dāng)遇到短文改錯題型時,學(xué)生只要把沒有感覺的內(nèi)容剔除,就能得到正確的答案、使用恰當(dāng)?shù)脑~匯和句子。
前文的數(shù)據(jù)分析表明,書面表達(dá)題型的區(qū)分度也達(dá)到了0.80 左右的水平,但相對于讀后續(xù)寫題型來說,這種題型的區(qū)分度還有較大提升空間。書面表達(dá)是一種能夠充分考查學(xué)生語言綜合運用能力的題型。長期以來,英語書面表達(dá)題型的寫作要求已經(jīng)被廣大師生所掌握,學(xué)生也進(jìn)行了大量的書面表達(dá)練習(xí),這在一定程度上造成了閱卷教師的審美疲勞,考生“循規(guī)蹈矩”的文章只能得到一個十分平常的分?jǐn)?shù),這也是書面表達(dá)題分?jǐn)?shù)趨中的一個原因。從這個意義上看,在新高考中淘汰這種題型的做法值得肯定。
筆者認(rèn)為,英語教師應(yīng)該從夯實英語必備知識、提高英語關(guān)鍵能力和提升英語學(xué)科素養(yǎng)等方面著力,提高學(xué)生的語言綜合運用能力。具體操作辦法還需要理論聯(lián)系實際,總結(jié)出科學(xué)有效的辦法并得到實際工作的驗證之后再進(jìn)行推廣應(yīng)用。
總之,高考英語作文題具有良好的區(qū)分度。其中,短文改錯和讀后續(xù)寫題型的區(qū)分能力相對更強(qiáng),而書面表達(dá)和應(yīng)用寫作題型的區(qū)分能力稍弱,并出現(xiàn)了比較明顯的分?jǐn)?shù)趨中情形。要提升應(yīng)用寫作等題型的區(qū)分度,可參照CSE 量表、高考評價體系以及課程標(biāo)準(zhǔn)等的要求,進(jìn)一步優(yōu)化現(xiàn)行的英語作文題目評分規(guī)則。要提高學(xué)生的英語寫作水平,需要加強(qiáng)英語語法知識、篇章知識、功能知識和社會語言知識的教學(xué),讓學(xué)生多讀英文名著并進(jìn)行讀后續(xù)寫訓(xùn)練,培養(yǎng)學(xué)生的理解能力、表達(dá)能力、語用能力、翻譯能力和語言使用策略,提升學(xué)生的語言能力、思維品質(zhì)、文化意識和學(xué)習(xí)能力。