高中學業(yè)水平合格性考試命題難度控制技術(shù)的探究
——以信息技術(shù)學科為例

羅志卿

高中學業(yè)水平合格性考試作為標準參照性考試，各?。▍^(qū)、市）都明確了考試的難度、不同難度水平試題的比例、平均分、合格分數(shù)等考試目標。部分命題者對試題難度控制往往停留在經(jīng)驗上，難度控制缺乏科學操作和監(jiān)控體系，導致考試結(jié)果與考試目標的不一致，制約了考試測量的精準性，影響了學業(yè)水平合格性考試評價的導向功能。

為確保學業(yè)水平考試測量的精準性，應(yīng)建立一套試題難度控制的科學操作和監(jiān)控體系，以實現(xiàn)考試結(jié)果與考試目標的一致。本文以高中學業(yè)水平合格性考試命題難度控制技術(shù)為主題， 以信息技術(shù)學科為例，從試題難度的分析、試題難度的預(yù)估、試卷整體難度的把控等方面開展命題難度控制技術(shù)的探究。

一、試題難度

（一）試題難度定義

試題難度是指試題的難易程度， 是衡量考試質(zhì)量的一項重要指標， 可以衡量試題是否能檢測出學生的能力水平和學科核心素養(yǎng)層次。 不同類型的考試，試題的命題難度不同。

試題的難度是評價試題質(zhì)量的重要指標之一，在教育測量學中它被定義為：該題（卷）考生所得的平均分與該題（卷）總分的比值。

試題難度包括單個試題的難度和整卷試題 （試卷）的難度，考試命題需要評估各試題的難度，再根據(jù)各試題難度來預(yù)估整卷試題（試卷）的難度。

（二）試題難度計算

根據(jù)經(jīng)典測量理論（CTT 理論），試題難度用“難度系數(shù)”來表示，“難度系數(shù)”反映試題的難易程度，“難度系數(shù)”也可以理解成“容易度系數(shù)”。

假設(shè)該題（卷）的滿分為N，該題（卷）考生的平均得分為R，難度系數(shù)值為P，則：

P值越小，試題（卷）越難；反之試題（卷）越容易。

二、試題難度預(yù)估

在大規(guī)?？荚嚨拿}過程中，試題難度預(yù)估是科學化命題的重要環(huán)節(jié)。試題難度預(yù)估的方法主要包含以下三個方面：一是確定影響試題難度的主要客觀因素； 二是設(shè)計科學有效的試題難度計算方法； 三是通過歷年實測數(shù)據(jù)建立試題難度預(yù)估的參照模型。

（一）影響試題難度的主要客觀因素

影響學業(yè)水平合格性考試試題難度的客觀因素主要包括核心素養(yǎng)水平、內(nèi)容要求、知識點數(shù)、情境維度、技巧層次等。

1. 核心素養(yǎng)水平

面向?qū)W科核心素養(yǎng)的測評要以核心素養(yǎng)要求作為測量目標，試題要體現(xiàn)具體的學科核心素養(yǎng)要求?！镀胀ǜ咧行畔⒓夹g(shù)課程標準（2017 年版2020 年修訂）》（以下簡稱“《新課標》”）明確了高中信息技術(shù)學科的四個核心素養(yǎng)，分別是信息意識、計算思維、數(shù)字化學習與創(chuàng)新、信息社會責任。根據(jù)學科核心素養(yǎng)的內(nèi)涵及表現(xiàn)，每一個素養(yǎng)維度又劃分為預(yù)備級、水平1、水平2、水平3 等四個水平層次，每個水平層次包含若干個具體的能力要求，如“信息意識”中的水平1 包含有5 個具體的能力要求。

高中信息技術(shù)學業(yè)水平合格性考試要注重測量學生的學科能力水平，明確以學科核心素養(yǎng)的水平層次為測量目標?！缎抡n標》明確了各模塊內(nèi)容的學業(yè)要求， 指出學生通過學習各模塊內(nèi)容后應(yīng)該具備的學科核心素養(yǎng)及水平層次， 應(yīng)該達到相應(yīng)的學科能力。 高中信息技術(shù)學科學業(yè)水平合格性考試對應(yīng)的學科核心素養(yǎng)水平層次為預(yù)備級、水平1。表1 通過“數(shù)據(jù)與計算”模塊中的“數(shù)據(jù)與信息”部分內(nèi)容的學業(yè)質(zhì)量、核心素養(yǎng)水平及層次要求加以說明。

表1

命題時命題人員首先要確定測量的目標， 可以根據(jù)考試的性質(zhì)及《新課標》的要求來確定核心素養(yǎng)維度， 再結(jié)合學生的實際選擇預(yù)備級或者水平1 層次中的單個能力要求確定測量目標， 也可以綜合多個核心素養(yǎng)維度的多個能力要求確定測量目標。 合格性考試單個試題一般不超過2 個核心素養(yǎng)維度的能力要求。 一般情況下容易題對應(yīng)預(yù)備級的1 個能力要求， 中等難度題對應(yīng)水平1 層次中的1 個能力要求或預(yù)備級的2 個能力要求， 較難題對應(yīng)水平1層次中2 個能力要求。

2. 內(nèi)容要求

考試內(nèi)容要求是指知識深度，也稱為考試內(nèi)容的認知水平。 根據(jù)布魯姆教育目標分類法的認知層次劃分，可以劃分為知道（知識）（knowledge）、領(lǐng)會（理解）（comprehension）、應(yīng)用（application）、分析（analysis）、綜合（synthesis）、評價（evaluation）等六個認知層次。

《新課標》對高中信息技術(shù)必修課程、選擇性必修課程、選修課程的內(nèi)容要求有明確的規(guī)定。高中信息技術(shù)學業(yè)水平合格性考試的內(nèi)容為必修課程，必修課程包括“數(shù)據(jù)與計算”“信息系統(tǒng)與社會”兩個模塊。課程標準對各模塊的內(nèi)容要求做了具體的規(guī)定，內(nèi)容要求與布魯姆教育目標的認知層次劃分相對應(yīng)。表2 通過“數(shù)據(jù)與計算”模塊中的“數(shù)據(jù)處理與應(yīng)用”的內(nèi)容要求加以說明。

表2

經(jīng)對照， 必修課程中所有的內(nèi)容要求對應(yīng)布魯姆認知分類中的知道（知識）（knowledge）、領(lǐng)會（理解）（comprehension）、應(yīng)用（application）三個層次，因此將高中信息技術(shù)學業(yè)水平合格性考試的內(nèi)容要求分為三個認知層次，分別是知識、理解、應(yīng)用。三個認知層次所對應(yīng)的試題難度也是由低到高的遞進，命題時可以根據(jù)學生的實際， 通過高層次要求的知識內(nèi)容命制低層次要求的試題， 達到降低試題難度的目的。

3. 知識點數(shù)

知識點數(shù)又稱為知識的廣度，指試題所考查的知識點個數(shù)。一般來說，含1 個知識點，試題為容易題；含2-3 個知識點且跨度較小，試題為中等難度題；含大于等于3 個知識點且有較大的跨度，試題為較難題。

4. 情境維度

情境維度包括情境的科學性、 真實性、 復雜程度、熟悉程度等要素。命題者要充分考慮試題情境維度，情境設(shè)定應(yīng)盡量符合問題的實際情況，盡可能符合高中學生的生活經(jīng)驗，引起學生的興趣，可以根據(jù)個人、公共、學科和人文等方面設(shè)置情境。

一般地說，情境較為簡單，學生較熟悉，與歷年常考的題型、樣題相近的試題以及選材貼近學生的生活試題，解答題目所需時間較少，則難度就?。环粗y度就大。 根據(jù)情境的復雜程度及熟悉程度，一般將情境分為簡單情境、一般情境、復雜情境三個層次。

5. 技巧層次

技巧層次包括試題的設(shè)問、應(yīng)答要求、干擾因素等。一般來說，試題的設(shè)問不直接、應(yīng)答要求較高、干擾因素較多，甚至某些干擾因素有較強的誘惑性，會使學生的解題思路誤入歧途，這些題目就比較難。反之，題目就比較簡單。

技巧層次一般分為簡單、一般、復雜三個層次。試題沒有干擾因素、直接設(shè)問、直接應(yīng)答的試題技巧層次為簡單程度；有單個干擾項，需要在一定的情境中理解知識的本質(zhì)屬性，通過簡單的變式將知識進行轉(zhuǎn)換的試題技巧層次為一般程度；有多個干擾項，要求學生能從實際的問題中抽象出模型或?qū)僭O(shè)進行探索， 把具體現(xiàn)象上升為本質(zhì)從而解決問題的試題技巧層次為復雜程度。

（二）量化各客觀因素的影響程度，預(yù)估試題難度

在命題過程中要開展難度預(yù)估， 首先要量化各因素對試題難度的影響程度， 將各客觀因素的影響程度進行數(shù)字化表示，分別配以相應(yīng)的計分，具體如表3 所示。

表3

試題難度預(yù)估的步驟為： 首先對各道試題估算各客觀因素的計分，其次把各因素的計分累加，最后對照“累加計分與難度系數(shù)（P）換算表”換算成該試題的難度（見表4）。

表4

以下通過兩個實例進行具體分析。

【例1】將他國語言文字用“百度翻譯”翻譯成中文，這屬于人工智能技術(shù)中的

A．機器翻譯 B．機器證明

C．自動控制 D．虛擬現(xiàn)實

【答案】A

表5

本題累加的計分為5，對應(yīng)難度系數(shù)應(yīng)該在0.90～0.99 范圍內(nèi)，預(yù)估該題為容易題。 根據(jù)考后的質(zhì)量分析， 該題實測難度與設(shè)計難度數(shù)據(jù)如表6 所示。

表6

【例2】在VB 中，下列程序段執(zhí)行后，輸出結(jié)果是

【答案】A

表7

本題累加的計分為13，對應(yīng)難度系數(shù)為0.60 以下，預(yù)估該題為較難題。 根據(jù)考后的質(zhì)量分析，該題實測難度與設(shè)計難度數(shù)據(jù)如表8：

表8

從例1、例2 的實測難度與設(shè)計難度的數(shù)據(jù)對比可以看出， 根據(jù)量化各客觀因素的影響程度預(yù)估試題難度是科學有效的， 試題設(shè)計難度與實測難度大體基本一致。

（三）建立試題難度預(yù)估的參照模型，進一步調(diào)整試題的難度預(yù)估。

通過量化客觀因素預(yù)估試題難度開展難度預(yù)估有一定的局限性，容易受到一些主觀因素、外在因素的制約，導致預(yù)估往往會出現(xiàn)一定偏差。

主觀因素包括命題者經(jīng)驗、試題“新穎度”。學生對試題選材是否熟悉， 命題者在判斷上有一定的主觀因素。此外，試題的預(yù)估值的準確程度還受試題的“新穎度”影響。

外在因素包括題型、試卷的長度、閱讀量等。 如選擇題和填空題根據(jù)量化客觀因素計分， 累加計分一樣，但是難度會有較大的差異。

為更準確地開展試題的難度預(yù)估， 命題團隊在根據(jù)量化客觀因素預(yù)估試題難度的基礎(chǔ)上， 還需要通過歷年學業(yè)水平合格性考試的試題實測難度數(shù)據(jù)調(diào)整試題的難度預(yù)估。 命題人員要對近三年考試的同類試題進行分析對比， 獲取各同類試題的實測難度系數(shù)。 可通過教育測量學理論來建立同類試題的難度預(yù)估的參照模型， 可以從情境維度、 試題新穎度、技巧層次、設(shè)問方式、選項及干擾項等角度進行剖析。通過難度預(yù)估參照模型的大數(shù)據(jù)分析，命題者能對試題做出更客觀、更準確的難度預(yù)估。

三、試卷（整卷）難度控制

為確?？荚嚱Y(jié)果與考試目標的一致性， 提升提升考試的信度與效度， 在完成單一試題的難度預(yù)估基礎(chǔ)上，需對試卷（整卷）的難度進行預(yù)估和控制。一份試卷的難度取決于各個試題的難度及各類難度試題所占的比例，為此要控制整卷的難度，首先要明確試卷的難度要求， 其次要通過科學的方法對整卷試題難度進行調(diào)整。

（一）明確試卷的難度要求。

一般情況下，各省（區(qū)、市）的高中學業(yè)水平合格性考試的試題難度均有一定的要求， 一般包括試題難度的劃分、各難度試題的比例、試卷的難度，試題難度比例等。 以廣西普通高中信息技術(shù)學業(yè)水平合格性考試的要求為例，相關(guān)要求如表9。

表9

容易題、中等難度題、較難題的賦分比例約為7∶2∶1。 試卷難度系數(shù)控制在0.78±0.03，即試卷的滿分為100 分，考試的平均分控制在78±3 分。

（二）整卷試題難度的把控與調(diào)整。

整卷試題難度的控制與調(diào)整的步驟如圖1 的流程圖所示：

圖1

1． 統(tǒng)計整卷難度

在確保每一小題難度預(yù)估準確和試卷中各類難度試題比例符合要求的前提下，通過學科“試題難度預(yù)估表”來統(tǒng)計整卷的難度，具體如表10 所示。

試卷難度的計算公式如下：

試卷的難度用難度系數(shù)P（試卷）來衡量，取值范圍為[0，1]，系數(shù)越小則試卷難度越大，反之難度越小。 其中Pi 表示某試題難度，Xi 表示該試題的滿分值，W 表示試卷的滿分值。

根據(jù)試題難度預(yù)估表的數(shù)據(jù)統(tǒng)計出整卷的難度、各難度試題的比例。 一般情況下，統(tǒng)計出來的數(shù)據(jù)往往與考試目標有一定的偏差， 會出現(xiàn)偏難或者偏易的情形。 下面根據(jù)偏難的假設(shè)模型做分析，假設(shè)模型的數(shù)據(jù)如表11 所示。

從表中數(shù)據(jù)看出，容易題、中等難度、較難題的分值比例與考試要求7：2：1 的比例有一定差距，容易題偏少， 中等難度題和較難題偏多， 整卷難度偏大，需要對部分試題做出必要的調(diào)整。如可將2～3 分的較難題調(diào)整為中等難度的試題， 將5～6 分的中等難度試題調(diào)整為容易題。

表10

表11

2. 調(diào)整試題難度

此階段的試題調(diào)整不宜對原來的試題做過大的改動，可以從影響試題難度因素，通過修改試題的設(shè)問、選項、應(yīng)答方式等調(diào)整相關(guān)試題的難度。 如下面的例3、例4。

【例3】下列選項中，屬于音頻文件的是

A．海草.wav B．海草.bmp

C．海草.gif D．海草.ppt

【答案】A

原預(yù)估難度為0.75，屬于中等難度試題，需降低難度，變?yōu)槿菀最}。

本題嘗試從試題選項中材料的熟悉程度進行調(diào)整，將學生比較生疏的“wav”格式改為學習熟悉的“mp3”格式，所以將A 選項中的“海草.wav”修改為“海草.mp3”，修改后試題難度將降低到0.90 以上。

另本題也可以從干擾項去修改， 將B 選項中的“海草.bmp”修改為學生較為熟悉“海草.doc”。

【例4】在VB 中，若x=5，y=3，下列表達式的值為True（真）的是

A．x<=y B．x-y

C．x>y Or x=y D．x<2*y And y>0

【答案】BCD

原預(yù)估難度為0.50，需降低難度，變?yōu)橹械入y度題。

本題考查的知識點個數(shù)為2 個， 即關(guān)系運算和邏輯運算， 但是學生對邏輯運算符不熟悉， 特別是And 運算符?？梢匀サ粢粋€正確答案，并將D 選項的難度降低，改為關(guān)系運算，并對換C、D 選項的位置，修改后的試題如下：

【例4】在VB 中，若x=5，y=3，下列表達式的值為True（真）的是

A．x<=y B．x-y

C．x>2*y D．x>y Or x=y

修改后，試題的答案為BD，試題難度將降低到0.70 左右。

3. 重新預(yù)估難度

相關(guān)試題調(diào)整后， 要根據(jù)量化各因素的影響程度、 歷年實測數(shù)據(jù)的參照模型重新調(diào)整相關(guān)試題的難度預(yù)估， 然后再根據(jù)試題難度預(yù)估表重新預(yù)估整卷的難度。

整卷試題難度的控制與調(diào)整是一個復雜而反復的過程，需要多次調(diào)整，每一次調(diào)整都要嚴格按照整卷試題難度的控制與調(diào)整的步驟進行， 直到整卷的各項參數(shù)到達考試目標為止， 即容易題、 中等難度題、較難題的賦分比例約為7：2：1，試卷難度系數(shù)為0.78±0.03，最理想的難度系數(shù)是0.78。

提高試題預(yù)估難度的準確性一直是廣大命題者追求的目標，近年來我們一直在實踐，嚴格按照科學的命題難度控制技術(shù)開展命題。經(jīng)實踐，近兩年高中學業(yè)水平合格性考試信息技術(shù)學科命題的預(yù)估難度與實測難度基本一致， 充分說明命題難度控制技術(shù)是行之有效的， 對普通高中學業(yè)水平合格性考試命題具有較好的借鑒意義。 面對高中新課程改革，學業(yè)水平合格性考試命題工作也要與時俱進，需進一步根據(jù)《新課標》的要求，并結(jié)合本地區(qū)的實際，更深入地開展命題難度控制技術(shù)的研究， 發(fā)掘更科學的技術(shù)方法，提高試題難度預(yù)估的準確性，提升命題質(zhì)量。