基于KPARC模型的試題絕對難度研究

任紅艷 姜海娟 李廣洲

1 引言

試題絕對難度，也稱為事前標定難度，因其取決于試題本身（如問題的特征和解決的過程等）而與被試認知情況無關(guān)，受到越來越多的心理學(xué)家和學(xué)科教育專家的關(guān)注。

目前，已有不少關(guān)于試題絕對難度的標定方法，但都各具利弊。例如，Johnstone和Banna（1986）[1]提出了一種問題難度預(yù)估模型（Predictive Model），用解題所需步驟來確認認知負荷，進而研究問題難度與學(xué)生記憶容量之間的關(guān)系，但是該方法僅考慮了工作記憶的加工功能而忽略了儲存功能。Dori和Hameiri（2003）[2]以及任紅艷等（2011，2012）[3][4]在三重表征思想基礎(chǔ)上提出的多維度分析系統(tǒng)（Multidimensional Analysis System）因其操作中需要具體到化學(xué)學(xué)科專題領(lǐng)域問題而削弱其適用范圍并提高了操作的復(fù)雜性；辛自強（2003）[5]提出了關(guān)系—表征復(fù)雜性模型，但其拋開要素和關(guān)系的內(nèi)容，忽略內(nèi)容而只關(guān)注形式的做法仍有待于檢驗。邵志芳和余嵐（2008）[6]將認知任務(wù)分析法應(yīng)用于數(shù)學(xué)試題絕對難度分析，并設(shè)計了標定試題難度的數(shù)量化指標，但仍存在概念界定不清等問題；Karen等（2011）[7]依據(jù)復(fù)雜性理論和認知負荷理論，提出認知復(fù)雜性評估法（Cognitive Complexity Rating Rubric），從概念、技能以及兩者間關(guān)系三個維度分析問題絕對難度，但仍存在忽視工作記憶的儲存功能及概念界定過于籠統(tǒng)等問題；毛競飛（2008）[8]和程力等（2012）[9]從多元回歸等定量的角度探討了試題難度問題，但對不同各學(xué)科的建模及模型的穩(wěn)定性等尚待進一步研究和驗證。

分析上述各種絕對難度標定方法可以發(fā)現(xiàn)，問題解決過程中所需的內(nèi)容知識及內(nèi)容知識之間的關(guān)系是標定絕對難度不可或缺的指標。鑒于前人所提的各類絕對難度標定方法的特點及其不足，我們以智力的知識觀、工作記憶容量有限理論和問題空間理論為基礎(chǔ)，提出了“知識片段—注意—關(guān)系復(fù) 雜 性 ”（Knowledge Piece-Attention-Relationship Complexity，KPARC）模型，用于標定試題的絕對難度，并以化學(xué)學(xué)科中的氧化還原問題為例進行了較大規(guī)模的檢驗。

2 KPARC模型的框架結(jié)構(gòu)

2.1 指標體系

KPARC模型由三個指標構(gòu)成：知識片段、注意程度和關(guān)系層次。

其中，知識片段由問題所包括的已知信息（即圖1中的A和B）和問題解決者頭腦中的相關(guān)知識（即圖1中的C、D和E）這兩部分組成。在綜合考慮每個知識片段的本身理解難度及其提取難度基礎(chǔ)上，將其認知要求分為簡單、中等、較難三個等級。我們參照布盧姆認知領(lǐng)域教育目標的學(xué)習(xí)水平分類對知識片段的認知要求予以操作性界定：僅要求辨別的知識片段，屬于簡單水平；若需提取該知識片段，屬于中等水平；若要掌握其適用范圍和應(yīng)用條件，則屬于較難水平。然后，利用評分規(guī)則將每個知識片段的認知要求和知識片段的個數(shù)結(jié)合得到知識片段的總難度值（見表1）。

表1 知識片段的難度值的評分規(guī)則[7]

在本模型中提出的“注意”是指需要有意識地“注意”知識片段的程度，包括注意的廣度和注意的深度。注意的廣度是指需要注意的知識片段的個數(shù)，而注意的深度是根據(jù)倘若不注意會導(dǎo)致解題的完全失敗、部分失敗、稍有影響和沒有影響這四個程度來界定的。在整體上，注意的程度用0～3四個數(shù)值來表示，分別表示“幾乎不需要”到“非常需要”?！白⒁狻弊鳛橐粋€獨立的指標，與知識片段的認知要求并無過多關(guān)系，而往往與化學(xué)中的許多原理類知識表述中的限定詞及化學(xué)特殊或反常事實等有關(guān)。如氣體物質(zhì)的量計算過程中，“22.4L·mol-1”的使用限定的是氣體，若未注意到這個限定，則可能出現(xiàn)將液體的物質(zhì)的量也用“22.4L·mol-1”來計算導(dǎo)致問題解決的失敗。

關(guān)系層次表示知識狀態(tài)之間相互關(guān)聯(lián)的程度，即問題信息和知識片段之間相互作用所產(chǎn)生的中間狀態(tài)（G和F）和目標狀態(tài)（H）之間的層級關(guān)系。相關(guān)研究表明，問題解決過程中包含的關(guān)系層級數(shù)越多，嵌套越復(fù)雜，問題就越復(fù)雜[5]。受啟發(fā)于Novak提出的概念圖、Polya關(guān)于數(shù)學(xué)解題過程的幾何表示圖以及信息加工心理學(xué)中的問題行為圖，我們用樹形圖將問題解決過程清晰地表示出來，用樹形圖來表示知識狀態(tài)之間的相互作用，用層級數(shù)來表示知識狀態(tài)相互關(guān)聯(lián)的程度（見圖1）。也可以認為，此樹形圖是學(xué)生在解決問題過程中所形成的問題圖式的外顯。

圖1 樹形圖的簡單示意

2.2 標定步驟

基于KPARC模型的問題絕對難度標定的具體操作步驟如下：

研究者獨立完成每個問題，通過邏輯分析，畫出解決該問題的樹形圖；

列舉出解題所需的知識片段，并預(yù)估每個知識片段的認知要求；

根據(jù)表1的評分規(guī)則將所有知識片段的難度值加和得到知識片段的總難度值；

確定樹形圖的關(guān)系層次（從倒數(shù)第三層計數(shù)為1開始向上數(shù)）；

整體考慮給出知識片段需要“注意”的程度；

將知識片段的總難度值、關(guān)系層次和注意程度加和，即為每個問題的絕對難度。

3 模型的檢驗

3.1 問題選擇

本研究以化學(xué)教學(xué)中結(jié)構(gòu)化程度高、邏輯性較強的氧化還原內(nèi)容為例，嘗試分析利用KPARC模型計算試題絕對難度的可行性。全部試題選編自歷年高考試題，在征求學(xué)科教學(xué)專家的意見后進行預(yù)測，以保證其質(zhì)量。高一年級的測試卷最終由與氧化還原內(nèi)容相關(guān)的41個選擇題構(gòu)成。為了保證被試人數(shù)且盡可能節(jié)約測試時間，以使相關(guān)問題能在中學(xué)化學(xué)課堂教學(xué)常態(tài)中進行測試以減少測量誤差，將41個問題拆分為A、B、C三份測試卷，每份試卷含有5個相同的問題，即錨問題。同時，設(shè)計了一份高三年級的測試卷，由9個綜合性內(nèi)容的選擇題組成，其中含錨問題2個。通過問卷測試，獲得氧化還原專題試題的相對難度。另外，本研究還選擇了2007和2009年高考化學(xué)題全國卷的全部選擇題，并搜集到這兩年官方公布的相應(yīng)高考化學(xué)試題的相對難度數(shù)據(jù)。

3.2 被試和評定者

問卷測試在江蘇省內(nèi)進行，研究樣本包括南京市的4所程度不同的典型高級中學(xué)的高一年級的三個班和高三年級的一個班。為保證學(xué)生的認真參與，測試以平時練習(xí)的形式在課堂中進行，參與各試卷測試的學(xué)生人數(shù)則是根據(jù)中學(xué)化學(xué)教學(xué)實際予以協(xié)調(diào)安排，A卷、B卷、C卷和高三卷的被試合計人數(shù)分別是161人、129人、119人和170人。

每一個試題分別由兩名評定者評定，評定者均為化學(xué)課程與教學(xué)論專業(yè)的碩士研究生，具備較好的化學(xué)學(xué)科知識和教育心理學(xué)的相關(guān)理論基礎(chǔ)，且在評定前接受了約20分鐘的培訓(xùn)與預(yù)評，以確保能正確理解并掌握評估的原則和方法。

3.3 結(jié)果分析

兩名評定者依據(jù)KPARC模型分別對各個問題標定絕對難度，利用積差相關(guān)系數(shù)計算兩評定結(jié)果的一致性程度。從表2可知，各個測試的評分者信度均達到極其顯著相關(guān)（p＜0.01），說明基于該模型的評估指標體系很容易為評定者掌握，具有較強的可操作性。對兩名評分者的評定結(jié)果取平均值獲得各個問題的絕對難度的平均值，以被試學(xué)生測試獲得的通過率以及國家發(fā)布的通過率經(jīng)轉(zhuǎn)換后的標準難度為各個問題的相對難度，計算各試題絕對難度的平均值與其標準難度之間的皮爾遜相關(guān)系數(shù)，通過和外在標準（相對難度）的一致性判斷標定結(jié)果的可信性。從表2可知，試題的絕對難度與標準難度呈極其顯著（p＜0.01）或顯著（p＜0.05）的負相關(guān)。

表2 評價測試結(jié)果的兩個一致性系數(shù)

4 結(jié)論

本研究在前人研究基礎(chǔ)上，提出了“知識片段—注意—關(guān)系復(fù)雜性”（KPARC）模型，用于標定試題的絕對難度，對該模型的各項指標含義及難度標定的操作步驟予以了較為詳細的闡述。研究者選擇化學(xué)學(xué)科中的氧化還原相關(guān)試題設(shè)計測試問卷，嚴格實施程序，進行較大規(guī)模測試的結(jié)果顯示：（1）不同評定者基于KPARC模型的絕對難度標定結(jié)果之間具有極其顯著的相關(guān)，評分者信度高。說明這種絕對難度標定方法容易為評定者掌握，評分誤差小，有很好的實際操作可行性；（2）評定所得的各試題的絕對難度平均值和由通過率轉(zhuǎn)換后的標準難度值之間具有（極其）顯著的負相關(guān)，驗證了基于KPARC模型的絕對難度標定方法是合理的，標定的結(jié)果是可信的。

[1]Johnstone，A.H.，El-Banna，H.Capacities，demands and processes—apredictive model for scienceeducation.Education in chemistry，1986（5）:79-84.

[2]Dori，Y.J.，Hameiri，M.Multidimensional analysis system for Quantitative Chemistry problems:Symbol，Macro，Micro，and Process aspects.Journal of Research in Science Teaching ，2003，40（3）:278-302.

[3]任紅艷，李幸，李廣洲.MAS法和CTA法標定離子反應(yīng)試題絕對難度的研究[J].中國考試，2011（12）:17-21.

[4]任紅艷，李幸，李廣洲.基于多維分析系統(tǒng)的離子反應(yīng)試題絕對難度研究[J].化學(xué)教學(xué)，2012（6）:54-57.

[5]辛自強.關(guān)系—表征復(fù)雜性模型的檢驗[J].心理學(xué)報，2003，35（4）:504-513.

[6]邵志芳，余嵐.試題難度的事前認知任務(wù)分析[J].心理科學(xué)，2008，31（3）:696-698.

[7]Karen，K.，etal.A valid and reliable instrument for cognitive complexity rating assignment of chemistry exam items.Journal of Chemical Education，2011，88（5）:554-560.

[8]毛競飛.高考命題中試題難度預(yù)測方法探索[J].教育科學(xué)，2008（6）:22-26.

[9]程力，柳博.自學(xué)考試試題難度影響因素的多元回歸分析[J].教育科學(xué)，2012（3）:60-62.