基于SEC范式的地理試卷與課程標(biāo)準(zhǔn)一致性研究

王 宇 章新平（湖南師范大學(xué) 資源與環(huán)境科學(xué)學(xué)院, 湖南 長(zhǎng)沙 410081）

?

基于SEC范式的地理試卷與課程標(biāo)準(zhǔn)一致性研究

王 宇 章新平
（湖南師范大學(xué) 資源與環(huán)境科學(xué)學(xué)院, 湖南 長(zhǎng)沙 410081）

摘要：試卷與課程標(biāo)準(zhǔn)的一致性是教師進(jìn)行教學(xué)和對(duì)學(xué)生開(kāi)展學(xué)習(xí)評(píng)價(jià)不可忽視的問(wèn)題。本文選取2015年新課標(biāo)全國(guó)文綜卷I地理必修部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷為研究對(duì)象，采用SEC（Surveys of Enacted Curriculum）一致性分析范式，從內(nèi)容主題和認(rèn)知水平兩個(gè)方面對(duì)課程標(biāo)準(zhǔn)和試卷進(jìn)行編碼，通過(guò)計(jì)算Porter一致性指數(shù)分析試卷與課程標(biāo)準(zhǔn)的一致性。研究結(jié)果表明，2015年全國(guó)新課標(biāo)文綜卷I地理必修部分和湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性水平較低，而且2015年全國(guó)新課標(biāo)文綜卷I地理必修部分與課程標(biāo)準(zhǔn)的一致性低于湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性。

關(guān)鍵詞：地理課程標(biāo)準(zhǔn)；地理高考試卷；一致性

一、問(wèn)題的提出

地理學(xué)習(xí)質(zhì)量評(píng)價(jià)作為學(xué)習(xí)系統(tǒng)的反饋調(diào)節(jié)機(jī)制，在學(xué)習(xí)與教學(xué)過(guò)程中起著重要的作用。新課程改革和《普通高中地理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)）》頒布以來(lái)，對(duì)傳統(tǒng)的地理學(xué)習(xí)評(píng)價(jià)方式提出了許多新的要求和一些合理的建議。同時(shí)，地理學(xué)習(xí)評(píng)價(jià)又是地理課程評(píng)價(jià)的一部分，學(xué)習(xí)評(píng)價(jià)方式的選擇和質(zhì)量的高低直接影響著課程目標(biāo)的實(shí)現(xiàn)。目前，我國(guó)高考和學(xué)業(yè)水平考試是高中兩個(gè)十分重要的階段性考試，研究地理高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性，對(duì)于更好地在教學(xué)過(guò)程和試題命制中貫徹新課程改革的理念具有重要的參考價(jià)值。

二、研究方法的選擇

1.一致性研究范式的選擇

美國(guó)一致性研究范式以Webb分析范式的構(gòu)建為標(biāo)志，在開(kāi)發(fā)Achieve、SEC和SRI等一致性分析工具的基礎(chǔ)上實(shí)現(xiàn)了一致性分析的轉(zhuǎn)型。本研究在綜合考慮以上四種研究范式之后，決定選取SEC一致性分析范式。SEC的開(kāi)發(fā)者波特等人以?xún)?nèi)容矩陣構(gòu)建為基礎(chǔ)，對(duì)不同來(lái)源的數(shù)據(jù)加以編碼，利用公式計(jì)算數(shù)據(jù)之間的一致性指數(shù)（alignment index），通過(guò)指數(shù)反映一致性程度的高低，并判斷是否具有良好的一致性。波特等人在研究中驗(yàn)證了不同的一致性指數(shù)方法，得到了衡量試卷與課程標(biāo)準(zhǔn)一致性量化的Porter一致性指數(shù)（P），計(jì)算公式

為[1]：

公式中i表示二維矩陣的行，j表示二維矩陣的列，則Xij表示第一個(gè)二維矩陣ij單元格的數(shù)值，Yij表示第二個(gè)二維矩陣ij單元格的數(shù)值，Xij和Yij是從0到1的百分?jǐn)?shù)，兩個(gè)二維矩陣的差值是Xij-Yij，總的差值就是

2.研究對(duì)象的選擇

本研究選取了2015年新課標(biāo)全國(guó)文綜卷I地理中必修內(nèi)容和2015年湖南省普通高中地理學(xué)業(yè)水平考試試卷作為研究對(duì)象。其中全國(guó)新課標(biāo)文綜卷I必修部分90分，由11道選擇題和3道材料分析題構(gòu)成。湖南省學(xué)業(yè)水考試試卷題型包括25道選擇題和5道材料分析題，總分是100分。

三、研究過(guò)程

1.內(nèi)容標(biāo)準(zhǔn)的選擇

依據(jù)《普通高中地理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)）》高中地理課程由三個(gè)必修模塊和七個(gè)選修模塊組成，必修三個(gè)模塊中地理1側(cè)重自然地理，地理2側(cè)重人文地理，地理3在地理1和地理2的基礎(chǔ)上，探討區(qū)域可持續(xù)發(fā)展。本研究選取地理必修三個(gè)模塊進(jìn)行編碼，由此確定《課程標(biāo)準(zhǔn)》的十個(gè)內(nèi)容主題為“宇宙中的地球”“自然環(huán)境中的物質(zhì)運(yùn)動(dòng)和能量轉(zhuǎn)換”“自然環(huán)境的整體性和差異性”“自然環(huán)境對(duì)人類(lèi)活動(dòng)的影響”“人口與城市”“生產(chǎn)活動(dòng)與地域聯(lián)系”“人類(lèi)與地理環(huán)境的協(xié)調(diào)發(fā)展”“區(qū)域環(huán)境與人類(lèi)活動(dòng)”“區(qū)域可持續(xù)發(fā)展”“地理信息技術(shù)運(yùn)用”[2]。并且把地理三個(gè)模塊分別用1、2、3進(jìn)行編碼，每個(gè)模塊下的內(nèi)容標(biāo)準(zhǔn)分別用1.1、1.2、1.3……來(lái)編碼。

2.認(rèn)知水平的劃分

布盧姆教育目標(biāo)分類(lèi)理論從認(rèn)知、動(dòng)作技能和情感等三大領(lǐng)域出發(fā)，確定認(rèn)知領(lǐng)域的目標(biāo)分為識(shí)記、領(lǐng)會(huì)、運(yùn)用、分析、綜合和評(píng)價(jià)六個(gè)層次。地理課程標(biāo)準(zhǔn)中課程目標(biāo)從知識(shí)與技能、過(guò)程與方法、情感態(tài)度與價(jià)值觀三個(gè)維度來(lái)表述。本研究結(jié)合地理課程實(shí)際決定將認(rèn)知水平劃分為“了解”“理解”“運(yùn)用”三個(gè)水平，每個(gè)水平下所用的行為動(dòng)詞主要有：（1）了解：了解、知道、說(shuō)出、舉例說(shuō)出、描述、簡(jiǎn)述、概括等；（2）理解：理解、解釋、說(shuō)明、舉例說(shuō)明、概述等；（3）運(yùn)用：運(yùn)用、分析、歸納、總結(jié)、掌握、解決等。

3.研究過(guò)程

（1）對(duì)內(nèi)容主題與認(rèn)知水平進(jìn)行編碼，構(gòu)建“內(nèi)容主題×認(rèn)知水平”的二維表格。其中內(nèi)容主題按地理三個(gè)模塊，十個(gè)主題進(jìn)行編碼，認(rèn)知水平按了解、理解和運(yùn)用來(lái)編碼。同時(shí)對(duì)課程標(biāo)準(zhǔn)中的內(nèi)容主題進(jìn)行分析，確定每條主題要求達(dá)到的認(rèn)知水平，進(jìn)行統(tǒng)計(jì)后得到內(nèi)容主題共有60個(gè)知識(shí)點(diǎn)，每一個(gè)知識(shí)點(diǎn)對(duì)應(yīng)一個(gè)認(rèn)知水平，再次進(jìn)行統(tǒng)計(jì)后填入構(gòu)建的二維表格中，由此得到一個(gè)“10×3”的二維矩陣。內(nèi)容主題中各認(rèn)知水平的知識(shí)點(diǎn)數(shù)目及比率如表1所示，其中，知識(shí)點(diǎn)數(shù)目比率值由知識(shí)點(diǎn)數(shù)目除以知識(shí)點(diǎn)總數(shù)（60）進(jìn)行標(biāo)準(zhǔn)化得到。

表1　地理課程標(biāo)準(zhǔn)中的知識(shí)點(diǎn)數(shù)目及比率

（2）對(duì)2015年新課標(biāo)全國(guó)文綜卷I地理必修部分進(jìn)行內(nèi)容分析，形成試卷“內(nèi)容主題×認(rèn)知水平”的二維表格。在對(duì)試卷進(jìn)行分析時(shí)，首先確定該題目的知識(shí)點(diǎn)在內(nèi)容主題中的歸屬，其次重點(diǎn)分析該題的難易度，結(jié)合得分率來(lái)確定題目的認(rèn)知水平，將該題的分值填入所屬的二維表格之中。最后統(tǒng)計(jì)各個(gè)內(nèi)容主題在三個(gè)認(rèn)識(shí)水平層次上的總分值，以此得到一個(gè)“10×3”的二維矩陣。2015年新課標(biāo)全國(guó)文綜卷I地理必修部分的各內(nèi)容知識(shí)點(diǎn)分值及比率如表2所示，其中知識(shí)點(diǎn)分值比率由知識(shí)點(diǎn)分值除以試卷編碼分?jǐn)?shù)（90）標(biāo)準(zhǔn)化后得到。

表2　地理高考試卷知識(shí)點(diǎn)分值及比率

（3）采取同樣的方法對(duì)2015年湖南省高中地理學(xué)業(yè)水平考試試卷進(jìn)行編碼，得到另一個(gè)“10×3”的二維矩陣。2015湖南省地理學(xué)業(yè)水平考試試卷內(nèi)容知識(shí)點(diǎn)分值及比率由表3所示，其中知識(shí)點(diǎn)分值比率由知識(shí)點(diǎn)分值除以試卷編碼分?jǐn)?shù)（100）標(biāo)準(zhǔn)化后得到。

表3　地理學(xué)業(yè)水平考試卷知識(shí)點(diǎn)分值及比率

（4）根據(jù)以上研究數(shù)據(jù)，計(jì)算Porter一致性指數(shù)。并從內(nèi)容主題和認(rèn)知水平兩方面繪制柱狀圖進(jìn)行比較，以此來(lái)分析2015年全國(guó)新課標(biāo)文綜卷I地理必修部分和湖南省高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)之間的一致性水平。

四、研究結(jié)果

1.一致性指數(shù)

利用Excel中的函數(shù)功能，結(jié)合統(tǒng)計(jì)數(shù)據(jù)和Porter一致性計(jì)算公式，計(jì)算得2015年新課標(biāo)全國(guó)文綜卷I地理必修部分與課程標(biāo)準(zhǔn)一致性指數(shù)P1=0.295，2015湖南省普通高中地理學(xué)業(yè)水平考試卷與課程標(biāo)準(zhǔn)一致性指數(shù)P2=0.599。Porter一致性系數(shù)的數(shù)值介于0到1之間，當(dāng)P越接近0時(shí)表示試卷和課程標(biāo)準(zhǔn)之間的差異越大，當(dāng)P越接近1時(shí)表示二者差異越小。那用什么辦法才能檢測(cè)兩個(gè)矩陣在統(tǒng)計(jì)意義上的顯著一致性？本研究采取美國(guó)學(xué)者Fulmer的研究思路，利用matlab軟件里的unidrnd函數(shù)[3]，將60個(gè)知識(shí)點(diǎn)隨機(jī)賦值到一個(gè)矩陣中，將試卷分值隨機(jī)賦值到另一個(gè)矩陣中，對(duì)兩個(gè)矩陣標(biāo)準(zhǔn)化處理后計(jì)算出一個(gè)值，將這樣的過(guò)程重復(fù)20000次，就可以得到關(guān)于P的正態(tài)分布，根據(jù)統(tǒng)計(jì)學(xué)原理，對(duì)于10×3的矩陣，采用雙側(cè)檢驗(yàn)。表4為P的正態(tài)分布的均值、標(biāo)準(zhǔn)差和95%水平的參考值。

表4　P的正態(tài)分布的均值、標(biāo)準(zhǔn)差和95%水平的參考值

從表中可以看出，要達(dá)到0.05水平統(tǒng)計(jì)學(xué)上的顯著性，則需要P≥0.8584。在本研究中，經(jīng)計(jì)算得高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性指數(shù)P均低于95%水平上的一致性臨界值，說(shuō)明2015全國(guó)新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷與地理課程標(biāo)準(zhǔn)之間不存在統(tǒng)計(jì)學(xué)意義上的顯著一致性，而且地理高考試卷與課程標(biāo)準(zhǔn)的一致性程度要比地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)的一致性程度要低。

2.內(nèi)容主題比較

2015全國(guó)新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷在內(nèi)容主題與課程標(biāo)準(zhǔn)上的比較如圖1。

圖1　內(nèi)容標(biāo)準(zhǔn)比較

從內(nèi)容主題方面分析，課程標(biāo)準(zhǔn)各個(gè)內(nèi)容主題所占比例較為均勻，比例都沒(méi)有超過(guò)20%，其中在0.1和0.2之間的有“1.2自然環(huán)境物質(zhì)運(yùn)動(dòng)能量轉(zhuǎn)換”“2.1人口與城市”“2.2生產(chǎn)活動(dòng)與地域聯(lián)系”“3.2區(qū)域可持續(xù)發(fā)展”四個(gè)部分。地理高考試卷則在“1.2自然環(huán)境物質(zhì)運(yùn)動(dòng)能量轉(zhuǎn)換”這一部分所占比例達(dá)到了0.556，另外在“1.3自然環(huán)境的整體性和差異性”“2.1人口與城市”“3.1區(qū)域環(huán)境與人類(lèi)活動(dòng)”“3.3地理信息技術(shù)運(yùn)用”四個(gè)部分所占比例為0。地理學(xué)業(yè)水平考試試卷在各個(gè)內(nèi)容主題上都有一定的比例，從比率上看主要其中在0.1和0.2之間，有“1.1宇宙中的地球”“1.2自然環(huán)境物質(zhì)運(yùn)動(dòng)能量轉(zhuǎn)換”“2.1人口與城市”“2.2生產(chǎn)活動(dòng)與地域聯(lián)系”“3.2區(qū)域可持續(xù)發(fā)展”五個(gè)部分，其中“1.2自然環(huán)境物質(zhì)運(yùn)動(dòng)能量轉(zhuǎn)換”比率最大，達(dá)到0.2。由此也可以看出，無(wú)論是地理高考或是學(xué)業(yè)水平考試在“自然環(huán)境物質(zhì)運(yùn)動(dòng)能量轉(zhuǎn)換”這一內(nèi)容主題上所占的比率都是最高的。

3.認(rèn)知水平方面的比較

2015全國(guó)新課標(biāo)卷I地理部分和湖南省普通高中地理學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)在認(rèn)知水平上的比較如圖2所示。從認(rèn)知水平方面來(lái)看，課程標(biāo)準(zhǔn)中三個(gè)認(rèn)知水平以理解為主，但總體上比例分布較為均勻。在2015全國(guó)新課標(biāo)卷I中，了解這一層次為0，但理解所占比例卻達(dá)到66.7%，與此相反的是學(xué)業(yè)水平考試試卷中，了解這一層次比例最大，運(yùn)用層次比例最小。

圖2　認(rèn)知水平比較

由圖1可以看出，相對(duì)于課程標(biāo)準(zhǔn)，高考試卷提高了理解和運(yùn)用這兩個(gè)層次的比例，加大了試題的難度，這反映了高考作為高等院校選拔性考試的特點(diǎn)，學(xué)業(yè)水平考試試卷則降低了理解和運(yùn)用層次的比例，尤其是運(yùn)用這一層次比例只有14%，而了解層次的比例卻達(dá)到了58%，這也體現(xiàn)了學(xué)業(yè)水平考試是檢測(cè)高中生在校期間學(xué)習(xí)情況的基礎(chǔ)性考試。

五、結(jié)論與反思

本研究表明2015年全國(guó)新課標(biāo)文綜卷I地理必修部分和湖南省普通高中地理學(xué)業(yè)水平考試與《普通高中地理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)）》之間的一致性水平較低，經(jīng)過(guò)計(jì)算得到的Porter一致性指數(shù)均低于參考的臨界值。從認(rèn)知水平和內(nèi)容主題兩個(gè)方面分析三者之間的差別時(shí)發(fā)現(xiàn)地理高考試卷在認(rèn)知水平層次上要高于課程標(biāo)準(zhǔn)，尤其是了解這一層次的題目在高考試卷中是沒(méi)有的。地理學(xué)業(yè)水平考試試卷在認(rèn)知水平層次上則要低于課程標(biāo)準(zhǔn)，表現(xiàn)為了解層次的題目增多，運(yùn)用層次的題目明顯偏少。在內(nèi)容主題上，地理高考試卷主要集中在幾個(gè)主題上，在四個(gè)主題上的比例為0。而學(xué)業(yè)水平考試試卷則在內(nèi)容主題方面與課程標(biāo)準(zhǔn)一樣分布較為均勻。

本研究的結(jié)果對(duì)今后地理教師在平時(shí)教學(xué)中編制試題具有參考作用，尤其是在傳統(tǒng)的應(yīng)試教育理念下，很容易在命題時(shí)單一的追求繁難偏雜，而忽視了課程標(biāo)準(zhǔn)對(duì)教學(xué)和評(píng)價(jià)的指導(dǎo)作用，導(dǎo)致教師的教學(xué)與對(duì)學(xué)生的學(xué)習(xí)質(zhì)量評(píng)價(jià)偏離了正常軌道。通過(guò)對(duì)地理試卷與課程標(biāo)準(zhǔn)的一致性分析和研究能夠幫助地理教師很好的解決這些問(wèn)題。但應(yīng)該說(shuō)明的是，在實(shí)際的學(xué)習(xí)評(píng)價(jià)中，除了考慮課程標(biāo)準(zhǔn)之外，還有許多的因素，尤其是一些大型的選拔性考試，這其實(shí)也是地理高考試卷和學(xué)業(yè)水平考試試卷與課程標(biāo)準(zhǔn)一致性水平較低的一個(gè)原因。另外SEC一致性分析范式本身也存在一些局限性，例如由于SEC一致性工具采用了編碼基礎(chǔ)上的比較研究方式，缺乏各要素之間學(xué)習(xí)目標(biāo)的直接匹配，因而也就無(wú)法提供一致性的細(xì)節(jié)信息，使得定性信息不夠豐富等[4]，這也使我們構(gòu)建本土化的學(xué)習(xí)評(píng)價(jià)與課程標(biāo)準(zhǔn)的一致性評(píng)價(jià)范式顯得尤為重要。

參考文獻(xiàn)：

[1] Porter,A.C.Measuring the contene of instrucyion: Uses in research and practice [J].Educational Researcher, 2002,31（7）:3-14.

[2] 中華人民共和國(guó)教育部.普通高中地理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)）[M].北京:人民教育出版社,2003.

[3] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction [J].Journal of Educational and Behavioral Statistics,2011,36（6）:381-402.

[4] 楊玉琴,王祖浩,張新宇,美國(guó)課程一致性研究的演進(jìn)與啟示[J].外國(guó)教育研究,2012,39（1）:113-121.