2018年云南省初中化學(xué)學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性研究

嚴(yán)和平 徐世娟 張舉成 茍高章

摘要：采用SEC分析模式，從主題內(nèi)容和認(rèn)知水平兩個維度分析2018年初中化學(xué)學(xué)業(yè)水平考試試題與《義務(wù)教育化學(xué)課程標(biāo)準(zhǔn)（2011年版）》的一致性。數(shù)據(jù)表明：2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題P值為0.7659，小于參考值0.8530。結(jié)果表明：作為本研究樣本的2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題與課程標(biāo)準(zhǔn)之間不具有統(tǒng)計學(xué)意義上的顯著一致性，且兩者在主題內(nèi)容和認(rèn)知水平上的分布吻合程度均較低。最后對影響一致性研究的因素進(jìn)行了討論。

關(guān)鍵詞：一致性;課程標(biāo)準(zhǔn);SEC模式;初中化學(xué)學(xué)業(yè)水平考試

文章編號：1008-0546（2019）10-0031-05 中圖分類號：G632.41 文獻(xiàn)標(biāo)識碼：B

doi：10.3969/j.issn.1008-0546.2019.10.008

近年來，世界各國普遍推行基于標(biāo)準(zhǔn)的教育改革，我國于2011年完成了義務(wù)教育化學(xué)課程標(biāo)準(zhǔn)的修訂?！读x務(wù)教育化學(xué)課程標(biāo)準(zhǔn)（2011年版）》（以下簡稱“課標(biāo)”）是義務(wù)教育階段九年級化學(xué)課程實施的指導(dǎo)性文件，它不僅規(guī)定了化學(xué)學(xué)科的課程性質(zhì)、課程基本理念、課程設(shè)計思路、課程目標(biāo)、課程內(nèi)容、課程實施建議，而且是教材編寫、教學(xué)、評估和考試命題的依據(jù)。因此，在新課程改革理念的指導(dǎo)下，作為我國學(xué)業(yè)評價主要體現(xiàn)方式的學(xué)業(yè)水平考試，則必須要以課程標(biāo)準(zhǔn)作為導(dǎo)向與重要依據(jù)，可見“基于課程標(biāo)準(zhǔn)”的教學(xué)研究勢在必行。在這一改革運動中，評價和課程標(biāo)準(zhǔn)的一致性問題引起了廣泛關(guān)注。目前，關(guān)于初中化學(xué)學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性研究論文中，沒有關(guān)于云南省初中化學(xué)學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性研究。筆者選擇從定量的角度對2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題（以下簡稱“試題”）與“課標(biāo)”吻合程度進(jìn)行分析，揭示兩者的一致性水平，為命題改進(jìn)提供參考依據(jù)，同時為云南省初中化學(xué)學(xué)業(yè)水平考試的評價工作提供參考依據(jù)。

一、研究對象和研究工具

1.研究對象

以云南省2018年初中化學(xué)學(xué)業(yè)水平考試試題為研究對象，該試卷總分為100，考試時間90min。全卷四個大題，共28個小題，共8頁。第1卷為選擇題，45分;第Ⅱ卷為非選擇題，55分。第Ⅱ卷設(shè)置填空與簡答33分、實驗與探究16分、分析與計算6分，全部試題列入統(tǒng)計范圍。

2.研究工具

本研究采用美國威斯康辛教育研究中心研究人員安德魯·波特（Andrew Poter）和約翰·史密森（JohnSmithson）等人研制的Surveys of Enacted Curriculum（以下簡稱“SEC”）分析模式。

二、研究過程

1.主題內(nèi)容的確定

主題內(nèi)容的確定與分類主要根據(jù)課標(biāo)和相關(guān)文獻(xiàn)，課標(biāo)將主題內(nèi)容劃分為五大領(lǐng)域，分別是“科學(xué)探究”“身邊的化學(xué)物質(zhì)”“物質(zhì)構(gòu)成的奧秘”“物質(zhì)的化學(xué)變化”和“化學(xué)與社會發(fā)展”，本研究的“科學(xué)探究”僅包含“學(xué)習(xí)基本的實驗技能”。

2.認(rèn)知水平的確定

參照文獻(xiàn)[9]、[10]，認(rèn)知水平的層次從低到高劃分為“知道”“認(rèn)識”“理解”三個層級。

3.二維矩陣表的構(gòu)建

根據(jù)對主題內(nèi)容和認(rèn)知水平所做出的標(biāo)準(zhǔn)規(guī)劃，構(gòu)建得到本研究“SEC”分析模式“主題內(nèi)容×認(rèn)知水平”的二維矩陣表，然后對試題和課標(biāo)分別編碼。

4.研究編碼

（1）課程標(biāo)準(zhǔn)編碼

對“身邊的化學(xué)物質(zhì)”“物質(zhì)構(gòu)成的奧秘”“物質(zhì)的化學(xué)變化”和“化學(xué)與社會發(fā)展”“科學(xué)探究”等五個一級主題用i進(jìn)行編碼，其中i=1，2，3，4，5;依據(jù)在一級主題中出現(xiàn)的順序，用i對二級主題進(jìn)行編碼，其中i=1，2，3……依據(jù)在二級主題中出現(xiàn)的順序，用k對具體目標(biāo)進(jìn)行分編碼，其中k=1，2，3……由此形成課程標(biāo)準(zhǔn)的編碼，例如，“身邊的化學(xué)物質(zhì)”主題中的第二個二級主題“水與常見的溶液”下的第9個具體目標(biāo)“能說出一些常見的乳化現(xiàn)象”編碼為1.2.9。同時，用I、Ⅱ、Ⅲ對認(rèn)知水平按從低到高的順序進(jìn)行編碼，即I、Ⅱ、Ⅲ分別對應(yīng)“知道”“認(rèn)識”和“理解”三個水平層級，例如，具體目標(biāo)“能說出一些常見的乳化現(xiàn)象”的行為動詞為“說出”，屬于“知道”水平，故認(rèn)知水平編碼為I。依據(jù)以上編碼原則，編碼者為一位化學(xué)副教授和一位從事中學(xué)化學(xué)教學(xué)十九年的中學(xué)一級教師，二人對課程標(biāo)準(zhǔn)獨立進(jìn)行編碼，編碼得到的數(shù)據(jù)用SPSS軟件處理，計算皮爾遜（pearson）相關(guān)系數(shù)，結(jié)果見表1。

相關(guān)系數(shù)表明本研究的編碼數(shù)據(jù)具有很好的穩(wěn)定性和可靠性，然后二人對雙方存在的分歧點一一討論，從而得到最終的編碼數(shù)據(jù)，同時對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，結(jié)果見表2。

（2）試卷編碼

依據(jù)文獻(xiàn)[9]、[10]的編碼原則，對試題按照“主題內(nèi)容×認(rèn)知水平”二維矩陣進(jìn)行編碼，利用sPSs統(tǒng)計軟件進(jìn)行統(tǒng)計分析，計算出皮爾遜（Pearson）相關(guān)系數(shù)，結(jié)果見表3。兩位對雙方存在的分歧點一一討論，從而得到最終的試卷編碼數(shù)據(jù)，同時對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，結(jié)果見表4。

5.數(shù)據(jù)統(tǒng)計分析方法

利用Excel 2007進(jìn)行數(shù)據(jù)統(tǒng)計分析、SPSS 19.0軟件計算皮爾遜（Pearson）相關(guān)系數(shù)，采用Matlab軟件進(jìn)行波特（Porter）一致性系數(shù)的計算。

三、結(jié)果與分析

1.試題與課標(biāo)一致性系數(shù)參考P值計算

參考Gavin的研究思路，根據(jù)劉恩山等的研究方法，使用Matlab軟件將86個課程標(biāo)準(zhǔn)主題隨機賦值到5x3的矩陣中，同樣將試卷總分隨機賦值到另一5x3的矩陣中，通過標(biāo)準(zhǔn)化處理得到P值，再對該程序重復(fù)20000次操作，得到正態(tài)分布P值均值以及95%水平參考P值，如表5所示：

在此正態(tài)分布曲線中，要達(dá)到0.05水平的統(tǒng)計顯著性：當(dāng)試卷總分為100分時，需要P大于或等于0.8530;即當(dāng)試卷面總分為100分時，兩矩陣的波特一致性系數(shù)大于或等于0.8530時，說明它們具有統(tǒng)計學(xué)意義上的顯著一致性。

2.試題與課標(biāo)一致性P值

把表2和表4中的數(shù)據(jù)代人Porter一致性系數(shù)公式中計算，得到試題JP值為0.7659，小于參考值0.8530，數(shù)據(jù)表明，作為本研究樣本的試題與課標(biāo)之間不具有統(tǒng)計學(xué)意義上的顯著一致性。

3.試題內(nèi)容主題的考查情況分析

用表2和表4中各主題內(nèi)容分布比率作圖，結(jié)果見圖1。

圖1表明，試題對各主題內(nèi)容考查分?jǐn)?shù)的權(quán)重為：身邊的化學(xué)物質(zhì)40.5%、物質(zhì)構(gòu)成的奧秘21.0%、物質(zhì)的化學(xué)變化20.0%、化學(xué)與社會發(fā)展11.75%、科學(xué)探究6.75%。身邊的化學(xué)物質(zhì)、物質(zhì)的化學(xué)變化這兩個主題內(nèi)容在“課標(biāo)”中所占權(quán)重分別為37.2%、11.6%，試題對這兩個主題內(nèi)容的考查權(quán)重明顯高于課標(biāo)的要求;對于化學(xué)與社會發(fā)展和科學(xué)探究這兩個主題內(nèi)容，在課標(biāo)中所占權(quán)重分別為18.6%和11.6%，試題對這兩個主題內(nèi)容的考查權(quán)重明顯低于課標(biāo)的要求;在物質(zhì)構(gòu)成的奧秘這一主題內(nèi)容，試題對其考查權(quán)重與課標(biāo)的要求基本一致?？傮w來看，試題對課標(biāo)中要求的五個主題內(nèi)容都有所考查，但對身邊的化學(xué)物質(zhì)這個主題內(nèi)容的考查明顯高于其他四個主題內(nèi)容，是學(xué)業(yè)水平考試的重點內(nèi)容。

4.試題認(rèn)知水平的考查情況分析

用表2和表4中各認(rèn)知水平分布比率作圖，結(jié)果見.圖2。

從圖2可知，試題對各認(rèn)知水平考查分?jǐn)?shù)的權(quán)重是：知道43.75%、認(rèn)識40.0%、理解16.25%。課標(biāo)對認(rèn)識水平的要求權(quán)重最大，其次是知道，對理解水平的要求最小。在認(rèn)知水平的設(shè)置上，試題和課標(biāo)對理解水平的權(quán)重都是最小的，對知道和認(rèn)識水平的權(quán)重都較大。在知道和理解水平上，試題分布比率明顯大于課標(biāo)，而在認(rèn)識水平上，試題分布比率小于課標(biāo)?？傮w來看，試題對知識點的考查主要集中在知道和認(rèn)識水平的較低層級上。

5.試題差異性分析

（1）試題主題內(nèi)容上的差異性分析

以試題表4與課標(biāo)表2的各主題內(nèi)容比率差值為縱坐標(biāo)，各主題內(nèi)容為橫坐標(biāo)作圖，得到試題和課標(biāo)在各主題內(nèi)容的比率差值柱狀圖，如圖3所示。

從圖3可以看出，與課標(biāo)比較，試題對各主題內(nèi)容的考查有偏差。試卷與課標(biāo)在各主題內(nèi)容的比率絕對差值在0.001-0.084區(qū)間。其中，對物質(zhì)的化學(xué)變化和身邊的化學(xué)物質(zhì)兩個主題內(nèi)容的考查要求超過課標(biāo)，對化學(xué)與社會發(fā)展和科學(xué)探究兩個主題內(nèi)容的考查低于課標(biāo)，物質(zhì)構(gòu)成的奧秘主題內(nèi)容的考查與課標(biāo)要求相對吻合。在吻合度低的四個主題內(nèi)容中，物質(zhì)的化學(xué)變化這個主題內(nèi)容的考查超標(biāo)8.4%，化學(xué)與社會發(fā)展主題內(nèi)容的考查降低6.85%，是導(dǎo)致試題與課標(biāo)一致性不夠的主要因素。

（2）試題認(rèn)知水平上的差異性分析

以試題表4與課標(biāo)表2的認(rèn)知水平比率差值為縱坐標(biāo)，各認(rèn)知水平為橫坐標(biāo)作圖，得到試題和課標(biāo)在各認(rèn)知水平的比率差值柱狀圖，如圖4所示。

從圖4可以看出，與課標(biāo)比較，試題對各認(rèn)知水平的考查有偏差。試卷與課標(biāo)在各認(rèn)知水平的比率絕對差值在0.0305-0.077區(qū)間。其中，對知道和理解水平的考查超過課標(biāo)要求，對認(rèn)識水平的考查低于課標(biāo)要求，且在三個認(rèn)知水平中，認(rèn)識水平的考查降低了7.7%，是三個認(rèn)知水平中差異絕對值最大的一個，也是導(dǎo)致試題與課標(biāo)一致性不夠的主要因素。

四、結(jié)論與討論

1.結(jié)論

（1）試題和課標(biāo)不具有統(tǒng)計學(xué)意義上的顯著一致性。

利用“SEC”分析模式對試題與課標(biāo)的一致性進(jìn)行分析和統(tǒng)計，結(jié)果顯示試題P值為0.7659，小于參考值0.8530，表明試題與課標(biāo)之間不具有統(tǒng)計學(xué)意義上的顯著一致性。

（2）試題與課標(biāo)在主題內(nèi)容上的分布吻合程度較低。

試題與課標(biāo)在主題內(nèi)容一致性水平上有一定差異。主要特征為：試題加大了對物質(zhì)的化學(xué)變化和身邊的化學(xué)物質(zhì)兩個主題的考查力度，降低了對化學(xué)與社會發(fā)展和科學(xué)探究兩個主題的考查力度。

（3）試題與課標(biāo)在認(rèn)知水平上的分布吻合程度較低。

試題與課標(biāo)在認(rèn)知水平上的分布上有一定差異。主要特征為：試題加大了對知道和理解兩個水平的考查力度，降低了對認(rèn)識水平的考查力度。

2.討論

影響試題與課標(biāo)一致性的因素是多方面的，筆者結(jié)合自己的研究經(jīng)歷、相關(guān)文獻(xiàn)，將影響一致性的因素歸納如下：

（1）課程標(biāo)準(zhǔn)的主題內(nèi)容表述因素

部分試題在課標(biāo)中不能找到很好的主題內(nèi)容歸屬。例如：試題第II卷（非選擇題）中的第22題的第①小題，題目如下：

本題在課本上的出處屬于第六單元《碳和碳的氧化物》中課題1“金剛石、石墨和C60”，第107頁明確書寫“石墨可用于制鉛筆芯”。當(dāng)筆者把本題考查的知識點歸入課標(biāo)的主題內(nèi)容時，在課標(biāo)中，“金剛石、石墨和C60”的學(xué)習(xí)情境素材在“三、物質(zhì)構(gòu)成的奧秘”中“（一）化學(xué)物質(zhì)的多樣性”，標(biāo)準(zhǔn)表述如圖6所示：

在標(biāo)準(zhǔn)中，從1-4條的敘述可以看出，要把試題第22題中的第①小題歸人“物質(zhì)構(gòu)成的奧秘”主題內(nèi)容中是不妥的。筆者翻閱了課標(biāo)所有的主題內(nèi)容，把試題歸入其他主題內(nèi)容也頗為不妥，因此，有待于對課標(biāo)的表述進(jìn)行細(xì)化。

（2）構(gòu)建二維矩陣分析表的原則性

不同的研究人員對科學(xué)探究主題內(nèi)容的劃分不盡相同?？茖W(xué)探究主題中的“（一）增進(jìn)對科學(xué)探究的理解”主要是體驗性目標(biāo)，由于體驗性目標(biāo)更適合用表現(xiàn)性評價等方式進(jìn)行檢測，紙筆測驗難以對其進(jìn)行檢測，所以對體驗性目標(biāo)不予考慮。文獻(xiàn)[9]認(rèn)為：科學(xué)探究主題中的“（一）增進(jìn)對科學(xué)探究的理解、（二）發(fā)展科學(xué)探究能力”所包含的目標(biāo)內(nèi)容在課標(biāo)中沒有明確的行為動詞分類指標(biāo)，所以對于科學(xué)探究這個一級主題只把“學(xué)習(xí)基本的實驗技能”和“完成基礎(chǔ)的學(xué)生實驗”這兩個二級主題納入二維分析表的主題內(nèi)容這個維度里。文獻(xiàn)[10]指出，身邊的化學(xué)物質(zhì)、物質(zhì)構(gòu)成的奧秘、物質(zhì)的化學(xué)變化和化學(xué)與社會發(fā)展四個主題或多或少包含著與實驗相關(guān)的具體目標(biāo)，科學(xué)探究主題則集中了大部分有關(guān)實驗的具體目標(biāo)，所以將“與實驗基礎(chǔ)相關(guān)的具體目標(biāo)”納入科學(xué)探究主題，并重新命名為科學(xué)探究與實驗基礎(chǔ)。科學(xué)探究與實驗基礎(chǔ)中“增進(jìn)對科學(xué)探究的理解”主要是體驗性目標(biāo)，“完成基礎(chǔ)的學(xué)生實驗”目標(biāo)缺乏行為動詞修飾，且過于籠統(tǒng)，故文獻(xiàn)[10]對科學(xué)探究與實驗基礎(chǔ)主題中的“增進(jìn)對科學(xué)探究的理解”和“完成基礎(chǔ)的學(xué)生實驗”兩個二級主題不予考慮。

筆者依據(jù)對課標(biāo)和教材內(nèi)容的理解，結(jié)合參考文獻(xiàn)[9]、[10]的觀點，將與“（四）完成基礎(chǔ)的學(xué)生實驗”相關(guān)的具體目標(biāo)納入其余四個主題，科學(xué)探究主題僅僅包含“（三）學(xué)習(xí)基本的實驗技能”，將科學(xué)探究主題的內(nèi)容分列如表6：

從表6可以看出，在構(gòu)建二維矩陣分析表時，不同的研究者對科學(xué)探究主題的處理是不相同的，這將會影響試題在歸屬時各主題內(nèi)容的分值，也就會影響試題與課標(biāo)的一致性。

運用sEc分析模式，通過構(gòu)建二維矩陣分析表，使用Porter一致性系數(shù)作為衡量依據(jù)，以量化的方法從統(tǒng)計學(xué)的角度順利完成了試題與課標(biāo)的一致性研究。當(dāng)然，本研究也有不夠完善之處，從上述討論中可以看出，細(xì)化課程標(biāo)準(zhǔn)、構(gòu)建針對我國初中義務(wù)教育化學(xué)學(xué)科的本土化一致性分析工具，都具有重要的意義。