中考物理試卷與物理內(nèi)容標(biāo)準(zhǔn)之間的一致性

楊柳青 孫永超 王德才 胡象嶺

一、引言

國(guó)家課程標(biāo)準(zhǔn)是教材編寫(xiě)、教學(xué)、評(píng)估和考試命題的依據(jù)，考試是檢測(cè)教學(xué)是否達(dá)到課程標(biāo)準(zhǔn)要求的主要手段，考試與課程標(biāo)準(zhǔn)的一致性是基于標(biāo)準(zhǔn)的課程改革取得成功的關(guān)鍵。只有二者真正做到一致，才能更好地發(fā)揮考試的導(dǎo)向功能，引導(dǎo)教師基于課程標(biāo)準(zhǔn)開(kāi)展教學(xué)活動(dòng)，把課程標(biāo)準(zhǔn)中規(guī)定的課程理念、目標(biāo)、內(nèi)容標(biāo)準(zhǔn)貫徹在課堂教學(xué)中，實(shí)現(xiàn)課程改革的目標(biāo)。

我國(guó)教育工作者尤其是一線教師，一直非常關(guān)心各種教育考試的質(zhì)量，常從不同角度對(duì)試題進(jìn)行各種分析，如分析試卷的內(nèi)容效度、計(jì)算試題的難度和區(qū)分度等。目前，對(duì)考試與標(biāo)準(zhǔn)（包括課程標(biāo)準(zhǔn)、考試大綱等）一致性的考察，國(guó)內(nèi)研究者最常采用的方法是定性判斷與分析。近年來(lái)，美國(guó)關(guān)于考試與標(biāo)準(zhǔn)一致性的一些分析模式逐漸被介紹到國(guó)內(nèi)來(lái)，如安德魯·波特（Andrew Porter）和約翰·史密森（John Smithson）共同開(kāi)發(fā)和研制的SEC一致性分析模式。陳嫻、張寧波等人采用SEC模式，分析了中考物理試卷與初中物理課程標(biāo)準(zhǔn)之間的一致性，[1][2]采用該分析模式的首要任務(wù)是對(duì)內(nèi)容主題與認(rèn)知水平進(jìn)行分類(lèi)，建構(gòu)合理的分析框架。不過(guò)，陳嫻、張寧波等人的分析是按照布盧姆目標(biāo)分類(lèi)方法，把認(rèn)識(shí)水平劃分為記憶、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造，而我國(guó)現(xiàn)行初中物理課程標(biāo)準(zhǔn)對(duì)認(rèn)知水平劃分為了解、認(rèn)識(shí)、理解。我們認(rèn)為，對(duì)考試與課程標(biāo)準(zhǔn)一致性進(jìn)行分析，應(yīng)以課程標(biāo)準(zhǔn)對(duì)認(rèn)知水平的劃分為依據(jù)。

本文運(yùn)用SEC一致性分析模式，對(duì)山東省濟(jì)寧市2013年高中階段學(xué)校招生考試物理試卷（以下簡(jiǎn)稱(chēng)“物理試卷”）與《全日制義務(wù)教育物理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)稿）》中內(nèi)容標(biāo)準(zhǔn)（以下簡(jiǎn)稱(chēng)“物理內(nèi)容標(biāo)準(zhǔn)”）的一致性進(jìn)行分析，期望能對(duì)基于標(biāo)準(zhǔn)的中考物理命題提供參考。

二、研究方法與過(guò)程

（一）一致性分析方法

所謂一致性，就是物理試卷與物理內(nèi)容標(biāo)準(zhǔn)之間的吻合或符合程度。本文采用的SEC一致性分析模式，是美國(guó)安德魯·波特和約翰·史密森在借鑒和吸納美國(guó)學(xué)者諾曼·韋伯（Norman L.Webb）在評(píng)價(jià)與課程標(biāo)準(zhǔn)一致性領(lǐng)域的研究成果的基礎(chǔ)上研發(fā)的。該模式從內(nèi)容主題和認(rèn)知水平兩個(gè)維度，將內(nèi)容標(biāo)準(zhǔn)和試卷編碼到具有相同結(jié)構(gòu)的“內(nèi)容主題×認(rèn)知水平”的二維矩陣中。為便于比較，兩個(gè)二維矩陣中的所有單元格值都轉(zhuǎn)化成總和為1的比率，形成兩個(gè)比率二維矩陣。研究者可根據(jù)兩個(gè)比率矩陣的匹配程度來(lái)衡量試卷和內(nèi)容標(biāo)準(zhǔn)的一致性。

Porter系數(shù)是衡量一致性的量化指標(biāo)。研究者將比率矩陣的單元格值代入公式，即可計(jì)算Porter一致性系數(shù)（P）。該系數(shù)定義如下：

其中，n為單元格值的總數(shù)，i代表矩陣中的一個(gè)特定值，其取值范圍從1到n。Xi和Yi分別是兩個(gè)比率矩陣對(duì)應(yīng)的第i個(gè)單元格值，它們都是從0到1的比率值。X1到Xn的總和為1，Y1到Y(jié)n的總和也為1。Porter一致性系數(shù)的數(shù)值介于0和1之間，其中0表示試卷和內(nèi)容標(biāo)準(zhǔn)之間的差異最大，1表示二者之間沒(méi)有差異，完全一致。

（二）研究樣本

物理內(nèi)容標(biāo)準(zhǔn)分為“科學(xué)探究”和“科學(xué)內(nèi)容”兩部分?？紤]到在物理內(nèi)容標(biāo)準(zhǔn)中，科學(xué)探究不僅是學(xué)生的學(xué)習(xí)目標(biāo)，而且是重要的教學(xué)方式之一，且科學(xué)探究的對(duì)象也是物理內(nèi)容，因此本研究在內(nèi)容主題和認(rèn)知水平劃分時(shí)只量化內(nèi)容標(biāo)準(zhǔn)中的科學(xué)內(nèi)容部分，把各個(gè)知識(shí)點(diǎn)劃分到“物質(zhì)的形態(tài)和變化”“物質(zhì)的屬性”“物質(zhì)的結(jié)構(gòu)與物體的尺度”“新材料及其應(yīng)用”“多種多樣的運(yùn)動(dòng)形式”“機(jī)械運(yùn)動(dòng)和力”“聲和光”“電和磁”“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”“機(jī)械能”“內(nèi)能”“電磁能”“能量守恒”“能源與可持續(xù)發(fā)展”共14個(gè)二級(jí)主題中。

本研究選取的物理試卷是濟(jì)寧市2013年高中階段學(xué)校招生考試物理試卷，該試卷兼具選拔與終結(jié)性評(píng)價(jià)的功能，其施測(cè)目的之一就是要了解學(xué)生是否達(dá)到物理內(nèi)容標(biāo)準(zhǔn)的要求，因此能夠作為研究對(duì)象檢測(cè)其與物理內(nèi)容標(biāo)準(zhǔn)的一致性。

（三）研究過(guò)程

1.內(nèi)容主題與認(rèn)知水平分類(lèi)

對(duì)物理內(nèi)容標(biāo)準(zhǔn)進(jìn)行內(nèi)容主題和認(rèn)知水平的劃分，是為了形成兩個(gè)結(jié)構(gòu)相同的“內(nèi)容主題×認(rèn)知水平”二維矩陣。

物理內(nèi)容標(biāo)準(zhǔn)共有14個(gè)二級(jí)主題，每個(gè)二級(jí)主題中又包含若干條內(nèi)容標(biāo)準(zhǔn)條目。每條內(nèi)容標(biāo)準(zhǔn)都包括需要學(xué)生掌握的知識(shí)點(diǎn)和學(xué)習(xí)該知識(shí)點(diǎn)需要達(dá)到的認(rèn)知水平。依據(jù)2011版《義務(wù)教育物理課程標(biāo)準(zhǔn)》將各物理內(nèi)容標(biāo)準(zhǔn)的認(rèn)知水平劃分為“了解”“認(rèn)識(shí)”和“理解”三個(gè)層次，每個(gè)層次所使用的行為動(dòng)詞如下：（1）了解：了解、知道、描述、說(shuō)出、列舉、舉出；（2）認(rèn)識(shí)：認(rèn)識(shí)；（3）理解：能區(qū)分、說(shuō)明、解釋、理解、計(jì)算。

2.物理內(nèi)容標(biāo)準(zhǔn)編碼

本研究以物理內(nèi)容標(biāo)準(zhǔn)中具體內(nèi)容標(biāo)準(zhǔn)條目中的知識(shí)點(diǎn)數(shù)目為計(jì)量單位，對(duì)其中一個(gè)“內(nèi)容主題×認(rèn)知水平”二維矩陣中的每個(gè)單元格進(jìn)行賦值，再依據(jù)內(nèi)容主題的順序，系統(tǒng)地判斷并記錄，填充編碼框架。

3.物理試卷編碼

本研究中，物理試卷包括選擇題、填空題、作圖與實(shí)驗(yàn)探究題、綜合題四類(lèi)。我們首先確定每一道選擇題、每一道填空題的一個(gè)空，每一道作圖與實(shí)驗(yàn)探究題、綜合題的每一問(wèn)主要考察哪一個(gè)或哪幾個(gè)知識(shí)點(diǎn)，再通過(guò)細(xì)化解題過(guò)程，找出得分點(diǎn)，確定學(xué)生解決該題目時(shí)需要達(dá)到的認(rèn)知水平。之后，我們把每一道試題考查的知識(shí)點(diǎn)及對(duì)應(yīng)分值，歸入另一個(gè)“內(nèi)容主題×認(rèn)知水平”二維矩陣中相應(yīng)的物理內(nèi)容主題和認(rèn)知水平。

經(jīng)過(guò)對(duì)物理內(nèi)容標(biāo)準(zhǔn)和物理試卷的編碼，本研究最終形成了兩個(gè)“14×3”的二維矩陣，其中“14”表示14個(gè)2級(jí)主題，“3”表示物理內(nèi)容標(biāo)準(zhǔn)中的3個(gè)認(rèn)知水平。

三、研究結(jié)果和數(shù)據(jù)分析

（一）編碼結(jié)果

三位編碼者各自對(duì)物理內(nèi)容標(biāo)準(zhǔn)和物理試卷進(jìn)行了內(nèi)容主題和認(rèn)知水平的分析，然后通過(guò)討論協(xié)商以及向本專(zhuān)業(yè)教師請(qǐng)教，形成了最后的結(jié)果，如表1～表4所示。

1.物理內(nèi)容標(biāo)準(zhǔn)的編碼結(jié)果

物理內(nèi)容標(biāo)準(zhǔn)共有109條內(nèi)容標(biāo)準(zhǔn)條目，每條內(nèi)容標(biāo)準(zhǔn)條目對(duì)應(yīng)不同的知識(shí)點(diǎn)和認(rèn)知水平。我們將109條內(nèi)容標(biāo)準(zhǔn)條目歸入“14×3”二維矩陣中，得到如表1所示的結(jié)果，再將每個(gè)單元格中的數(shù)據(jù)除以總個(gè)數(shù)（109）得到一個(gè)相應(yīng)的比率矩陣，得到如表2所示的結(jié)果。

表1 物理內(nèi)容標(biāo)準(zhǔn)中知識(shí)點(diǎn)的數(shù)目

表2 物理內(nèi)容標(biāo)準(zhǔn)中知識(shí)點(diǎn)的數(shù)目比率

由表2我們可以看出：物理內(nèi)容標(biāo)準(zhǔn)中“機(jī)械運(yùn)動(dòng)和力”（15.7%）、“聲和光”（11.9%） 的知識(shí)點(diǎn)數(shù)量較多，“能量守恒”（3.7%）、“能源與可持續(xù)發(fā)展”（3.7%）的知識(shí)點(diǎn)數(shù)量較少，其他十個(gè)二級(jí)主題的知識(shí)點(diǎn)數(shù)量居中。在認(rèn)知水平上，“了解”（62.4%）水平的知識(shí)點(diǎn)數(shù)量較多，而“認(rèn)識(shí)”（14.7%）和“理解”（22.9%）水平的知識(shí)點(diǎn)數(shù)量則相對(duì)較少。

2.物理試卷的編碼結(jié)果

本研究對(duì)物理試卷進(jìn)行了內(nèi)容主題和認(rèn)知水平的分析，并把對(duì)應(yīng)的分值填入“14×3”的二維矩陣中，得到如表3所示的結(jié)果，再把每個(gè)單元格中的分?jǐn)?shù)值除以總分值（60）得到另一個(gè)比率矩陣，得到如表4所示的結(jié)果。

表3 物理試卷中各內(nèi)容主題的分值

表4 物理試卷中各內(nèi)容主題分值比率

由表4我們可以看出：物理試卷中“電磁能”（25%）的分值占總分值的比例最大，而“多種多樣的運(yùn)動(dòng)形式”“能量守恒”“能源與可持續(xù)發(fā)展”的分值都為0。另外，物理試卷中“了解”（40%）和“理解”（42.5%）兩類(lèi)認(rèn)知水平的分值所占比例均較大，而處于中間水平的“認(rèn)識(shí)”（17.5%）的分值所占比例則明顯小于前面兩者所占比例。

（二）一致性分析

1.一致性的總體比較

本研究將表2和表4中對(duì)應(yīng)的數(shù)據(jù)代入Porter一致性系數(shù)的計(jì)算公式進(jìn)行計(jì)算，得到：P=0.573。相關(guān)研究表明：對(duì)于“14×3”的二維矩陣，為了使顯著性水平在0.05上具有統(tǒng)計(jì)學(xué)意義，Porter一致性系數(shù)應(yīng)該達(dá)到0.82。[3]本研究中的Porter一致性系數(shù)低于“14×3”矩陣的Porter一致性指標(biāo)的參考值，說(shuō)明物理試卷和物理內(nèi)容標(biāo)準(zhǔn)之間的一致性程度不夠。

我們用地形圖來(lái)表示物理內(nèi)容標(biāo)準(zhǔn)（圖1）和物理試卷（圖2）在不同內(nèi)容主題和認(rèn)知水平上的權(quán)重，圖中的1～14分別表示從“物質(zhì)的形態(tài)和變化”到“能源與可持續(xù)發(fā)展”的14個(gè)內(nèi)容主題，斜線區(qū)域表示權(quán)重小于0.02，橫線區(qū)域表示權(quán)重在0.02和0.04之間，黑色區(qū)域表示權(quán)重在0.04和0.06之間，豎線區(qū)域表示權(quán)重在0.06和0.08之間，白色區(qū)域表示權(quán)重在0.08和0.10之間，圓點(diǎn)區(qū)域表示權(quán)重在0.10和0.12之間。

圖2 物理試卷地形圖

將圖1和表2聯(lián)系起來(lái)，可以說(shuō)明地形圖是如何表示物理內(nèi)容標(biāo)準(zhǔn)中的內(nèi)容主題和認(rèn)知水平的相對(duì)權(quán)重。表2中，我們可以看到比率值落在0.02和0.04之間的是“多種多樣的運(yùn)動(dòng)形式”里的“理解”（0.037）、“機(jī)械運(yùn)動(dòng)和力”里的“認(rèn)識(shí)”（0.028）、“機(jī)械運(yùn)動(dòng)和力”里的“理解”（0.028）、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”里的“了解”（0.037）、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”里的“認(rèn)識(shí)”（0.028）、“機(jī)械能”里的“了解”（0.028）、“電磁能”里的“了解”（0.028）、“能量守恒”里的“了解”（0.028）以及“能源與可持續(xù)發(fā)展”里的“了解”（0.037），因此，圖1中的橫線區(qū)域就位于“多種多樣的運(yùn)動(dòng)形式”與“理解”、“機(jī)械運(yùn)動(dòng)和力”與“認(rèn)識(shí)”“理解”、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”與“了解”“認(rèn)識(shí)”、“機(jī)械能”與“了解”、“電磁能”與“了解”、“能量守恒”與“了解”、“能源與可持續(xù)發(fā)展”與“了解”的交界處。同理，“聲和光”中“了解”水平的權(quán)重為0.092，落在0.08和0.10之間，在地形圖上用白色表示出來(lái)。根據(jù)表4的數(shù)據(jù)，用相同的涂色方法，我們就可以得到圖2的物理試卷地形圖。

觀察圖1和圖2，我們可以發(fā)現(xiàn)，兩個(gè)地形圖的總體分布存在較大差異，表明兩者之間的一致性程度不夠。

2.內(nèi)容主題方面的比較

如圖3所示，相對(duì)于物理內(nèi)容標(biāo)準(zhǔn)的要求來(lái)說(shuō)，物理試卷加大了對(duì)“機(jī)械運(yùn)動(dòng)和力”“電和磁”以及“電磁能”的考查力度，同時(shí)對(duì)“物質(zhì)的形態(tài)和變化”“物質(zhì)的屬性”“物質(zhì)的結(jié)構(gòu)與物體的尺度”以及“新材料及其應(yīng)用”的考查則有一定幅度的降低，而“多種多樣的運(yùn)動(dòng)形式”“能量守恒”“能源與可持續(xù)發(fā)展”這三個(gè)二級(jí)主題則根本沒(méi)有被考查到，對(duì)“聲和光”“機(jī)械能”和“內(nèi)能”三個(gè)二級(jí)主題的考查與物理內(nèi)容標(biāo)準(zhǔn)的要求基本吻合。

圖3 內(nèi)容主題比較

3.認(rèn)知水平方面的比較

如圖4所示，與物理內(nèi)容標(biāo)準(zhǔn)相比，物理試卷加大了對(duì)“理解”這類(lèi)認(rèn)知水平的考查力度，而降低了對(duì)“了解”這類(lèi)認(rèn)知水平的考查力度；對(duì)“認(rèn)識(shí)”這類(lèi)認(rèn)知水平的考查則與物理內(nèi)容標(biāo)準(zhǔn)的要求基本吻合。

圖4 認(rèn)知水平比較

四、結(jié)論與思考

本研究結(jié)果表明，濟(jì)寧市2013年高中階段學(xué)校招生考試物理試卷與《全日制義務(wù)教育物理課程標(biāo)準(zhǔn)（實(shí)驗(yàn)稿）》中的內(nèi)容標(biāo)準(zhǔn)的一致性程度不夠。具體來(lái)說(shuō)，二者的Porter一致性系數(shù)低于對(duì)應(yīng)的參考值，物理試卷地形圖和物理內(nèi)容標(biāo)準(zhǔn)地形圖的分布存在較大差異；二者在內(nèi)容主題的側(cè)重和認(rèn)知水平的側(cè)重上也有一定程度的偏差。在內(nèi)容主題上，物理試卷相對(duì)于物理內(nèi)容標(biāo)準(zhǔn)來(lái)說(shuō)，加大了對(duì)“機(jī)械運(yùn)動(dòng)和力”“電和磁”“電磁能”這三個(gè)二級(jí)主題的考查力度，這樣有可能導(dǎo)致部分教師在教學(xué)中把更多的精力放在與這些二級(jí)主題相關(guān)的內(nèi)容上，而相對(duì)忽視或淡化“多種多樣的運(yùn)動(dòng)形式”“能量守恒”“能源與可持續(xù)發(fā)展”這三個(gè)二級(jí)主題的相關(guān)內(nèi)容。在認(rèn)知水平上，物理試卷對(duì)“理解”這一較高認(rèn)知水平的考查要高于物理內(nèi)容標(biāo)準(zhǔn)中該認(rèn)知水平所占比例，而在“了解”這一較低認(rèn)知水平上的考查則相對(duì)較少，這樣有可能導(dǎo)致部分教師在教學(xué)中提高對(duì)學(xué)生認(rèn)知水平的要求。

本研究是運(yùn)用SEC一致性分析模式，對(duì)物理試卷與課程標(biāo)準(zhǔn)的一致性進(jìn)行考察的一次嘗試，研究的結(jié)果可供有關(guān)方面參考。如何基于課程標(biāo)準(zhǔn)進(jìn)行命題，以保證學(xué)生成就評(píng)價(jià)與課程標(biāo)準(zhǔn)的一致性，從而更好地發(fā)揮考試對(duì)教學(xué)的反撥作用，這是關(guān)乎到能否基于課程標(biāo)準(zhǔn)進(jìn)行有效教學(xué)的大問(wèn)題。

當(dāng)然，本文采用SEC一致性分析模式對(duì)物理試卷質(zhì)量的分析有一定的局限性。如，對(duì)課程標(biāo)準(zhǔn)中的內(nèi)容標(biāo)準(zhǔn)進(jìn)行編碼時(shí)（編碼結(jié)果見(jiàn)表1與表2），平權(quán)地看待內(nèi)容標(biāo)準(zhǔn)的每一個(gè)條目（知識(shí)點(diǎn)），這樣做未必合理；在分析試卷的時(shí)候，對(duì)題目所考查的認(rèn)知水平的確定，受編碼者經(jīng)驗(yàn)與水平的影響從而具有一定的主觀性；這種方法是根據(jù)兩個(gè)比率矩陣的匹配程度來(lái)衡量試卷和內(nèi)容標(biāo)準(zhǔn)的一致性程度，并沒(méi)有對(duì)試卷考查的每個(gè)具體知識(shí)點(diǎn)跟課程標(biāo)準(zhǔn)要求的認(rèn)知水平是否一致作出評(píng)判。這也啟示我們，借鑒舶來(lái)方法的同時(shí)應(yīng)注重總結(jié)我國(guó)關(guān)于試卷質(zhì)量分析的有益經(jīng)驗(yàn)，完善一致性分析方法，發(fā)展本土化的一致性分析工具與程序。

［1］陳嫻，鄭璨璨，陳寧.物理內(nèi)容標(biāo)準(zhǔn)與考試之間的一致性研究［J］.課程·教材·教法，2010，30（7）：67～71.

［2］張寧波.物理中考試題與內(nèi)容標(biāo)準(zhǔn)的一致性研究［J］.物理教師，2012，33（8）：1～6.

［3］Fulmer，G.W..Estimating critical values for strength of alignment among curriculum,assessments,and instruction［J］.Journal of Educational and Behavioral Statistics，2011，36（6）:381～402.