2014年濟(jì)南市中考物理試卷與課程標(biāo)準(zhǔn)的一致性——基于SEC模式的分析*

2014年濟(jì)南市中考物理試卷與課程標(biāo)準(zhǔn)的一致性——基于SEC模式的分析*

王亭亭1張明1胡象嶺1馬雪1

(1. 曲阜師范大學(xué)物理學(xué)系，山東曲阜273165；

2. 山東省濟(jì)南第十八中學(xué)，山東濟(jì)南250101)

摘要：筆者采用SEC一致性分析方法，對濟(jì)南市2014年初中學(xué)業(yè)水平考試物理試卷與《義務(wù)教育物理課程標(biāo)準(zhǔn)(2011年版)》中課程內(nèi)容之間的一致性進(jìn)行分析.結(jié)果表明，該試卷與物理課程內(nèi)容之間的一致性指數(shù)是0.66.物理試卷地形圖和物理課程內(nèi)容地形圖的分布存在一定差異.物理試卷對物理課程內(nèi)容的考查覆蓋了14個二級主題，考查的范圍比較全面，對大部分二級主題的考查力度與課程標(biāo)準(zhǔn)的要求基本吻合，在少部分二級主題上考查的比重與課程標(biāo)準(zhǔn)存在一定差異，物理試卷加大了對“機(jī)械運(yùn)動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考察力度，淡化了對“聲和光”和“機(jī)械能”等二級主題的考查.同時，物理試卷提高了對認(rèn)知水平的要求.總的看來，物理試卷與物理課程標(biāo)準(zhǔn)的一致性不夠高.

關(guān)鍵詞：SEC一致性分析模式；初中學(xué)業(yè)水平考試；物理試卷；物理課程標(biāo)準(zhǔn)；一致性

1引言

基于課程標(biāo)準(zhǔn)的學(xué)生學(xué)業(yè)成就評價的核心在于評價與課程標(biāo)準(zhǔn)的一致性.所謂評價與標(biāo)準(zhǔn)的一致性，就是指兩者之間的吻合程度.評價必須與標(biāo)準(zhǔn)保持一致，以保證評價反映課程標(biāo)準(zhǔn)的要求，評價結(jié)果體現(xiàn)學(xué)生達(dá)成課程標(biāo)準(zhǔn)規(guī)定的期望的狀況.如何判斷某一評價(如初中學(xué)業(yè)水平考試)與特定課程標(biāo)準(zhǔn)的一致性？這需要借助于關(guān)于一致性的分析框架來解決.

20世紀(jì)90年代以來，美國全面啟動基于標(biāo)準(zhǔn)的教育改革.在這一背景下，探究學(xué)業(yè)評價與課程標(biāo)準(zhǔn)之間的一致性關(guān)系，成為美國教育領(lǐng)域重要的研究課題，研究者們提出了眾多評價與課程標(biāo)準(zhǔn)一致性的分析框架，安德魯·波特(Andrew Porter)和約翰·史密森(John Smithson)等人研制的SEC(Surveys of Enacted Curriculum)一致性分析模式便是其中一種[1,2]，它已成為美國分析學(xué)業(yè)評價與課程標(biāo)準(zhǔn)一致性的重要程序和方法.

近年來，SEC模式被介紹到國內(nèi)來，并在分析中小學(xué)學(xué)業(yè)成就評價與課程標(biāo)準(zhǔn)的一致性方面得到運(yùn)用，如陳嫻、張寧波等人采用SEC模式分析了中考物理試卷跟初中物理課程標(biāo)準(zhǔn)之間的一致性[3,4].采用該分析模式的首要任務(wù)是對內(nèi)容主題與認(rèn)知水平進(jìn)行分類，建構(gòu)合理的分析框架.陳嫻、張寧波等人將內(nèi)容主題劃分為5個：能量、運(yùn)動和力、電、波、物質(zhì)的特性，將認(rèn)知水平按照布盧姆目標(biāo)分類方法劃分為記憶、理解、應(yīng)用、分析、評價、創(chuàng)造.我們認(rèn)為，對考試與課程標(biāo)準(zhǔn)一致性進(jìn)行分析，應(yīng)以課程標(biāo)準(zhǔn)對內(nèi)容主題、認(rèn)知水平的劃分為依據(jù).我們采用課程標(biāo)準(zhǔn)中界定的二級主題和認(rèn)知水平將初中物理內(nèi)容劃分為14個主題，將認(rèn)知水平劃分為3個水平，形成了“14×3”的分析框架，并運(yùn)用到2011—2013年濟(jì)寧市中考物理試卷與課程標(biāo)準(zhǔn)一致性的分析中[5].

本文采用SEC模式，對2014年濟(jì)南市初中學(xué)業(yè)水平考試物理試卷(以下簡稱“物理試卷”)與《義務(wù)教育物理課程標(biāo)準(zhǔn)(2011年版)》(以下簡稱“物理課程標(biāo)準(zhǔn)”)中課程內(nèi)容(以下簡稱“物理課程內(nèi)容”)的一致性進(jìn)行分析，依然采用“14×3”的分析框架.

2研究方法

2.1　一致性分析方法

一致性分析模式有多種，本文采用的是安德魯·波特(Andrew Porter)和約翰·史密森(John Smithson)等人研制SEC一致性分析模式[1,2,6].該模式從內(nèi)容主題和認(rèn)知水平兩個維度，將課程內(nèi)容、試卷分別編碼到具有相同結(jié)構(gòu)的“內(nèi)容主題×認(rèn)知水平”的二維表格中.為了使兩個表格可以比較，將表格中所有單元格內(nèi)的值都轉(zhuǎn)化成總和為1的比率值，形成兩個比率表格.根據(jù)兩個比率表格的匹配程度來衡量試卷和內(nèi)容標(biāo)準(zhǔn)的一致性.

2.2　研究樣本

本研究選取的樣本是2014年濟(jì)南市初三年級學(xué)業(yè)水平考試的物理部分，物理試題中包括單項選擇題、多項選擇題、非選擇題(填空題、作圖題、計算題)等，滿分為90分.本試卷包含考查實驗內(nèi)容的題目，這些題目既有對認(rèn)知目標(biāo)的考查，也有對非認(rèn)知目標(biāo)的考查，我們將實驗題中考查認(rèn)知性目標(biāo)的部分列入統(tǒng)計范圍，考查非認(rèn)知目標(biāo)的部分未列入.本試卷在統(tǒng)計范圍內(nèi)的題目的總分為84分.

2.3　研究過程

2.3.1內(nèi)容主題與認(rèn)知水平分類

在物理課程標(biāo)準(zhǔn)中，課程內(nèi)容由“科學(xué)探究”和“科學(xué)內(nèi)容”兩部分組成.本研究對內(nèi)容主題劃分時只考慮課程內(nèi)容中的“科學(xué)內(nèi)容”部分，把各個知識點劃分到“科學(xué)內(nèi)容”的14個二級主題中，這14個主題的序號與名稱見表1.

物理課程內(nèi)容的每個二級主題下都包含若干條“內(nèi)容要求”條目，每個“內(nèi)容要求”條目都規(guī)定了學(xué)生需要掌握的知識點和學(xué)習(xí)該知識點需要達(dá)到的認(rèn)知水平.物理課程標(biāo)準(zhǔn)將認(rèn)知性目標(biāo)分為“了解”、“認(rèn)識”和“理解”三個認(rèn)知水平，每個水平下所使用的行為動詞分別為：(1) 了解：了解、知道、描述、說出、列舉、舉例說明、說明；(2) 認(rèn)識：認(rèn)識；(3) 理解：解釋、理解、計算.

2.3.2列出物理課程標(biāo)準(zhǔn)的“內(nèi)容主題×認(rèn)知水平”二維表格

由4名全日制教育碩士專業(yè)學(xué)位研究生獨立對物理課程內(nèi)容中的內(nèi)容條目進(jìn)行分析，分別確定知識點數(shù)目，然后經(jīng)4人在一起討論達(dá)成共識.

分析物理課程內(nèi)容時，首先根據(jù)每條“內(nèi)容要求”條目中含有的行為動詞將其拆分，然后再確定每個行為動詞所表述的內(nèi)容中要求學(xué)生掌握的知識點的數(shù)目和要達(dá)到的認(rèn)知水平.若對同一個知識點，內(nèi)容條目中給出高低兩個不同層次的要求，要分別計入統(tǒng)計范圍內(nèi).經(jīng)分析得到，物理課程內(nèi)容共有124個知識點，每一個知識點對應(yīng)不同的認(rèn)知水平.課程標(biāo)準(zhǔn)中各內(nèi)容主題下3個認(rèn)知水平包含的知識點數(shù)目及比率如表1所示，其中比率值由知識點數(shù)目除以知識點總數(shù)(124)得到.

表1　課程標(biāo)準(zhǔn)中的知識點數(shù)目及比率

2.3.3列出物理試卷的“內(nèi)容主題×認(rèn)知水平”二維表格

由2名全日制教育碩士專業(yè)學(xué)位研究生和1名中學(xué)高級教師獨立分析物理試卷中每一題目所考查的知識點，確定其對應(yīng)的內(nèi)容主題、所占的分值以及學(xué)生完成該題目時需要達(dá)到的認(rèn)知水平，然后一起協(xié)商討論，形成最后的結(jié)果.

分析物理試卷時，首先確定題目考查的知識點和認(rèn)知水平，對于選擇題，如果不能根據(jù)題干明確確定該題目所考查的知識點，就要對每一個選項逐一進(jìn)行分析，確定其所考查的知識點和學(xué)生完成該題目需要達(dá)到的認(rèn)知水平；對于填空題和綜合計算題，按照評分標(biāo)準(zhǔn)確定每一個空、每一個計算步驟所考查的知識點以及學(xué)生完成該題目需要達(dá)到的認(rèn)知水平.然后再確定每個知識點所屬的內(nèi)容主題與所占的分值.把題目考查的知識點對應(yīng)的分值填入14×3二維表格中，得到物理試卷中各內(nèi)容主題的分值及其比率如表2所示，其中比率值由分值除以總分(84)得到.

表2　物理試卷中各內(nèi)容主題的分值及其比率

續(xù)表

3研究結(jié)果

3.1　一致性指數(shù)

將表1和表2中的數(shù)據(jù)錄入Excel表格中，運(yùn)用該軟件的函數(shù)功能將Porter一致性指數(shù)的計算公式編輯出來，就可以直接用此公式對某區(qū)域內(nèi)的數(shù)值進(jìn)行計算.采用這一計算方式，最后得到P=0.66.

這個一致性指數(shù)是否能說明物理試卷與物理課程標(biāo)準(zhǔn)間存在比較好的一致性呢？要想回答此問題，就需要先解決這樣一個問題：當(dāng)波特系數(shù)達(dá)到什么范圍，才能說兩個矩陣具有統(tǒng)計意義上顯著的一致性？為解決這個問題，本文采用美國學(xué)者Gavin的思路[7]，利用matlab軟件里的unidrnd函數(shù)[8]，將124個知識點隨機(jī)賦值到一個14×3矩陣中，將84分隨機(jī)賦值到另一個矩陣中，對兩個矩陣標(biāo)準(zhǔn)化處理后計算出一個P值，將這樣的過程重復(fù)20000次，就可以得到關(guān)于P的正態(tài)分布(見表3).

表3　關(guān)于P的正態(tài)分布的均值、標(biāo)準(zhǔn)差和95%水平的參考值

在這個正態(tài)分布曲線下，要達(dá)到0.05水平的統(tǒng)計顯著性，需要P≥0.7095.本研究計算得到的P值低于95%水平的參考值0.7095，說明物理試卷和物理課程標(biāo)準(zhǔn)間不存在統(tǒng)計學(xué)意義上的顯著一致性.

3.2　地形圖

用地形圖來表示物理課程內(nèi)容(圖1)和物理試卷(圖2)在不同內(nèi)容主題和認(rèn)知水平上的權(quán)重，圖中的1.1—3.6分別表示從“1.1物質(zhì)的形態(tài)和變化”到“3.6能源與可持續(xù)發(fā)展”14個內(nèi)容主題.圖中橫線區(qū)域表示權(quán)重小于0.02，斜線區(qū)域表示權(quán)重在0.02和0.04之間，圓點區(qū)域表示權(quán)重在0.04和0.06之間，豎線區(qū)域表示權(quán)重在0.06和0.08之間，黑色區(qū)域表示權(quán)重在0.08和0.1之間，白色區(qū)域表示權(quán)重在0.1和0.12之間.

圖1　物理課程內(nèi)容地形圖

圖2　物理試卷地形圖

把圖1和表1聯(lián)系起來，可以說明地形圖是如何表示物理課程內(nèi)容中的內(nèi)容主題和認(rèn)知水平的相對權(quán)重.由表1可以看到，“物質(zhì)的形態(tài)和變化”、“電和磁”、“機(jī)械能”、“電磁能”里的“了解”所占比率均為0.089，比率值落在了0.08和0.1之間，因此，圖1中的黑色區(qū)域就位于“物質(zhì)的形態(tài)和變化”和“了解”、“電和磁”和“了解”、“機(jī)械能”和“了解”、“電磁能”和“了解”的交界處.比率值落在0.02和0.04之間的是“物質(zhì)的屬性”里的“了解”(0.024)、“機(jī)械運(yùn)動和力”里的“認(rèn)識”(0.024)和“理解”(0.024)、“聲和光”里的“認(rèn)識”(0.032)、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”里的“了解”(0.024)、“內(nèi)能”里的“了解”(0.040)、“電磁能”里的“理解”(0.024)、“能源與可持續(xù)發(fā)展”里的“了解”(0.032)，因此，圖1中的斜線區(qū)域就位于“物質(zhì)的屬性”和“了解”、“機(jī)械運(yùn)動和力”和“認(rèn)識”與“理解”、“聲和光”里和“認(rèn)識”、“能量、能量的轉(zhuǎn)化和轉(zhuǎn)移”和“了解”、“內(nèi)能”和“了解”、“電磁能”和“理解”、“能源與可持續(xù)發(fā)展”和“了解”的交界處.同理，根據(jù)表2的數(shù)據(jù)用相同的涂色方法可以得到圖2的物理試卷地形圖.

觀察圖1和圖2可以看出，物理試卷與物理課程內(nèi)容在“機(jī)械運(yùn)動和力”、“機(jī)械能”和“電磁能”上的分布明顯不同，兩個地形圖的總體分布存在一定的差異，表明兩者之間的一致性程度不夠高.

3.3　內(nèi)容主題方面的比較

物理試卷與課程標(biāo)準(zhǔn)在內(nèi)容主題方面的比較如圖3所示.

物理課程標(biāo)準(zhǔn)中，14個內(nèi)容主題的知識點數(shù)目比率在0.20以下，其中位于0.15和0.20之間的有“機(jī)械運(yùn)動和力”這一內(nèi)容主題；位于0.10和0.15之間的有“聲和光”、“電磁能”這兩個內(nèi)容主題；位于0.05和0.10之間的有3個，依次是“電和磁”、“物質(zhì)的形態(tài)和變化”、“機(jī)械能”；其他8個內(nèi)容主題所占的比例都小于0.05.

圖3　內(nèi)容主題比較

物理試卷中，分值比率在0.20以上的有“機(jī)械運(yùn)動和力”、“電磁能”這兩個內(nèi)容主題，位于0.15和0.20之間的內(nèi)容主題個數(shù)為0；位于0.10和0.15之間的有“聲和光”這一內(nèi)容主題，所占的比例幾乎等于0.10；位于0.05和0.10之間的有3個，依次是“電和磁”、“能源與可持續(xù)發(fā)展”、“物質(zhì)的形態(tài)和變化”；其他8個內(nèi)容主題所占的比率都小于0.05.

由此可以看出，在“機(jī)械運(yùn)動和力”、“電磁能”、“機(jī)械能”、“能源與可持續(xù)發(fā)展”、“聲和光”這5個內(nèi)容主題上，物理課程標(biāo)準(zhǔn)的要求與物理試卷的要求差異較大，其他幾個內(nèi)容主題上的差異不太明顯.相對于物理課程標(biāo)準(zhǔn)的要求而言，物理試卷加大了對“機(jī)械運(yùn)動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考察力度，淡化了對“聲和光”和“機(jī)械能”等二級主題的考查，對其他9個二級主題的考察力度與物理課程標(biāo)準(zhǔn)基本吻合.

3.4　認(rèn)知水平方面的比較

物理試卷與課程標(biāo)準(zhǔn)在認(rèn)知水平方面的比較如圖4所示.

圖4　認(rèn)知水平比較

在課程標(biāo)準(zhǔn)中，要求認(rèn)知層次為“了解”的知識點數(shù)目所占比例最大，其次是“認(rèn)識”層次，“理解”這一最高層次所占的比例最小.而在物理試卷中，各認(rèn)知層次所占的比例由大到小依次是“了解”、“理解”、“認(rèn)識”.

由圖4可以看出，物理試卷中要求達(dá)到“理解”這一認(rèn)知水平的分值比例高于物理課程標(biāo)準(zhǔn)，加大了對“理解”層次的考查比重，而“了解”和“認(rèn)識”這兩類認(rèn)知水平所占分值比例均低于物理課程標(biāo)準(zhǔn)，對這兩個層次的考查比重較低.

4結(jié)論與思考

本研究結(jié)果表明，濟(jì)南市2014年初中學(xué)業(yè)水平考試物理試卷與《全日制義務(wù)教育物理課程標(biāo)準(zhǔn)(2011年版)》中的內(nèi)容要求的一致性程度不夠高.具體說來，二者的Porter一致性指數(shù)低于對應(yīng)的參考值，物理試卷地形圖和物理課程內(nèi)容地形圖的分布存在一定差異；二者在內(nèi)容主題的側(cè)重和認(rèn)知水平的側(cè)重上也有一定程度的偏差.在內(nèi)容主題上，相對于物理課程標(biāo)準(zhǔn)而言，物理試卷加大了對“機(jī)械運(yùn)動和力”、“電磁能”以及“能源與可持續(xù)發(fā)展”等二級主題的考查力度，淡化了對“聲和光”和“機(jī)械能”等二級主題的考查.認(rèn)知水平上，物理試卷對“理解”這一較高認(rèn)知層次的考查力度高于物理課程標(biāo)準(zhǔn)中該認(rèn)知層次知識點數(shù)目所占比例，而對“了解”、“認(rèn)識”這兩個認(rèn)知層次的考查力度則低于它們在物理課程內(nèi)容中所占的比例.相對于物理課程標(biāo)準(zhǔn)，物理試卷提高了對認(rèn)知水平的要求.物理課程標(biāo)準(zhǔn)中的低等層次認(rèn)知水平的內(nèi)容在考試中有所減少，而高層次認(rèn)知水平的內(nèi)容在考試中卻有所增加.

盡管該物理試卷與物理課程標(biāo)準(zhǔn)的一致性不夠理想，但總的看來，還是可以接受的.一致性指數(shù)為0.66，雖低于參考值，但與其他地市物理試卷相比已屬較高水平，如2013年濟(jì)寧市中考物理試卷與課程標(biāo)準(zhǔn)的一致性指數(shù)為0.573[5].在內(nèi)容主題上，該物理試卷對物理課程內(nèi)容的考查覆蓋了14個二級主題，考查的范圍比較全面，對大部分二級主題的考查力度與課程標(biāo)準(zhǔn)的要求基本吻合，在少部分二級主題上考查的比重與課程標(biāo)準(zhǔn)存在一定差異.在認(rèn)知水平上，物理試卷雖提高了對認(rèn)知水平的要求，但提高的幅度不是很大.

分析學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性，其目的就是在文本層面監(jiān)測學(xué)業(yè)水平考試的質(zhì)量.本研究結(jié)果表明，濟(jì)南市2014年初中學(xué)業(yè)水平考試物理試卷存在著偏離物理課程標(biāo)準(zhǔn)的問題，這反映出該市2014年學(xué)業(yè)水平考試質(zhì)量有待提高.

應(yīng)該說明的是，本研究結(jié)果只具有參考價值.這是因為，首先，盡管一致性分析是評估試卷是否達(dá)到課程標(biāo)準(zhǔn)要求的重要指標(biāo)，但是，一致性分析只是學(xué)業(yè)水平考試質(zhì)量分析的一個視角，本文并不是對該市物理試卷質(zhì)量的全面考查.其次，物理試卷與物理課程標(biāo)準(zhǔn)的一致性受多種因素影響.在研究過程中，我們深深體驗到課程標(biāo)準(zhǔn)是否“標(biāo)準(zhǔn)”是影響一致性的重要因素.比如，物理課程標(biāo)準(zhǔn)沒有對三個認(rèn)知層次給出清晰具體的界定，三個層次劃分的合理性也值得商榷，尤其是“認(rèn)識”這一層次的設(shè)定讓人匪夷所思，這不僅給教學(xué)實施、教學(xué)評價、學(xué)業(yè)水平測試帶來如何把握教學(xué)要求的困擾，也給一致性分析帶來困難，因為這樣的表述難以讓人達(dá)成共識，在確定試題所考查的認(rèn)知水平的時候，研究者難以作出決斷.“基于標(biāo)準(zhǔn)的評價”的實現(xiàn)，其先決條件是課程標(biāo)準(zhǔn)應(yīng)對課程內(nèi)容加以具體化的目標(biāo)描述.這一點應(yīng)引起課程標(biāo)準(zhǔn)制定者的足夠重視.另外，SEC一致性分析方法存在一定的局限性.比如，使用Porter一致性指數(shù)的計算公式只考察了兩個比率表格的匹配程度，而沒有判斷試卷考查的每個具體知識點跟課程標(biāo)準(zhǔn)要求的認(rèn)知水平的一致性.

參考文獻(xiàn)：

[1] Porter, A. C. Measuring the content of instruction: Uses in research and practice[J]. Educational Researcher,2002, 31(7): 3-14.

[2] Porter, A. C., Smithson, J., Blank, R. K., Zeidner, T.. Alignment as a teacher variable[J]. Applied Measurement in Education, 2007,20(1): 27-51.

[3] 陳嫻,鄭璨璨,陳寧.物理內(nèi)容標(biāo)準(zhǔn)與考試之間的一致性研究[J].課程·教材·教法，2010,30(7)：67-71.

[4] 張寧波.物理中考試題與內(nèi)容標(biāo)準(zhǔn)的一致性研究[J].物理教師,2012,33(8):1-6.

[5] 孫永超,胡象嶺,張永慶.濟(jì)寧市2011—2013年中考物理試卷與課程標(biāo)準(zhǔn)的一致性分析[J].物理教師,2015,36(2):7-12.

[6] Liu,X.F., Zhang, B.H., Liang, L.L., Fulmer, G., Kim, B., Yuan,H.Q..Alignment between the physics content standard and the standardized test: A comparison among the United States-New York State, Singapore, and China-Jiangsu[J]. Science Education,2009,93(5):777-797.

[7] Fulmer,G.W..Estimating critical values for strength of alignment among curriculum, assessments, and instruction[J]. Journal of Educational and Behavioral Statistics. 2011,36(6):381-402.

[8] 劉恩山,盧群,張穎之.2010年高考生物試卷與課程標(biāo)準(zhǔn)的一致性分析[J].基礎(chǔ)教育課程，2010,(9):61-67.

通訊作者*、名師簡介：胡象嶺(1963—)，男，山東汶上人，曲阜師范大學(xué)物理學(xué)系教授，主要研究教育心理、物理課程與教學(xué)論.