課程內(nèi)容標(biāo)準(zhǔn)與試卷一致性分析工具的比較研究

王政

摘 要：比較韋伯模式、SEC模式、成功模式的框架與分析過程，分析國外一致性分析工具優(yōu)缺點(diǎn)和適用情況，提出國外的一致性分析模式的使用建議。

關(guān)鍵詞：分析工具; 一致性; 比較研究

中圖分類號(hào)：G40-011.8 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ?文章編號(hào)：1006-3315（2019）06-153-001

教育行政部門規(guī)定課程內(nèi)容標(biāo)準(zhǔn)是教材編寫，教學(xué)實(shí)施以及考試評(píng)價(jià)的依據(jù)。目前我國現(xiàn)行的教材是一綱多本的情況，即以教育部頒發(fā)的課程標(biāo)準(zhǔn)為依據(jù)，編寫適合不同地區(qū)的教材。以往研究大多關(guān)注教學(xué)實(shí)施的過程，對(duì)不同版本的教材研究成果也頗為豐富，但對(duì)試卷是否很好的符合課程標(biāo)準(zhǔn)的檢驗(yàn)工具的研究相對(duì)較少，國外的一致性檢驗(yàn)工具如SEC模式、韋伯模式是為了檢驗(yàn)與之對(duì)應(yīng)國家的試卷一致性水平而開發(fā)的，與國內(nèi)試卷的結(jié)構(gòu)、認(rèn)知水平差異較大，直接套用會(huì)帶來較大的誤差。因此一致性分析工具的本土化和開發(fā)適合本國國情的分析工具是十分必要的。

1.Webb模式

Webb即韋伯模式是美國學(xué)者諾曼·韋伯于上世紀(jì)90年代提出的一致性檢驗(yàn)工具。韋伯模式是最早的一致性檢驗(yàn)工具，不得不說韋伯模式之后的一致性分析工具都不同程度的受到了韋伯模式的影響。韋伯建議使用金字塔模型，從上到下分別為：學(xué)習(xí)領(lǐng)域、主題目標(biāo)、底層為具體目標(biāo)。韋伯將一致性分為五個(gè)方面，分別是：內(nèi)容的集中性，公平與公正，年級(jí)和年齡的吻合性，教學(xué)意義，評(píng)價(jià)系統(tǒng)的適用性。該模式從知識(shí)主題和認(rèn)知要求兩個(gè)維度描述一致性。經(jīng)過發(fā)展，韋伯將重心放在了知識(shí)層面的一致性，并提出以下四個(gè)維度：知識(shí)廣度，知識(shí)深度，知識(shí)種類和知識(shí)分布平衡性。

知識(shí)廣度衡量試卷中所有知識(shí)范疇和知識(shí)門類與標(biāo)準(zhǔn)所要求的知識(shí)范疇和門類是否一致。知識(shí)深度衡量試卷與標(biāo)準(zhǔn)中知識(shí)的程度和目標(biāo)是否一致。知識(shí)種類衡量試卷中要求的學(xué)習(xí)范疇和標(biāo)準(zhǔn)中的學(xué)習(xí)范疇的一致性程度。知識(shí)分布的平衡性衡量試卷中具體項(xiàng)目是否分布合理。每一個(gè)維度的一致性根據(jù)內(nèi)容標(biāo)準(zhǔn)的評(píng)價(jià)，都分為完全一致，基本一致以及不一致。

韋伯模式的好處是能夠?qū)υ嚲硭疾斓降乃兄R(shí)做出定性分析，但韋伯模式也有局限性。利用韋伯模式檢驗(yàn)分值在60分以上，且選擇題居多的試卷得出的一致性結(jié)果信度較好。而國內(nèi)的考試，尤其是高中物理等理科的試卷結(jié)構(gòu)會(huì)與韋伯模式出現(xiàn)“水土不服”的情況。有研究者提出調(diào)整試卷結(jié)構(gòu)，使之符合韋伯模式，但改變?cè)嚲斫Y(jié)構(gòu)則會(huì)降低一致性檢驗(yàn)的信度與效度。

2.SEC模式

SEC模式（Survey of the Enacted Curriculum）是安德魯·帕特和約翰·史密在韋伯模式的基礎(chǔ)上開發(fā)的實(shí)踐課程調(diào)查模式。安德魯·帕特認(rèn)為知識(shí)深度的一致性能夠全面分析評(píng)價(jià)和課程標(biāo)準(zhǔn)的一致性。他們二人通過構(gòu)建知識(shí)種類×認(rèn)識(shí)水平的二維矩陣，分別對(duì)課程內(nèi)容標(biāo)準(zhǔn)和試卷內(nèi)容進(jìn)行編碼，統(tǒng)計(jì)各個(gè)知識(shí)點(diǎn)在課程標(biāo)準(zhǔn)和試卷中出現(xiàn)的次數(shù)和認(rèn)知要求，并做歸一化處理，比較兩個(gè)二維矩陣的一致性程度而得出結(jié)論。安德魯·帕特以自己的名字命名了一致性系數(shù)即帕特系數(shù)。帕特系數(shù)的計(jì)算公式為

其中，X表示一個(gè)單元中的評(píng)價(jià)比例，Y表示另一個(gè)單元中的評(píng)價(jià)比例。這里X表示課程標(biāo)準(zhǔn)二維矩陣中每個(gè)元素所占比例，Y表示試卷二維矩陣每個(gè)元素所占比例。一致性系數(shù)從0～1表述完全不一致到完全一致。一般認(rèn)為一致性系數(shù)和一致性程度成正比，一致性系數(shù)越大，試卷和課程標(biāo)準(zhǔn)符合的就越好，反之則一致性程度越差。SEC模式能夠量化一致性程度，解決了韋伯模式僅能定性描述一致性的弊端。SEC一致性分析模式適用的范圍廣，但SEC模式也有不足之處。在對(duì)課程內(nèi)容標(biāo)準(zhǔn)編碼時(shí)，編碼者的意見較為統(tǒng)一，因此內(nèi)部一致性較高，保證了對(duì)課程標(biāo)準(zhǔn)編碼的信度。但編碼者對(duì)同一道試題的解讀則會(huì)出現(xiàn)分歧，SEC模式的關(guān)鍵在于構(gòu)建知識(shí)主題×認(rèn)知水平的二維矩陣，而對(duì)試卷編碼的誤差會(huì)被帕特系數(shù)的計(jì)算公式放大，得出不準(zhǔn)確的結(jié)果。因此利用SEC模式檢驗(yàn)試卷與課程標(biāo)準(zhǔn)的一致性時(shí)，必須保證編碼者對(duì)試卷編碼的內(nèi)部一致性，得出結(jié)果才有意義。

3.Achieve模式

Achieve模式也叫作成功模式。Achieve模式由美國非營利性教育研究組織Achieve的負(fù)責(zé)人羅伯特和斯萊特發(fā)明。Achieve模式的檢驗(yàn)步驟概括為以下三個(gè)步驟：第一步，檢查試卷題目與課程內(nèi)容標(biāo)準(zhǔn)的匹配程度，主要是集中在知識(shí)目標(biāo)和認(rèn)知水平兩個(gè)方面。第二步，對(duì)試卷題目的挑戰(zhàn)性進(jìn)行判斷，包括每個(gè)題目的挑戰(zhàn)性和試卷整體的挑戰(zhàn)性判斷。第三步，判斷試卷的平衡性，即課程內(nèi)容標(biāo)準(zhǔn)中的知識(shí)點(diǎn)是否在試卷中命中試題。Achieve模式的三步走分別從向心性，均衡性和挑戰(zhàn)性描述了一致性水平。

鑒于Achieve模式的微觀性質(zhì)，Achieve模式分析的維度更多，結(jié)果更加綜合，對(duì)于測(cè)試編制問卷，課程內(nèi)容標(biāo)準(zhǔn)的編寫均有指導(dǎo)意義。但該模式的一致性分析結(jié)果還停留在定性的描述分析結(jié)果上，人們只能從分析結(jié)果上得到大體的有關(guān)一致性的認(rèn)識(shí)，而不能通過分析結(jié)果進(jìn)行橫向比較和縱向比較。

以上是國外應(yīng)用比較廣泛的一致性分析工具，每個(gè)模式各有側(cè)重，適用于不同的情況。韋伯模式對(duì)于知識(shí)的一致性分析較為全面，但更加注重知識(shí)層面的考察，忽略了課程標(biāo)準(zhǔn)中體驗(yàn)性課程與實(shí)踐性課程的一致性分析。它對(duì)于樣本的試卷結(jié)構(gòu)要求特殊，恰好國內(nèi)的考試形式與韋伯模式的使用條件符合的不夠好。SEC一致性分析模式是唯一能夠?qū)⒁恢滦粤炕y(tǒng)計(jì)的工具，因此利用SEC模式得出的一致性研究結(jié)果有較強(qiáng)的說服力，但SEC模式是以知識(shí)點(diǎn)出現(xiàn)的次數(shù)為變量進(jìn)行統(tǒng)計(jì)的，頻數(shù)的大小難以反映試卷考察的知識(shí)深度與知識(shí)平衡性。Achieve模式是最新的一致性檢驗(yàn)工具，但其終究沒有擺脫對(duì)統(tǒng)計(jì)結(jié)果的定性描述，因此一致性檢驗(yàn)工具的本土化是新的研究方向。