新疆學業(yè)水平質(zhì)量監(jiān)測漢語試卷的縱向量表化實證研究

袁碩 彭恒利

新疆學業(yè)水平質(zhì)量監(jiān)測漢語試卷的縱向量表化實證研究

袁碩 彭恒利

作為一種典型的增長模型，縱向量表化（Vertical Scaling，也稱垂直等值、垂直標定等）方法常用于評估被試的學業(yè)或能力發(fā)展狀況。本研究以新疆少數(shù)民族四至六年級學生在2011年至2013年三次學業(yè)水平質(zhì)量監(jiān)測漢語考試中的答題數(shù)據(jù)為樣本，采取共同題設計進行數(shù)據(jù)收集，并運用Thurstone方法和IRT同時標定的方法進行量表分數(shù)構建，最終完成了三個年級間的分數(shù)連接，實現(xiàn)了對新疆雙語班四至六年級學生漢語學業(yè)水平增長的測量，為學業(yè)水平監(jiān)測工作提供了可參考的量化指標。

縱向量表化；Thurstone方法；IRT同時標定；學業(yè)質(zhì)量監(jiān)測

1 引言

1.1 新疆學業(yè)水平質(zhì)量監(jiān)測

《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010—2020年）》（以下簡稱《綱要》）明確提出，要“建立國家義務教育質(zhì)量基本標準和監(jiān)督制度”，完善“推進素質(zhì)教育實施和創(chuàng)新人才培養(yǎng)”的考試招生制度。以此為藍圖，《教育部2012年工作要點》明確提出了“全面提高教育質(zhì)量，著力提升人才培養(yǎng)水平，構建國家基礎教育質(zhì)量監(jiān)測評價體系，對基礎教育質(zhì)量進行全面監(jiān)測和科學評價”的具體要求。

與國外重視學業(yè)成就概念，將教育測量領域的先進技術廣泛應用于學業(yè)質(zhì)量評價中的做法相比，以往國內(nèi)的學業(yè)評價制度仍強調(diào)“甄別與選拔”的功能，忽視了學業(yè)質(zhì)量評價在促進學生全面發(fā)展、提高教師教學水平及改進教學等方面的作用，以考試成績代表學業(yè)成就的“一考定終身”的狀況并未得到根本性扭轉(zhuǎn)。

為貫徹《綱要》的要求，近年來，國內(nèi)相繼開展了形式多樣的學業(yè)評價研究。在此背景下，新疆在雙語教育體系初步建成的基礎上，決定在全區(qū)進行旨在檢驗雙語教育質(zhì)量的學業(yè)水平質(zhì)量監(jiān)測工作。希望采用科學、有效的監(jiān)測手段，了解和掌握全疆雙語教學質(zhì)量的現(xiàn)狀和發(fā)展水平，研究提高雙語教學質(zhì)量的途徑和方法，探索雙語教學質(zhì)量監(jiān)測的有效手段和方式，為在全區(qū)逐步建立中小學雙語教學質(zhì)量保障體系，最終形成縣（市）、地州、自治區(qū)三級聯(lián)動的監(jiān)測模式和工作機制奠定基礎。

新疆的雙語教學質(zhì)量監(jiān)測工作始于2011年，采用考試結(jié)合問卷調(diào)查的方式進行。監(jiān)測工作首先從漢語學科入手，采用等比例抽樣的方式，選取了七個地州的50個縣（市）雙語實驗班的四年級和六年級學生進行樣本采集。隨后兩年，采用同樣的方法，完成了四年級學生升入五年級和六年級的樣本采集工作。監(jiān)測工作委托專業(yè)測試機構命制了四至六年級的學業(yè)水平質(zhì)量監(jiān)測漢語試卷，并設計了面向校長、教師、學生的調(diào)查問卷。漢語試卷遵循與中國少數(shù)民族漢語水平等級考試（MHK）相同的構念命制而成。

1.2 新疆學業(yè)水平質(zhì)量監(jiān)測采用的測量技術

從監(jiān)測目的來看，新疆進行學業(yè)水平監(jiān)測不僅關注所測年級的學習狀況，更關注其發(fā)展趨勢和增長狀況，這就是說，不只是靜態(tài)的監(jiān)測，而是動態(tài)的監(jiān)測。由此，一個現(xiàn)實的問題是，如何刻畫學生的學業(yè)發(fā)展，實現(xiàn)跨年級的分數(shù)連接？就跨年級的學業(yè)水平測驗而言，各個水平測驗所涉及的知識內(nèi)容、測試難度和參加測驗學生的能力分布等均存在差異，而且每一個年級的教學目標也不一致，通過同一個測試工具（比如編制一份包含所有測試年級學習內(nèi)容的試題）施測來評估其發(fā)展水平，測得的結(jié)果既不好解釋，也不可靠，更無法滿足水平等值的條件。另一種方法是根據(jù)不同年級學生的實際情況，編制特定的測試工具（試卷）來施測。雖然這些不同的測試工具在構念上相同，但在難度和測驗內(nèi)容上均不一致，加之被試的水平也存在差異，其結(jié)果也無法直接進行比較。

由此可見，學業(yè)水平測試顯然不同于一般的成績測驗和水平測驗，其特殊性加大了對學業(yè)發(fā)展進行量化的難度。為解決這一難題，研究者提出了許多新的方法，以此實現(xiàn)跨年級的分數(shù)連接，刻畫學生的學業(yè)水平發(fā)展情況。這些方法主要包括兩類模型：增值模型和增長模型（Briggs&Weeks,2009）。作為一種典型的增長模型，縱向量表化（Vertical Scaling）是指在測驗的構念相同、信度相似，但考試難度和被試總體不同的情況下，將被試在符合上述條件的不同測驗中的分數(shù)轉(zhuǎn)換到同一個分數(shù)尺度上進行比較的過程，這一分數(shù)尺度通常被稱為縱向量表或發(fā)展性分數(shù)量表（Developmental Scale）。在實現(xiàn)原始分轉(zhuǎn)換到量表分的同時，研究者可以基于自身理論假設為這一量表分數(shù)賦予各種意義，通過發(fā)展性量表來獲得學生在特定知識領域中的發(fā)展信息，并據(jù)此評估被試的學業(yè)水平或能力的發(fā)展情況。

據(jù)上，新疆學業(yè)水平監(jiān)測要實現(xiàn)其監(jiān)測目的，就要進行系統(tǒng)設計，不僅要遵照相同構念，并根據(jù)所測年級的實際情況編制針對不同水平學生的試卷，也要采用縱向量表化的方法實現(xiàn)跨年級試卷間的分數(shù)連接。

2 實證研究

縱向量表化是“一個受多種因素影響的復雜過程”（Kolen and Brennan，2004），包括數(shù)據(jù)收集設計、測驗內(nèi)容覆蓋范圍、測驗結(jié)構、量表分轉(zhuǎn)化方法甚至研究所使用的程序等環(huán)節(jié)在內(nèi)，任何一者發(fā)生變化都可能影響到最終的結(jié)果。因此，數(shù)據(jù)的收集設計、量表分的構建均需結(jié)合研究樣本的實際情況預先進行精心設計。就本研究而言，具體包括數(shù)據(jù)收集設計、原始分數(shù)計算、量表分數(shù)轉(zhuǎn)換以及對發(fā)展性分數(shù)量表進行初步解釋等過程。

2.1 研究樣本

本研究所采用的樣本為新疆雙語實驗班四至六年級學生2011—2013年度在新疆學業(yè)水平監(jiān)測漢語試卷上的答題數(shù)據(jù)。由于研究數(shù)據(jù)的選取對縱向量表化的研究結(jié)果存在一定程度的影響，為了使計算結(jié)果更有說服力，最大限度減少重復測驗導致的誤差因素，同時結(jié)合客觀情況，本研究將相鄰年級樣本分為“交集”和“總體”兩個研究組。其中，交集指參加過低年級學業(yè)水平監(jiān)測考試并升入高年級的學生，總體是指該年級包含“交集”部分考生在內(nèi)的全體考生。測驗題目的命制兼顧了學業(yè)水平質(zhì)量監(jiān)測評價體系的完整性和延續(xù)性，以MHK考查“漢語實際運用能力”的理念為命題依據(jù)。對四、五年級學生，使用根據(jù)MHK理念而研發(fā)的新試卷；對六年級學生，雖然使用的是MHK一級試卷，但通過共同題使五年級和六年級試卷間建立了聯(lián)系。監(jiān)測試卷是以《全日制民族中小學義務教育階段雙語教育漢語課程標準》為參考標準的標準參照式測驗，測量的結(jié)構、覆蓋范圍、考察的能力以及題目的格式等都經(jīng)過了嚴格的規(guī)定，題目在命制過程中均經(jīng)過了專家組的審閱和試做。

在構建發(fā)展性量表，或者進行其他任何有關學業(yè)水平的測量時，檢測不同等級的試卷是否都在測量同一構念，即測驗是否滿足單維性假設，是保證測驗分數(shù)得到有效處理的重要前提條件。本研究以三個年級聽力、閱讀、書寫及作文四個分測驗的原始分數(shù)為對象，通過SPSS軟件（16.0）的主成分分析法進行了因子分析。結(jié)果表明，測驗呈現(xiàn)明顯的單維性特質(zhì)，最終確定提取出一個具有高度解釋性的“因子”，將其定義為“綜合漢語交際能力”。這說明測驗考查學生實際漢語運用能力的預期構念得到了較好的滿足。

本研究的全部原始數(shù)據(jù)都經(jīng)過了專業(yè)的“雷同答卷判定程序”的處理，均為剔除了作弊嫌疑的“干凈”數(shù)據(jù)。具體信息如表1所示。

表1 原始數(shù)據(jù)信息

2.2 縱向量表化方法的具體決策

數(shù)據(jù)收集設計及量表分數(shù)的構建，是縱向量表化方法的研究過程中最重要的兩部分內(nèi)容。數(shù)據(jù)收集設計主要包括共同題設計（Common-item De?sign，CI design；Kolen and Brennan，2004）、共同組設計（Common-group Design，CG design）及量表測驗設計（Scaling-test Design，SC design）三種傳統(tǒng)數(shù)據(jù)收集方法。量表分數(shù)的構建分為計算測驗分數(shù)的原始分及進行分數(shù)轉(zhuǎn)換兩個步驟，最終目的是將各年級測驗原始分轉(zhuǎn)換到具有同一尺度的量表中使其相互可比，并向測驗的使用者及相關教育機構報告縱向量表化的研究結(jié)果。量表分數(shù)的構建方式主要包括Hieronymus方法、Thurstone方法及IRT方法。目前，對量表分數(shù)的評價標準集中于三個方面：年級間的學業(yè)發(fā)展幅度的增減；年級間發(fā)展差異性的增減以及年級分布間隔的大小。

在縱向量表化的實證研究過程中，研究者需要做出很多決策，而不同的決策通常會得出不同的發(fā)展性分數(shù)量表，進而產(chǎn)生不同的報告分數(shù)，使相關教育者做出不同的決策。根據(jù)國外相關實證研究，結(jié)合現(xiàn)實因素的考量，本研究選取了Thurstone（1925）和Thurstone（1938）方法和IRT同時標定方法（3PLM模型，使用Bilog Ver 3.09和Parscale Ver.4.1）進行量表分數(shù)的轉(zhuǎn)化，以從理論角度比較不同量表轉(zhuǎn)化方法以及不同軟件對研究結(jié)果的影響。最后，將通過量表分數(shù)轉(zhuǎn)化計算出的平均數(shù)、標準差和在此基礎上計算得出的效應值（Effect Size）作為學業(yè)增長情況的參照指標。

2.3 數(shù)據(jù)收集設計

參加監(jiān)測的學生由當?shù)亟逃块T抽樣選取，來自全疆的多個地區(qū)。在這一背景下，共同題設計顯然是最實際可行且最可靠的數(shù)據(jù)收集方法。四至六年級的監(jiān)測試卷均包括聽力、閱讀和書面表達三部分，由于三個年級書面表達的題型不同，且均包括主觀性試題，因此，共同題只在聽力和閱讀兩個分測驗中設置，所有題目均為0、1記分的多項選擇題。共同題設計方案如圖1所示。

圖1 共同題設計方案

共同題選取的原則是選擇難度大且區(qū)分度高的題目。難度、區(qū)分度主要依據(jù)MCAT軟件計算出的題目通過率及點雙列相關這兩項指標。根據(jù)以往等值研究的經(jīng)驗，確定共同題的選取標準是通過率低于0.5，點雙列相關大于0.3。

2.4 量表分數(shù)轉(zhuǎn)化

本研究所采用的量表分數(shù)轉(zhuǎn)換方法包括Thur?stone方法及IRT方法兩種。

Thurstone方法方面，包括 Thurstone（1925）、Thurstone（1938）兩個版本。Thurstone方法的計算公式如式（1）、式（2）所示：

及

其中μL=0且σL=1

Thurstone方法在計算前需要進行原始分數(shù)轉(zhuǎn)換。原始分數(shù)轉(zhuǎn)換是該方法兩個版本的不同點所在：在（1925）版本中，對兩個相鄰年級而言，通過被試的作答反應計算每題的通過率（P值），然后通過反向累積正態(tài)函數(shù)（Inverse Cumulative Normal，也稱Logit-transform，即Logit轉(zhuǎn)換）將每道題目的P值進行正態(tài)化處理，轉(zhuǎn)換為Z分數(shù)；在（1938）版本中，通過兩個相鄰年級的原始分頻次分布（Raw Score Fre?quency Distribution）獲得同一年級內(nèi)每個被試原始分數(shù)所對應的百分等級，然后對每個百分等級的值通過Logit轉(zhuǎn)換進行正態(tài)化處理，使用經(jīng)正態(tài)轉(zhuǎn)換后的百分等級分數(shù)取代正態(tài)轉(zhuǎn)換的P值。

其次，需對數(shù)據(jù)進行效度檢驗，檢測數(shù)據(jù)是否滿足Thurstone方法的兩個假設：假定年級內(nèi)考生的分數(shù)呈正態(tài)分布；假定年級間考生的分數(shù)呈線性相關。前者需要生成數(shù)據(jù)的雙變量散點圖（Bivariate Plot），后者需要計算兩者的皮爾遜相關系數(shù)（Pear?son Correlation）。效度檢驗的目的是測試Thurstone方法是否得到了有效的使用。

IRT方法方面，本研究選取在滿足單維性假設條件下更為便捷、穩(wěn)定的同時標定方法，即對所有水平測驗上的所有反應項目同時進行參數(shù)估計。在IRT模型上選取對客觀性測驗的計算結(jié)果更為精確的三參數(shù)模型（3PLM），如式（3）所示。同時，分別通過Parscale（4.1版本）和Bilog（3.09版本）軟件進行計算。

效應值（Effect Size）方法將相鄰年級之間的分數(shù)差異進行了標準化處理，需要使用到量表分數(shù)轉(zhuǎn)化方法計算出的平均數(shù)及標準差。效應值與學生的學業(yè)水平發(fā)展程度呈正相關：其值越高，表明學生學業(yè)水平的發(fā)展程度越高；反之亦然。

3 結(jié)果分析

3.1 研究結(jié)果

表2對不同縱向量表化方法的計算結(jié)果進行了對比。表中的數(shù)值即為三個年級原始成績通過兩種分數(shù)轉(zhuǎn)化方法所得到的發(fā)展性分數(shù)量表，包括平均值、標準差以及效應值三項指標。

3.2 結(jié)果分析

在所有的方法中，低年級的平均值都被設定為0，標準差被設定為1。其中，平均值指標的正負，反映的是學生漢語學業(yè)水平的增長或降低；效應值的大小反映的是學生漢語學業(yè)水平的增幅大小；標準差指標跟1的大小關系，反映的是年級間漢語學業(yè)水平增長差異性的擴大或縮小。根據(jù)表2，本研究的具體結(jié)論包括下述三個方面：

表2 發(fā)展性分數(shù)量表

（1）通過四種方式計算出的平均數(shù)和效應值兩項指標顯示，所有研究組學生的學業(yè)水平都實現(xiàn)了不同幅度的增長。其中，五年級到六年級（總體）學生的漢語學業(yè)水平增幅最大（平均數(shù)指標均值為0.36，效應值指標均值為0.87），五年級到六年級（交集）學生的學業(yè)水平增幅最?。ㄆ骄鶖?shù)指標均值為0.07，效應值指標均值為0.22）。

這表明多次參加學業(yè)水平漢語測驗的學生并沒有體現(xiàn)出更高幅度的學業(yè)水平增長，意味著學生整體實際漢語水平的高低，對于學業(yè)水平發(fā)展幅度的影響更為顯著。

（2）通過四種方式計算出的標準差指標顯示，多數(shù)研究組學生的漢語學業(yè)水平增長差異呈現(xiàn)了并不一致的發(fā)展趨勢。其中，4個研究組的標準差均值依次為0.86、1.00、0.92及1.16。

這表明兩個相鄰年級間學生的漢語學業(yè)水平增長幅度與其學業(yè)水平增長變異性發(fā)展并不呈線性相關，即某一年級學生漢語學業(yè)水平幅度較大，并不意味著其中學業(yè)水平增幅低的學生與學業(yè)水平增幅高的學生之間的差距也變得更大，反之亦然。

（3）通過不同量表分數(shù)轉(zhuǎn)化方法得到的結(jié)果顯示，各研究組學生的學業(yè)水平增幅或發(fā)展變異的程度并不一致：平均數(shù)指標方面，Thurstone（1938）＞Thurstone（1925）＞ IRT-Con（Parscale）＞ IRT-Con（Bilog），其均值依次為0.24、0.25、0.09及0.19，Thur?stone方法的計算結(jié)果顯示了更為顯著的學業(yè)水平增長；標準差指標方面，IRT-Con（Parscale）＞ IRTCon（Bilog）＞ Thurstone（1938）＞ Thurstone（1925），四種方式計算出的均值依次為0.85、0.97、1.02及1.10，IRT同時標定方法的計算結(jié)果顯示了更為顯著的學業(yè)增長變異；效應值指標方面，Thurstone（1925）＞ IRT-Con（Parscale）＞ IRT-Con（Bilog）＞Thurstone（1938）四種方式計算出的均值依次為0.84、0.21、0.51及0.65。

兩類方法內(nèi)部，除了效應值指標，Thurstone兩種方法及IRT同時標定方法使用兩種軟件計算出的結(jié)果，均無顯著差異，結(jié)果較為接近。這一結(jié)論從實證角度再次證明了縱向量表化研究過程中，在研究樣本、數(shù)據(jù)收集方式等基本決策相同的情況下，不同量表分數(shù)轉(zhuǎn)化方法計算出的結(jié)果存在差異。

4 結(jié)論

本研究基于標準化的學業(yè)水平測驗，并進行了單維性假設檢驗及效度檢驗，其結(jié)果具有較強可靠性。研究結(jié)果證明縱向量表化方法適用于學業(yè)水平質(zhì)量監(jiān)測工作，同時從實證角度證明了新疆少數(shù)民族學生的漢語學業(yè)水平呈現(xiàn)出發(fā)展上升的趨勢，為新疆學業(yè)水平質(zhì)量監(jiān)測漢語教學工作提供了可參考的量化指標。研究結(jié)論如下：

（1）各年級之間的“交集”研究組是參加多次學業(yè)水平漢語測試的學生，但其結(jié)果顯示，他們并沒有體現(xiàn)出更高幅度的學業(yè)水平增長，這意味著學生整體水平的高低對于學業(yè)水平發(fā)展的影響更為顯著，說明“為了考試而考試”的應試教育方式并不會帶來更好的成績。學校應致力于提升實際教學水平，學生應通過更為有效的學習和應用，才能切實提升漢語水平與漢語考試成績。

（2）兩個相鄰年級間學生的漢語學業(yè)水平增長幅度與其學業(yè)水平增長差異性并不呈線性相關，即學業(yè)水平增長幅度大，并不意味著增幅低的學生與增幅高的學生之間的差距也變得更大。但標準差指標中大部分研究組的結(jié)果都小于1，說明低水平學生的漢語學業(yè)水平發(fā)展幅度多大于高水平學生的漢語學業(yè)水平發(fā)展幅度，即兩者的差距在縮小。意味著學生整體基礎方面，有了較為明顯的提高。

從本研究可以看出，縱向量表化主要以某一特定范圍的學生總體為研究對象，而增值性評價主要針對每個學生、教師及每所學校進行個體評價研究，兩種研究的結(jié)果相結(jié)合，可以為考生、學校、教育主管機構等相關方面提供更具有參考性、更為科學的量化評價指標及更為全面的反饋信息，有利于教育行政部門今后開展更加科學、公正、積極、健康的教育評價工作，實施更具針對性的教學指導與規(guī)劃。

[1]Andrews,K.M.The effects of scaling design and scaling method on the primary score scale associated with a multi-level achieve?ment test[C].Unpublished doctoral dissertation,The University of Iowa,Iowa City.1995.

[2]Briggs,D.C.&Weeks,J.P.The Impact of Vertical Scaling Deci?sions on Growth Interpretations[J].Educational Measurement:Is?sues and Practice，2009，28(4),3-14.

[3]Brennan,R.L.Educational measurement(4th edition)[M].ACE/Praeger.2006.

[4]Kolen,M.J and Brennan,R.L.Test Equating,Scaling and Linking:Methods and Practices(Second Edition)[M].New York:Springer-Verlag New York Inc.2004.

[5]Kyoko Ito,Robert C.Sykes,and Lihua Yao.Concurrent and Sepa?rate Grade-Groups Linking Procedures for Vertical Scaling[J].Ap?plied Measurement in Education,2008，21,187-206.

[6]王燁暉，邊玉芳，辛濤.垂直等值的應用及最新發(fā)展述評[J].心理學探新，2011，31（5）：472-476.

[7]葉萌，辛濤.矩陣設計的垂直量尺化在大規(guī)模測驗中的應用[D].第十屆海峽兩岸心理與教育測量學術研討會——暨全國教育與心理測量學術年會文集，2012：125.

[8]張布和.我國學業(yè)成就評價改革現(xiàn)狀及對策[J].中國教育學刊，2009（4）：50-53.

（責任編輯 周黎明）

An Empirical Study on Vertical Scaling in Chinese Test the Quality Test of Academic Achievement in Xinjiang

YUAN Shuo and PENG Hengli

As a typical growth model,Vertical Scaling is a method that aims at measuring and evaluating students’academic performance and learning ability.This research qualifies the improvement of Chinese proficiency of Han-Uygur Bilingual students from 4th grade to 6th grade in Xinjiang by collecting sample from the results of Chinese test in the Quality Test of Academic Achievement from 2011 to 2013.Same questions are designed to collect the data.The method of Thurstone and IRT concurrent calibration are adopted to construct the scaled score and achieve the score linking among the chosen three grades.By quantifying the improvement of students’Chinese academic development in the sample,this study provides referable quantitative indicators to assess academic performance.

Vertical Scaling；Thurstone;IRT Concurrent Calibration；Quality Monitoring for Academic Achievement

G405

A

1005-8427(2014)07-0003-7

本文系國家語委“十二五”科研規(guī)劃重點項目（編號：ZD1125-6）的研究成果之一。

袁 碩，男，國家圖書館外文采編部，助理館員（北京 100081）

彭恒利，男，北京語言大學教育測量研究所，副研究員（北京 100083）