遠(yuǎn)程開放教育形成性考核模式及其效度驗(yàn)證*
——以上海開放大學(xué)2013春英語專業(yè)?？谱蚤_課程為例

□ 陳荷男

遠(yuǎn)程開放教育形成性考核模式及其效度驗(yàn)證*
——以上海開放大學(xué)2013春英語專業(yè)?？谱蚤_課程為例

□ 陳荷男

本文運(yùn)用“基于論證的效度驗(yàn)證模式”對2013春上海開放大學(xué)英語專業(yè)?？谱蚤_課程形成性考核模式的效度進(jìn)行研究。研究首先對各課程形成性考核模式的使用頻率進(jìn)行統(tǒng)計(jì)，并按重要性遞減的順序依次對排名前四位的網(wǎng)上記分作業(yè)、平時(shí)作業(yè)、學(xué)習(xí)表現(xiàn)和小組活動(dòng)四種形成性考核模式進(jìn)行了驗(yàn)證。研究發(fā)現(xiàn)以上形成性考核模式的效度均較低，主要有以下四大缺憾：（1）缺乏具體的實(shí)施細(xì)則導(dǎo)致概念模糊執(zhí)行不力；（2）缺乏具體的評分標(biāo)準(zhǔn)導(dǎo)致評分帶有主觀傾向；（3）缺乏有效的監(jiān)督機(jī)制，誠信度不高；（4）教師對學(xué)生表現(xiàn)反饋不足，導(dǎo)致形成性考核對教學(xué)的促進(jìn)和反撥作用不強(qiáng)。研究希望能通過本文的效度驗(yàn)證，相關(guān)人員能提出解決問題的有效措施，切實(shí)提高形成性考核的效度以促進(jìn)教學(xué)。

遠(yuǎn)程開放教育；形成性考核；效度驗(yàn)證

研究背景

自1999年中央廣播電視大學(xué)啟動(dòng)“中央廣播電視大學(xué)人才培養(yǎng)模式改革和開放教育試點(diǎn)”項(xiàng)目以來，形成性考核一直是全國遠(yuǎn)程教育工作者研究和探索的一個(gè)重點(diǎn)。它不僅是遠(yuǎn)程開放教育質(zhì)量保證體系的重要環(huán)節(jié)，同時(shí)也是學(xué)習(xí)者自主學(xué)習(xí)過程管理的主要手段，與終結(jié)性考核共同構(gòu)成對學(xué)習(xí)者課程學(xué)習(xí)成果的整體評價(jià)。實(shí)施形成性考核的目的是要加強(qiáng)對學(xué)習(xí)過程的指導(dǎo)和管理，及時(shí)反饋學(xué)習(xí)信息，指導(dǎo)教學(xué)，提高學(xué)習(xí)者的綜合素質(zhì)和能力。目前，形成性考核的比重一般占到課程總成績的20%-50%，但個(gè)別學(xué)校個(gè)別課程的形成性考核比重已經(jīng)超過70%，甚至達(dá)到100%，形成性考核的重要性由此可見一斑。問題是，作為一種考核方式，形成性考核的效度究竟如何？其在多大程度上反映了學(xué)習(xí)者的學(xué)習(xí)效果和學(xué)習(xí)態(tài)度，并真實(shí)地記錄了學(xué)習(xí)者的學(xué)習(xí)過程？本文運(yùn)用“基于論證的效度驗(yàn)證模式”，對2013春上海開放大學(xué)英語專業(yè)?？谱蚤_課程形成性考核模式的效度進(jìn)行研究，以驗(yàn)證其有效性。

研究方法

（一）理論基礎(chǔ)

所謂效度，就是測驗(yàn)對構(gòu)念進(jìn)行測量的有效程度。（謝小慶，2002）而構(gòu)念，是指一種測驗(yàn)所要測量的概念或特征。（吳根洲，2008）通俗地講，效度也叫有效性，是指一套試題所考的是否就是設(shè)計(jì)者想要考查的內(nèi)容；落實(shí)到形成性考核中，也即形成性考核所考的是否就是形成性考核推出者想要考查的內(nèi)容，并真正體現(xiàn)了形成性考核的價(jià)值。結(jié)合形成性考核的目的和意義（楊晨，2005；張睿，2007；楊婷婷，2012），形成性考核所要考查的內(nèi)容可以概括為：學(xué)習(xí)者對知識的掌握程度，學(xué)習(xí)者的學(xué)習(xí)態(tài)度和學(xué)習(xí)過程；同時(shí)，形成性考核是否及時(shí)向?qū)W習(xí)者反饋了學(xué)習(xí)信息，指導(dǎo)了學(xué)習(xí)者的學(xué)習(xí)，提高了學(xué)習(xí)者的綜合素質(zhì)和能力等。如果形成性考核考查了全部以上信息并實(shí)現(xiàn)了全部以上功能，可認(rèn)為形成性考核的效度較高；如果只考查了部分內(nèi)容、實(shí)現(xiàn)了部分功能，或者完全沒有考查應(yīng)考查的內(nèi)容、實(shí)現(xiàn)應(yīng)實(shí)現(xiàn)的功能，可認(rèn)為形成性考核的效度較低。

為了對效度進(jìn)行驗(yàn)證，Kane建立了基于論證的效度驗(yàn)證模式 （Kane，2002，2004，2006；Kane，Crooks&Cohen，1999）。這一論證模式的中心是兩個(gè)論證：解釋論證和效度論證。解釋論證需要詳細(xì)說明對分?jǐn)?shù)的解釋和考試用途，然后再一一呈現(xiàn)在得出這一分?jǐn)?shù)解釋和考試用途過程中所使用的推論和假設(shè)。其中的推論可以用一個(gè)論證鏈來表示。Bachman于2005年對這一論證鏈作了延伸，增加了“決定”這一環(huán)節(jié)，如圖1所示。（轉(zhuǎn)引自胥云，2011）

圖1 效度驗(yàn)證中延伸后的論證鏈（Bachman，2005:8，轉(zhuǎn)引自胥云，2011）

根據(jù)胥云（2011）對這一論證鏈的闡釋，將這一論證鏈運(yùn)用到形成性考核中去，則其推論過程如下：首先從“觀察”到的學(xué)習(xí)者在形成性考核中的表現(xiàn)經(jīng)由“評分”推論出“觀察到的分?jǐn)?shù)”，也即形成性考核的得分。要使這一推論成立，則其中的假設(shè)是有適當(dāng)?shù)脑u分標(biāo)準(zhǔn)，并在評分過程中始終堅(jiān)持該評分標(biāo)準(zhǔn)。其次，“觀察到的分?jǐn)?shù)”經(jīng)由“概化”得到“域分?jǐn)?shù)”。所謂“域分?jǐn)?shù)”就是將某一次觀察到的分?jǐn)?shù)看作一次抽樣，從這一抽樣可以推斷出被試在不同時(shí)空且評分人員不同時(shí)得到的分?jǐn)?shù)。這一過程中的假設(shè)是形成性考核觀察到的表現(xiàn)相對于觀察域來說具有代表性，且觀察取樣足夠大以控制誤差。第三步是通過“外推”由“域分?jǐn)?shù)”推出“目標(biāo)分?jǐn)?shù)”。就形成性考核而言，就是從學(xué)習(xí)者在形成性考核中的表現(xiàn)推斷他在目標(biāo)情景中或者說非考試情景中的表現(xiàn)，也就是對形成性考核分?jǐn)?shù)的解釋。這一推論的假設(shè)是衡量目標(biāo)能力的形成性考核形式與現(xiàn)實(shí)中使用該能力的任務(wù)相似，也就是形成性考核的真實(shí)性。最后一個(gè)推論是“考試用途”，一是判斷學(xué)習(xí)者形成性考核合格，二是形成性考核對教學(xué)存在促進(jìn)作用。這一推論的假設(shè)是教師對學(xué)習(xí)者的形成性考核成績做出及時(shí)反饋，并且學(xué)習(xí)者在收到教師反饋后對學(xué)習(xí)方法和學(xué)習(xí)過程做出及時(shí)修正，同時(shí)教師對教學(xué)安排和教學(xué)方法做出一定程度的修正以進(jìn)一步促進(jìn)教學(xué)。該論證鏈中的推論和假設(shè)可以用圖2來具體呈現(xiàn)。

圖2 形成性考核的解釋論證

推論和假設(shè)是解釋論證的核心，這些推論和假設(shè)需要通過一系列的分析和實(shí)證研究進(jìn)行檢驗(yàn)，這就是效度論證。因此，我們需要搜集對解釋論證中包含的推論進(jìn)行驗(yàn)證所需要的所有證據(jù)。如果解釋論證中所有的推論和假設(shè)都經(jīng)得起嚴(yán)格的檢驗(yàn)，則判斷該解釋論證成立。（胥云，2011）

（二）研究對象

本研究將運(yùn)用“基于論證的效度驗(yàn)證模式”對上海開放大學(xué)英語專業(yè)?？谱蚤_課程形成性考核模式的效度進(jìn)行研究。研究選取2013春上海開大英語專業(yè)?？迫孔蚤_課程，首先對這些自開課程所采用的形成性考核模式進(jìn)行統(tǒng)計(jì)，其次運(yùn)用“基于論證的效度驗(yàn)證模式”對其中每一種形成性考核模式建立解釋論證，并詳細(xì)地羅列推論得以成立的各種假設(shè)，再根據(jù)假設(shè)搜集相關(guān)證據(jù)并對所有模式進(jìn)行一一驗(yàn)證。證據(jù)的收集渠道包括資料查詢、師生調(diào)查問卷和個(gè)別訪談等。

研究分析與研究結(jié)果

（一）形成性考核模式統(tǒng)計(jì)

2013春上海開放大學(xué)英語專業(yè)專科實(shí)際開設(shè)課程16門，除畢業(yè)作業(yè)沒有形成性考核以外，其余15門課程均設(shè)有形成性考核，且形考比重占課程總成績的30%到100%不等。形成性考核的具體模式包括網(wǎng)上記分作業(yè)、書面作業(yè)、期中測試三種比較固定的模式，以及課程責(zé)任教師可自行設(shè)定的其他類別，包括課堂表現(xiàn)、學(xué)習(xí)表現(xiàn)、平時(shí)口語作業(yè)、小組活動(dòng)等等（見表1）。如果對以上所有形考模式按照課程所采用的頻度排序，排序過程中合并類似項(xiàng)，如合并實(shí)踐小組活動(dòng)、小組活動(dòng)和小組學(xué)習(xí)為小組活動(dòng)，合并平時(shí)作業(yè)、平時(shí)口語作業(yè)和書面作業(yè)為平時(shí)作業(yè)，合并課堂表現(xiàn)和學(xué)習(xí)表現(xiàn)為學(xué)習(xí)表現(xiàn)，合并期中口試和期中測試為期中測試，則形成如圖3所示的柱形圖。

表1 2013春上海開大英語專業(yè)?？谱蚤_課程形成性考核模式與比例

圖3 英語專業(yè)?？谱蚤_課程形成性考核模式頻數(shù)

由此可知，在英語專業(yè)?？崎_設(shè)的這15門課程的形成性考核模式中，使用頻數(shù)最高的是網(wǎng)上記分作業(yè)，頻數(shù)為15，也就是說15門課程都采用了這一考核模式。其次是平時(shí)作業(yè)和學(xué)習(xí)表現(xiàn)，頻數(shù)為10，然后是小組活動(dòng)（頻數(shù)5）和期中測試（頻數(shù)4）。頻數(shù)最低的是虛擬英語實(shí)訓(xùn)室，頻數(shù)為1?？梢姡褂妙l數(shù)最高、重要性顯而易見的三種形成性考核模式分別為網(wǎng)上記分作業(yè)、平時(shí)作業(yè)和學(xué)習(xí)表現(xiàn)，其余3種形成性考核模式個(gè)別化傾向明顯，在效度研究中可以選擇有代表性的做典型研究。因此，下文對以上形成性考核模式的效度驗(yàn)證將依循重要性遞減的順序進(jìn)行。

（二）形成性考核模式效度驗(yàn)證

1.網(wǎng)上記分作業(yè)的效度驗(yàn)證

根據(jù)“基于論證的效度驗(yàn)證模式”，筆者首先對網(wǎng)上記分作業(yè)這一考核模式建立解釋論證框架，詳細(xì)羅列各種推論和假設(shè)，如圖4所示。其次，對照解釋論證中的推論和假設(shè)搜集相應(yīng)的證據(jù)以驗(yàn)證其有效性。

圖4 網(wǎng)上記分作業(yè)的解釋論證

首先第一個(gè)推論，由“觀察”到的學(xué)習(xí)者在網(wǎng)上記分作業(yè)中的表現(xiàn)經(jīng)由“評分”推論出“觀察到的分?jǐn)?shù)”。事實(shí)上，由于學(xué)習(xí)者是在課外環(huán)境下完成的網(wǎng)上記分作業(yè)，評分者或者說教師是看不到他們在完成記分作業(yè)時(shí)的表現(xiàn)的，也就是說教師對學(xué)習(xí)者于何時(shí)、何地、以何方法完成網(wǎng)上記分作業(yè)不甚清楚。那么，我們是否有理由存有這樣的疑問：網(wǎng)上記分作業(yè)真的是由學(xué)習(xí)者本人完成的嗎？完成記分作業(yè)時(shí)會(huì)有諸如抄襲等作弊現(xiàn)象存在嗎？如果存在以上現(xiàn)象，那么網(wǎng)上記分作業(yè)的信度就大打折扣。因?yàn)椤靶哦雀摺切Ф雀叩谋匾獥l件……”（吳根洲，2008），缺乏信度的測試，其效度也勢必大受影響。而關(guān)于網(wǎng)上記分作業(yè)的評分標(biāo)準(zhǔn)問題，因網(wǎng)上記分作業(yè)全為客觀題，且由系統(tǒng)自動(dòng)打分，不存在人為的評分不公或因評分人員不一致而產(chǎn)生評分不公問題，因此該假設(shè)成立。

其次，由觀察到的網(wǎng)上記分作業(yè)成績經(jīng)過概化推論出“域分?jǐn)?shù)”。這里的假設(shè)是網(wǎng)上記分作業(yè)的形式和內(nèi)容能對學(xué)習(xí)者的英語能力做出比較準(zhǔn)確的衡量。這里要搜集的是基于測驗(yàn)的形式和內(nèi)容的憑證，也即某些研究者所說的“內(nèi)容效度”。內(nèi)容效度是指測試任務(wù)對目標(biāo)使用域（targetlanguageusedomain）或真實(shí)語境中語言任務(wù)的代表程度（contentcover?age） 和相關(guān)程度 （contentrelevance）（Bach?man,1990）。對內(nèi)容效度的驗(yàn)證可以通過下述兩種方式進(jìn)行：一是通過專家或有經(jīng)驗(yàn)的教師判斷所出試題的內(nèi)容是否符合真實(shí)語境的任務(wù)，二是試題是否反映了教學(xué)大綱的要求。鑒于前者相對而言比較主觀，筆者采取第二種方式，即對照每門課程的教學(xué)大綱考察網(wǎng)上記分作業(yè)內(nèi)容的關(guān)聯(lián)性和覆蓋面。根據(jù)關(guān)聯(lián)性的定義可知，如果網(wǎng)上記分作業(yè)的內(nèi)容與教學(xué)大綱的關(guān)聯(lián)度較高，說明網(wǎng)上記分作業(yè)具備較高的關(guān)聯(lián)性；反之則關(guān)聯(lián)性較低。同理，如果網(wǎng)上記分作業(yè)考察了教學(xué)大綱中所要求的所有教學(xué)點(diǎn)，則說明網(wǎng)上記分作業(yè)的內(nèi)容覆蓋面較廣。

這里要說明的一個(gè)問題是，上海開放大學(xué)英語專業(yè)?？谱蚤_課程的記分作業(yè)次數(shù)為2-7次不等，絕大部分課程的記分作業(yè)次數(shù)在3次左右，且每次作業(yè)的題量也不等。據(jù)統(tǒng)計(jì)，各課程中題量最大的是綜合英語（1），7次作業(yè)題量總數(shù)達(dá)到304題，而題量最少的課程只有45題。題量少這一事實(shí)在客觀上影響了網(wǎng)上記分作業(yè)的內(nèi)容覆蓋面。由此，筆者得出如表2所示的數(shù)據(jù)。可見，上海開放大學(xué)英語專業(yè)?？谱蚤_課程網(wǎng)上記分作業(yè)的內(nèi)容關(guān)聯(lián)性總體而言較高，而內(nèi)容覆蓋面卻差強(qiáng)人意。

表2 2013春上海開大英語專業(yè)?？谱蚤_課程網(wǎng)上記分作業(yè)內(nèi)容效度

第三，根據(jù)“域分?jǐn)?shù)”經(jīng)過“外推”得出“目標(biāo)分?jǐn)?shù)”，即從學(xué)習(xí)者在網(wǎng)上記分作業(yè)中的表現(xiàn)推論他在目標(biāo)情景中或者說非考試情景中的表現(xiàn)。這一推論中的假設(shè)是學(xué)習(xí)者完成網(wǎng)上記分作業(yè)所使用的能力和策略都是其在英語環(huán)境下完成任務(wù)和進(jìn)行溝通所需要的。這里需要解決兩個(gè)問題：其一，完成網(wǎng)上記分作業(yè)的是否就是學(xué)習(xí)者本人？其二，學(xué)習(xí)者完成網(wǎng)上記分作業(yè)所使用的能力和策略都是其在英語環(huán)境下完成任務(wù)和進(jìn)行溝通所需要的嗎？對于第一個(gè)問題的回答，前文已經(jīng)說過，網(wǎng)上記分作業(yè)是在學(xué)習(xí)者不受監(jiān)控的狀態(tài)下完成的，因此我們不能保證完成作業(yè)的就是學(xué)習(xí)者本人，也就不能保證其有效性。對于第二個(gè)問題，英語專業(yè)的各門課程，除了“英語國家概況”主要考察識記能力以外，其余課程基本上圍繞聽說讀寫譯等應(yīng)用能力進(jìn)行。而上海開放大學(xué)網(wǎng)上記分作業(yè)的題型限定為單選題、復(fù)選題或是非題，全部屬于客觀題，如果說聽、讀等被動(dòng)接受能力能夠通過客觀題的形式得到考察的話，說和寫，尤其是口譯這些屬于主動(dòng)輸出形式的英語應(yīng)用能力，單純依靠幾個(gè)選擇題和判斷題進(jìn)行評估，其有效性值得商榷。

第四，考試用途，判斷學(xué)習(xí)者網(wǎng)上記分作業(yè)成績合格，同時(shí)判斷網(wǎng)上記分作業(yè)對教學(xué)存在促進(jìn)作用。這一推論中的假設(shè)是教師對學(xué)習(xí)者的網(wǎng)上記分作業(yè)成績做出及時(shí)反饋，并且學(xué)習(xí)者在收到教師反饋后對學(xué)習(xí)方法和學(xué)習(xí)過程做出及時(shí)修正，同時(shí)教師對教學(xué)安排和教學(xué)方法做出一定程度的修正以進(jìn)一步促進(jìn)教學(xué)。那么事實(shí)究竟如何？上海開放大學(xué)的網(wǎng)上記分作業(yè)全部在網(wǎng)上進(jìn)行，由系統(tǒng)自動(dòng)打分并記錄成績。無論課程責(zé)任教師還是面授教師，在整個(gè)教學(xué)過程中不需要對網(wǎng)上記分作業(yè)做任何點(diǎn)評。通過學(xué)習(xí)者訪談筆者還了解到，面授教師很少顧及網(wǎng)上記分作業(yè)，除了偶爾提醒學(xué)生在截止日期之前完成記分作業(yè)以外，對記分作業(yè)內(nèi)容幾乎不做講解。由此可知，教師對網(wǎng)上記分作業(yè)缺乏反饋，學(xué)習(xí)者和教師都沒有因網(wǎng)上記分作業(yè)而對自己的學(xué)習(xí)和教學(xué)活動(dòng)做出過改進(jìn)。

因此，從論證鏈的四個(gè)環(huán)節(jié)來看，除了第一個(gè)環(huán)節(jié)的評分標(biāo)準(zhǔn)適用于網(wǎng)上記分作業(yè)以外，其余三個(gè)環(huán)節(jié)都存在或多或少的缺憾：第二個(gè)環(huán)節(jié)由于記分作業(yè)的覆蓋面較低導(dǎo)致內(nèi)容效度較低；第三個(gè)環(huán)節(jié)，我們既不能保證完成網(wǎng)上記分作業(yè)的就是學(xué)習(xí)者本人，也不認(rèn)為英語各項(xiàng)能力、尤其是主觀輸出能力能夠通過客觀題型得到測量；第四個(gè)環(huán)節(jié)，課程責(zé)任教師和面授教師都沒有對網(wǎng)上記分作業(yè)成績做出及時(shí)反饋，記分作業(yè)對教學(xué)的促進(jìn)作用得不到體現(xiàn)。綜上所述，筆者認(rèn)為上海開放大學(xué)英語專業(yè)?？谱蚤_課程網(wǎng)上記分作業(yè)的效度較低。

2.平時(shí)作業(yè)的效度驗(yàn)證

筆者對平時(shí)作業(yè)以及其它形式的形成性考核模式都做了如圖4所示的解釋論證圖，詳細(xì)羅列了推論的各個(gè)步驟和其中的假設(shè)?？紤]到版面問題，這里只直接呈現(xiàn)對于各種形成性考核模式的證據(jù)搜集和驗(yàn)證過程。

對平時(shí)作業(yè)進(jìn)行效度驗(yàn)證需要搜集的第一個(gè)證據(jù)是平時(shí)作業(yè)的評分標(biāo)準(zhǔn)，需要論證的是評分標(biāo)準(zhǔn)適用于平時(shí)作業(yè)，且在評分過程中嚴(yán)格按照該評分標(biāo)準(zhǔn)進(jìn)行了評分。據(jù)統(tǒng)計(jì)，上海開放大學(xué)英語專業(yè)?？?5門自開課程中有10門課程采用了平時(shí)作業(yè)這一形成性考核模式，其中6門為書面作業(yè)，3門為平時(shí)口語作業(yè)，1門為平時(shí)作業(yè)。課程責(zé)任教師在課程形成性考核實(shí)施細(xì)則中就已經(jīng)明確規(guī)定作業(yè)內(nèi)容的有4門，其余6門均給了一定的指導(dǎo)性意見，具體的作業(yè)內(nèi)容以及成績評定方式都由課程面授教師決定。那么，課程面授教師如何對學(xué)生的平時(shí)作業(yè)進(jìn)行評分呢？通過對部分面授教師的訪談，筆者了解到，教師布置書面作業(yè)后通常會(huì)給學(xué)生留一到兩周的時(shí)間，然后收繳作業(yè)進(jìn)行批閱；有的教師會(huì)隨堂完成書面作業(yè)和平時(shí)口語作業(yè)，隨堂或課后批閱。在作業(yè)的批閱過程中，基本上能做到一個(gè)標(biāo)準(zhǔn)，客觀公正。但讓教師比較為難的是遲交作業(yè)者的作業(yè)評閱問題。部分學(xué)生出勤率不理想，教師布置作業(yè)的時(shí)候不在場，不知道要做作業(yè)也不知道作業(yè)內(nèi)容；有的學(xué)生雖然在場，但在完成作業(yè)方面存在拖沓現(xiàn)象。這兩種學(xué)生往往要等到教師或輔導(dǎo)員短信或電話通知或再三催促才會(huì)上交作業(yè)，而彼時(shí)教師已經(jīng)評閱完該次作業(yè)且已公布參考答案。這種情況下，教師往往無法確認(rèn)學(xué)生是獨(dú)立完成的作業(yè)還是參考了公布的答案，所給分?jǐn)?shù)真實(shí)性存疑。還有一種情況是，部分學(xué)生的作業(yè)直接以打印的形式并委托同學(xué)或輔導(dǎo)員上交，教師無法判斷完成作業(yè)的是否是學(xué)生本人。因此，筆者認(rèn)為平時(shí)作業(yè)的評閱過程存在諸多公正性問題，亟待解決。

平時(shí)作業(yè)效度驗(yàn)證的第二個(gè)假設(shè)是平時(shí)作業(yè)的形式和內(nèi)容能對學(xué)習(xí)者的英語能力做出比較準(zhǔn)確的衡量，需要驗(yàn)證的是平時(shí)作業(yè)的內(nèi)容效度。這一點(diǎn)跟網(wǎng)上記分作業(yè)相似。據(jù)統(tǒng)計(jì)，10門有平時(shí)作業(yè)的課程中，6門課程建議完成2-5次作業(yè)，4門課程沒有規(guī)定作業(yè)次數(shù)。規(guī)定次數(shù)的基本上是布置書面作業(yè)的課程，而沒有次數(shù)規(guī)定的課程布置的是口語或口譯作業(yè)（表3）。從平時(shí)作業(yè)的內(nèi)容關(guān)聯(lián)性來看，凡是規(guī)定了具體作業(yè)內(nèi)容的課程，或者給出了具體作業(yè)建議的，其內(nèi)容關(guān)聯(lián)性都較高；但內(nèi)容覆蓋面依然顯得不夠廣，如“綜合英語（2）”要求教師至少批改2次學(xué)生的形成性考核作業(yè)冊，“綜合英語（3）”要求學(xué)生完成5次寫作。筆者認(rèn)為，無論是形成性考核作業(yè)冊還是寫作，都不足以覆蓋綜合英語課程要求學(xué)生掌握的各大知識點(diǎn)和各項(xiàng)英語應(yīng)用能力。理想的狀態(tài)應(yīng)該是由課程面授教師在授課過程中根據(jù)學(xué)習(xí)者的具體情況經(jīng)常性地布置各種作業(yè)，并給予及時(shí)批閱和反饋。但因?yàn)槿狈χ贫鹊闹萍s，沒有規(guī)定次數(shù)和具體內(nèi)容的平時(shí)作業(yè)成了學(xué)生考核的死角，面授教師布置平時(shí)作業(yè)隨意性極大，期末時(shí)只有成績而所做作業(yè)無從考證的現(xiàn)象不在少數(shù)。

表3 2013春上海開大英語專業(yè)?？谱蚤_課程平時(shí)作業(yè)內(nèi)容效度

平時(shí)作業(yè)效度驗(yàn)證的第三個(gè)假設(shè)是學(xué)習(xí)者完成平時(shí)作業(yè)所使用的能力和策略都是其在英語環(huán)境下完成任務(wù)和進(jìn)行溝通所需要的。和網(wǎng)上記分作業(yè)相同，這里要搜集的證據(jù)一是完成平時(shí)作業(yè)的是否就是學(xué)習(xí)者本人，二是學(xué)習(xí)者完成平時(shí)作業(yè)所使用的能力和策略是否是其在英語環(huán)境下完成任務(wù)和進(jìn)行溝通所需要的。對于第一個(gè)問題，如前文所述一直存在疑問；對于第二個(gè)問題，如果平時(shí)作業(yè)衡量的不是英語聽說讀寫譯等各大能力的合集，也就是說如果平時(shí)作業(yè)只考核了英語聽說讀寫譯等能力的其中一種或幾種，則其有效性將受到影響。

平時(shí)作業(yè)效度驗(yàn)證的第四個(gè)假設(shè)是教師對學(xué)習(xí)者的平時(shí)作業(yè)成績做出及時(shí)反饋，并且學(xué)習(xí)者在收到教師反饋后對學(xué)習(xí)方法和學(xué)習(xí)過程做出及時(shí)修正，同時(shí)教師對教學(xué)安排和教學(xué)方法做出一定程度的修正以進(jìn)一步促進(jìn)教學(xué)。通過對學(xué)習(xí)者的訪談，筆者得知，某些課程的平時(shí)作業(yè)上交后再也沒有回到過學(xué)習(xí)者手上，學(xué)習(xí)者甚至都不知道自己的成績。問其原因，部分面授教師和輔導(dǎo)員表示“是為了保存文件”的需要，不發(fā)給學(xué)生是“擔(dān)心作業(yè)回到學(xué)生手上后收不回來”。

可見，平時(shí)作業(yè)由于評分過程公正性較難把握、內(nèi)容效度偏低、對學(xué)生各項(xiàng)能力的考察不夠全面、部分面授教師沒有對平時(shí)作業(yè)做出及時(shí)反饋以促進(jìn)教學(xué)，從而導(dǎo)致整體效度較低。

3.學(xué)習(xí)表現(xiàn)的效度驗(yàn)證

對學(xué)習(xí)表現(xiàn)進(jìn)行效度驗(yàn)證，筆者建立的假設(shè)是：使用的評分標(biāo)準(zhǔn)適用于學(xué)習(xí)表現(xiàn)，考核過程中嚴(yán)格按照該評分標(biāo)準(zhǔn)進(jìn)行了評分；學(xué)習(xí)表現(xiàn)的具體指標(biāo)能對所要評估的內(nèi)容做出比較準(zhǔn)確的衡量；學(xué)習(xí)表現(xiàn)能體現(xiàn)學(xué)習(xí)者真實(shí)的學(xué)習(xí)能力和英語運(yùn)用能力；教師對學(xué)習(xí)者的學(xué)習(xí)表現(xiàn)做出及時(shí)反饋，學(xué)習(xí)者對學(xué)習(xí)方法和學(xué)習(xí)過程做出及時(shí)修正，教師對教學(xué)安排和教學(xué)方法做出修正以進(jìn)一步促進(jìn)教學(xué)。

首先，筆者對各課程學(xué)習(xí)表現(xiàn)的具體指標(biāo)進(jìn)行了統(tǒng)計(jì)，發(fā)現(xiàn)課程責(zé)任教師對學(xué)習(xí)表現(xiàn)的界定不一：有的教師單純考核學(xué)生的課堂表現(xiàn)，包括學(xué)生的出勤、課堂紀(jì)律、課堂上參與教學(xué)活動(dòng)的程度以及表現(xiàn)等；有的教師考核的范圍較廣，學(xué)習(xí)表現(xiàn)涵蓋學(xué)習(xí)者的課堂表現(xiàn)、學(xué)習(xí)態(tài)度、參與小組活動(dòng)以及BBS活動(dòng)的情況等；而有的教師則把學(xué)習(xí)者參與小組活動(dòng)的情況單獨(dú)作為考核指標(biāo)。由于這樣做的課程不少，因此，為了使分類更為清晰，筆者把學(xué)習(xí)者的小組活動(dòng)參與情況從學(xué)習(xí)表現(xiàn)中剔除，作為一種形成性考核模式單獨(dú)進(jìn)行驗(yàn)證。

其次，對各課程的形成性考核實(shí)施細(xì)則進(jìn)行研究后發(fā)現(xiàn)，課程責(zé)任教師對于學(xué)習(xí)表現(xiàn)并沒有規(guī)定具體的考核細(xì)則和評分標(biāo)準(zhǔn)。比如，學(xué)生出勤多少次才算合格？在BBS上如何表現(xiàn)才算優(yōu)秀？不上線肯定不算優(yōu)秀，但在線不發(fā)言或所發(fā)的帖子跟BBS主題不相關(guān)的情況又如何評定？據(jù)了解，面授教師在教學(xué)過程中很少對以上問題進(jìn)行記錄和統(tǒng)計(jì)，在期末成績評定時(shí)通常根據(jù)的是教師本人對學(xué)生的大概印象，“覺得這個(gè)學(xué)生不錯(cuò)就給個(gè)較好的分?jǐn)?shù)，不太認(rèn)識的學(xué)生學(xué)習(xí)表現(xiàn)分就較低”。因?yàn)槭菑挠∠蟪霭l(fā)，所以最終教師考慮的評分點(diǎn)都會(huì)落到課堂表現(xiàn)上，從而在實(shí)際操作中忽略了BBS表現(xiàn)等其它要點(diǎn)。

第三，學(xué)習(xí)表現(xiàn)能否體現(xiàn)學(xué)習(xí)者真實(shí)的學(xué)習(xí)能力和英語運(yùn)用能力呢？研究發(fā)現(xiàn)，學(xué)習(xí)表現(xiàn)更多體現(xiàn)的是學(xué)習(xí)者的學(xué)習(xí)態(tài)度和參與學(xué)習(xí)的程度，如出勤、課堂紀(jì)律、課堂上參與教學(xué)活動(dòng)的程度、BBS活動(dòng)的參與度等；學(xué)習(xí)能力和英語運(yùn)用能力的體現(xiàn)較少，僅指學(xué)生課堂上參與教學(xué)活動(dòng)的表現(xiàn)和BBS的表現(xiàn)，同時(shí)，沒有客觀衡量的指標(biāo)。而且，各指標(biāo)的情況也較復(fù)雜，比如學(xué)生出勤低、BBS活動(dòng)參與較少是否一定說明學(xué)生學(xué)習(xí)態(tài)度欠佳、參與學(xué)習(xí)程度較低？如果學(xué)生是因?yàn)槊媸谂c工作時(shí)間相沖突導(dǎo)致未能到課、而本人在課外進(jìn)行了較好的自學(xué)，這種情況又如何評判？所以筆者認(rèn)為此處“參與學(xué)習(xí)的程度”指的應(yīng)該是“參與教師看得見的學(xué)習(xí)的程度”，是無法對教師所不知道的學(xué)習(xí)進(jìn)行評判的。

總之，課程責(zé)任教師對學(xué)習(xí)表現(xiàn)內(nèi)涵的理解不一致，學(xué)習(xí)表現(xiàn)缺乏具體的考核細(xì)則和評分標(biāo)準(zhǔn)，未能有效體現(xiàn)學(xué)習(xí)者真實(shí)的學(xué)習(xí)能力和英語運(yùn)用能力，整體效度較低。

4.小組活動(dòng)、期中測試和虛擬英語實(shí)訓(xùn)室的效度驗(yàn)證

在上海開放大學(xué)英語專業(yè)?？频娜孔蚤_課程中，小組活動(dòng)、期中測試和虛擬英語實(shí)訓(xùn)室是使用頻數(shù)最低的三種形成性考核模式，分別只有5門、4門和1門，個(gè)別化傾向明顯。但如果把上文所說的納入學(xué)習(xí)表現(xiàn)范疇的小組活動(dòng)提取出來，則小組活動(dòng)的頻數(shù)增加到8門。因此，本文僅以頻數(shù)最高、具有代表性的小組活動(dòng)為例來驗(yàn)證該形考模式的效度。

同樣，對小組活動(dòng)的效度進(jìn)行驗(yàn)證，筆者所要搜集的證據(jù)是：小組活動(dòng)的評分標(biāo)準(zhǔn)適用于該形考模式，且教師在評分過程中嚴(yán)格按照該評分標(biāo)準(zhǔn)進(jìn)行了評分；小組活動(dòng)的形式和內(nèi)容能對學(xué)習(xí)者的英語能力做出比較準(zhǔn)確的衡量；學(xué)習(xí)者完成小組活動(dòng)所使用的能力和策略都是其在英語環(huán)境下完成任務(wù)和進(jìn)行溝通所需要的；教師對小組活動(dòng)的成績做出及時(shí)反饋、學(xué)習(xí)者對學(xué)習(xí)方法和學(xué)習(xí)過程做出及時(shí)修正、教師對教學(xué)安排和教學(xué)方法做出修正。

經(jīng)統(tǒng)計(jì)，所有設(shè)定小組活動(dòng)的課程除了在教學(xué)實(shí)施細(xì)則中對小組活動(dòng)的人員安排和活動(dòng)內(nèi)容做了指導(dǎo)性建議外，都沒有規(guī)定小組活動(dòng)的具體形式和內(nèi)容。經(jīng)過學(xué)生訪談，筆者得知每個(gè)班級都設(shè)有學(xué)習(xí)小組，每個(gè)學(xué)習(xí)小組都有小組活動(dòng)記錄本；小組成員和組長根據(jù)學(xué)生意愿和輔導(dǎo)員安排相結(jié)合的形式確定。對于小組活動(dòng)的組織情況和效果，有學(xué)生坦言，因?yàn)椴⒉磺宄唧w的要求，所以只要小組成員基本到齊，一起活動(dòng)一下就算完成任務(wù)了。也有部分小組活動(dòng)“因?yàn)樯厦娌粰z查”而流于形式，甚至出現(xiàn)“閉門造車”的情況，組長或個(gè)別活躍分子僅僅依靠一支筆就憑空造出一個(gè)小組活動(dòng)來，然后任課教師根據(jù)學(xué)生上交的活動(dòng)記錄本打分。對于小組成員的考核，有的教師采取打整體分的形式進(jìn)行，即小組的得分就是小組成員個(gè)人的得分，這種打分方式看似公平，實(shí)則有失公允，一定程度上打擊了多作貢獻(xiàn)者的積極性。尤其對于小組活動(dòng)的情況考察，若非教師親自參與活動(dòng)，是不可能了解每個(gè)學(xué)生的真實(shí)情況的。

可見，小組活動(dòng)由于缺乏具體的引導(dǎo)和有效監(jiān)控，并沒有達(dá)到課程設(shè)計(jì)者所期望達(dá)到的效果，從而導(dǎo)致整體效度較低。

結(jié)語

本文運(yùn)用“基于論證的效度驗(yàn)證模式”，對2013春上海開放大學(xué)英語專業(yè)專科自開課程形成性考核模式的效度進(jìn)行了研究。研究對該學(xué)期各形考模式使用頻數(shù)的高低進(jìn)行排序，按重要性遞減的順序依次對網(wǎng)上記分作業(yè)、平時(shí)作業(yè)、學(xué)習(xí)表現(xiàn)和小組活動(dòng)四種形考模式進(jìn)行了驗(yàn)證；其余兩種形考模式，即期中測試和虛擬英語實(shí)訓(xùn)室由于采用課程較少而未計(jì)入驗(yàn)證之列。研究發(fā)現(xiàn)，上述四種形考模式的整體效度都較低，除了網(wǎng)上記分作業(yè)因?yàn)槿吭诰W(wǎng)上進(jìn)行，由系統(tǒng)自動(dòng)打分而比較特殊以外，余下三者概括起來有以下幾個(gè)共同的缺憾：①缺乏具體的實(shí)施細(xì)則導(dǎo)致概念模糊，執(zhí)行情況良莠不齊；②缺乏具體的評分標(biāo)準(zhǔn)導(dǎo)致評分帶有主觀傾向；③缺乏有效的監(jiān)督機(jī)制，誠信度不高；④教師對學(xué)生表現(xiàn)反饋不足，導(dǎo)致形成性考核對教學(xué)的促進(jìn)和反撥作用不強(qiáng)。而網(wǎng)上記分作業(yè)除了具備后兩條不足之外，還由于內(nèi)容覆蓋面較小而導(dǎo)致內(nèi)容效度欠佳。

形成性考核是遠(yuǎn)程開放教育教學(xué)質(zhì)量保證體系的重要組成部分；是強(qiáng)化素質(zhì)教育，加強(qiáng)教學(xué)過程管理，反饋學(xué)習(xí)信息，改進(jìn)課程考核方式的重要措施；是測評學(xué)生學(xué)習(xí)效果，促進(jìn)學(xué)生自主學(xué)習(xí)，提高學(xué)生綜合素質(zhì)和能力的重要途徑。形成性考核的重要意義不言而喻。但我們也不得不承認(rèn)，在形成性考核日漸成熟的過程中會(huì)存在這樣那樣的問題，有些制度還來不及完善，有些問題還沒來得及解決。這就需要從事遠(yuǎn)程開放教育的教學(xué)和管理人員共同努力，查漏補(bǔ)缺，提出能解決實(shí)際問題的有效措施，保證形成性考核的效度以切實(shí)促進(jìn)教學(xué)。

本文是對目前采用的形成性考核模式的效度進(jìn)行驗(yàn)證的一種嘗試，希望能揭示形成性考核執(zhí)行過程中存在的一些問題，引起遠(yuǎn)程開放教育教學(xué)和管理人員的重視，切實(shí)采取改進(jìn)措施以進(jìn)一步完善與形成性考核有關(guān)的各種機(jī)制和具體環(huán)節(jié)。本文對完全基于網(wǎng)絡(luò)進(jìn)行遠(yuǎn)程教學(xué)的部分網(wǎng)院，亦有現(xiàn)實(shí)參考價(jià)值。

[1]Bachman,L.F.1990.FundamentalConsiderationsinLanguageTest?ing.Oxford,UK:OxfordUniversityPress.

[2]Bachman,L.F.2005.“Buildingandsupportingacasefortestuse”. LanguageAssessmentQuarterly2/1.

[3]Kane,M.T.“Certificationtestingasanillustrationofargu?ment-basedvalidation”.Measurement:InterdisciplinaryResearch andPerspectives2/3.2004.

[4]Kane,M.T.,T.Crooks&A.Cohen.1999.“Validatingmeasuresof performance”.EducationalMeasurement:IssuesandPractice18/2.

[5]Kane,M.T.“Validation”.EducationalMeasurement.2006.

[6]Kane,M.T.“Validatinghigh-takestestingprograms”.Educational Measurement:IssuesandPractice21/1.2002.

[7]“中央廣播電視大學(xué)人才培養(yǎng)模式改革和開放教育試點(diǎn)”項(xiàng)目研究工作實(shí)施意見，（高教廳[1999]4號）。

[8]吳根洲.高考效度研究[M].湖北：華中師范大學(xué)出版社，2008.

[9]謝小慶.對測驗(yàn)效度的一些新認(rèn)識，《考試研究》，天津人民出版社，2002：26.

[10]胥云.語言測試中基于論證的效度驗(yàn)證模式述評[J].外語教學(xué)理論與實(shí)踐，2011，（4）.

[11]楊晨.遠(yuǎn)程開放教育形成性考核模式架構(gòu)探析[J].開放教育研究，2005，（S1）.

[12]楊婷婷.我國開放教育形成性考核研究綜述[J].中國成人教育，2012，（17）：14-18.

[13]張睿，于忠黨.遠(yuǎn)程開放教育中形成性考核的探究[J].科技信息，2007，（17）.

責(zé)任編輯 三 川

G420

A

1009—458x（2014）02—0075—07

2013－09－30

陳荷男，碩士研究生，講師，上海開放大學(xué)外語系（200433）。

*本文系上海遠(yuǎn)程教育集團(tuán)課題“遠(yuǎn)程開放教育形成性考核模式與效度研究——以上海開放大學(xué)英語專業(yè)?？谱蚤_課程為例”(項(xiàng)目批準(zhǔn)號:JF1119)的階段性研究成果。