學(xué)生對(duì)線上診斷性測(cè)評(píng)反饋報(bào)告的評(píng)價(jià)調(diào)查研究

梁炯霞

(廣東科學(xué)技術(shù)職業(yè)學(xué)院 外國(guó)語(yǔ)學(xué)院，廣州 510640)

引言

近年來(lái)，線上教學(xué)、線上自主學(xué)習(xí)已經(jīng)發(fā)展成熟并成為日常教學(xué)的常態(tài)。教學(xué)與測(cè)試是同時(shí)存在、緊密聯(lián)系且相互作用的。測(cè)試是檢測(cè)教學(xué)效果和提高教學(xué)質(zhì)量的重要手段，是教學(xué)過(guò)程中不可欠缺的重要環(huán)節(jié)。因此，線上測(cè)試也應(yīng)與線上教學(xué)一樣得到重視和發(fā)展。本研究從學(xué)生的角度出發(fā)，探討學(xué)生對(duì)于線上診斷性測(cè)評(píng)反饋報(bào)告的看法，了解高中低水平學(xué)生的評(píng)價(jià)有何差異，并深入剖析造成差異的原因。由于目前國(guó)內(nèi)英語(yǔ)語(yǔ)言能力線上測(cè)評(píng)平臺(tái)較少，高質(zhì)量且免費(fèi)開(kāi)放的更少，因此，本研究選擇全球四大著名英語(yǔ)語(yǔ)言能力的線上診斷性評(píng)估平臺(tái)之一的DIALANG平臺(tái)，由Alderson團(tuán)隊(duì)于2005年研發(fā)。

一、研究背景

傳統(tǒng)的語(yǔ)言測(cè)試只提供一個(gè)籠統(tǒng)的考試分?jǐn)?shù)或語(yǔ)言能力估值，無(wú)法解釋具有相同分?jǐn)?shù)或相同語(yǔ)言能力的學(xué)生具有不同的知識(shí)狀態(tài)及不同認(rèn)知結(jié)構(gòu)這一現(xiàn)象。語(yǔ)言測(cè)試專家們更希望語(yǔ)言測(cè)試能夠提供診斷信息，能夠報(bào)告學(xué)生在考試中的認(rèn)知過(guò)程、知識(shí)結(jié)構(gòu)和加工技能，并對(duì)高能力被試與低能力被試的差別進(jìn)行刻畫(huà)，為教學(xué)和學(xué)習(xí)提供豐富的反饋信息。于是，20世紀(jì)90年代，以認(rèn)知診斷為核心的新一代測(cè)量理論應(yīng)運(yùn)而生。診斷性測(cè)評(píng)的測(cè)評(píng)方法與目標(biāo)等先天特質(zhì)，決定了診斷性測(cè)評(píng)只有與互聯(lián)網(wǎng)結(jié)合起來(lái)才能獲得發(fā)展。因此，線上診斷性測(cè)評(píng)研究應(yīng)該受到關(guān)注和重視，應(yīng)與線上教學(xué)研究并駕齊驅(qū)、齊頭并進(jìn)。

目前，國(guó)內(nèi)外主要通過(guò)構(gòu)建認(rèn)知模型來(lái)測(cè)量學(xué)生在考試中的知識(shí)結(jié)構(gòu)、加工技能，以及對(duì)細(xì)顆?；哪芰傩缘恼莆涨闆r。閱讀、聽(tīng)力方面的研究最多，寫(xiě)作和口語(yǔ)次之。如國(guó)外：Jang[1]，Li et al[2]，Yi[3]研究了閱讀和聽(tīng)力的認(rèn)知診斷性評(píng)估；Kim[4],Chapelle et al[5]對(duì)寫(xiě)作進(jìn)行認(rèn)知診斷研究；國(guó)內(nèi)：馬曉梅等[6]研發(fā)的英語(yǔ)視聽(tīng)診斷評(píng)估與策略指導(dǎo)一體化網(wǎng)絡(luò)系統(tǒng)，被作為西安交通大學(xué)的校本學(xué)習(xí)系統(tǒng)。范婷婷等[7]探討了英語(yǔ)閱讀能力認(rèn)知診斷測(cè)試中需解決的主要問(wèn)題，即理論基礎(chǔ)、屬性定義、題型選擇以及模型的可操作。閔尚超等[8]將聽(tīng)力能力劃分為六個(gè)認(rèn)知屬性，運(yùn)用四個(gè)不同性質(zhì)的認(rèn)知診斷模型，從?；J(rèn)知屬性層面探究英語(yǔ)聽(tīng)力理解中的互補(bǔ)性機(jī)制及其體現(xiàn)。孟亞茹等[9]基于認(rèn)知診斷評(píng)估，探索基于聽(tīng)力認(rèn)知屬性的動(dòng)態(tài)評(píng)估干預(yù)模式。此外，也有學(xué)者探討學(xué)生對(duì)診斷性反饋報(bào)告的看法，如Wagner[10],Jang et al[11]研究發(fā)現(xiàn)學(xué)生對(duì)反饋報(bào)告的態(tài)度不一、對(duì)利用該報(bào)告的效率并不理想，學(xué)生需要更多的指導(dǎo)才能高效利用反饋報(bào)告；田霖等[12]也有類似的研究結(jié)論。但是，總的來(lái)說(shuō)，國(guó)內(nèi)外對(duì)這方面的研究都不多，國(guó)內(nèi)更少。

因此，本文研究的問(wèn)題：(1)學(xué)生對(duì)DIALANG英語(yǔ)閱讀能力診斷性評(píng)估的反饋報(bào)告評(píng)價(jià)如何？(2)高中低水平學(xué)生的評(píng)價(jià)有何差異？造成差異的原因是什么？

二、研究設(shè)計(jì)

(一)研究對(duì)象

本文的研究對(duì)象為某高職院校大一學(xué)生，分別來(lái)自計(jì)算機(jī)軟件、體育保健與運(yùn)動(dòng)防護(hù)、體育產(chǎn)業(yè)營(yíng)銷、財(cái)務(wù)管理、建筑專業(yè)。該樣本專業(yè)和英語(yǔ)水平覆蓋面較廣，具有一定的代表性。

(二)研究方法

本研究主要采用文獻(xiàn)法、問(wèn)卷調(diào)查法。

(三)研究工具

本研究采用的DIALANG測(cè)試平臺(tái)是國(guó)外的英語(yǔ)語(yǔ)言能力在線測(cè)試平臺(tái)，于2005年由Alderson團(tuán)隊(duì)研發(fā)，提供 14種歐洲官方語(yǔ)言的多語(yǔ)種診斷性測(cè)試，涵蓋聽(tīng)力、閱讀、寫(xiě)作、詞匯、語(yǔ)法五大方面的語(yǔ)言能力測(cè)試。根據(jù)考生的答題情況，依照歐洲共同語(yǔ)言參考標(biāo)準(zhǔn)(簡(jiǎn)稱“歐框”)，該平臺(tái)提供語(yǔ)言能力級(jí)別診斷報(bào)告和學(xué)習(xí)建議。本研究只選用其中的閱讀能力診斷測(cè)試。DIALANG反饋報(bào)告主要包括：(1)級(jí)別診斷報(bào)告：A1，A2，B1，B2，C1，C2(級(jí)別水平由低至高依次遞增)；(2)各個(gè)級(jí)別的學(xué)習(xí)建議。

(四)統(tǒng)計(jì)工具

本研究使用SPSS 24.0進(jìn)行單因素方差分析。

(五)研究過(guò)程

為了更科學(xué)準(zhǔn)確地獲取學(xué)生對(duì)DIALANG英語(yǔ)閱讀能力診斷性評(píng)估反饋報(bào)告的態(tài)度和看法，本課題組開(kāi)發(fā)編制了一份較有針對(duì)性的問(wèn)卷。問(wèn)卷經(jīng)過(guò)多次試驗(yàn)和修改才最終確定。問(wèn)卷包含兩大部分：級(jí)別診斷報(bào)告和學(xué)習(xí)建議。級(jí)別診斷報(bào)告部分含6個(gè)題項(xiàng)，學(xué)習(xí)建議部分含8個(gè)題項(xiàng)，共計(jì)14題項(xiàng)。問(wèn)卷采用李克特5級(jí)計(jì)分量表形式，具體分為完全不同意(1分)、不同意(2分)、不確定(3分)、同意(4分)、完全同意(5分)共5個(gè)等級(jí)。

本研究通過(guò)問(wèn)卷星平臺(tái)發(fā)放問(wèn)卷，回收270份。為減少未認(rèn)真作答帶來(lái)的數(shù)據(jù)污染，剔除全選同一個(gè)答案的問(wèn)卷。剔除無(wú)效樣本問(wèn)卷后剩余252份進(jìn)行數(shù)據(jù)分析。

運(yùn)用描述性統(tǒng)計(jì)方法對(duì)252份問(wèn)卷進(jìn)行分析，了解學(xué)生對(duì)DIALANG英語(yǔ)閱讀能力診斷性評(píng)估反饋報(bào)告的態(tài)度和看法。

運(yùn)用單因素方差分析法，探究高中低三種測(cè)試水平的學(xué)生的態(tài)度看法是否具有顯著性差異。然后結(jié)合國(guó)內(nèi)外文獻(xiàn)、DIALANG測(cè)試平臺(tái)特點(diǎn)、學(xué)生特征，分析討論造成差異的原因。

三、結(jié)果與討論

(一)學(xué)生的態(tài)度與看法

1.級(jí)別診斷報(bào)告

總體而言，將近50%的學(xué)生認(rèn)為級(jí)別診斷報(bào)告簡(jiǎn)單易懂。但是，有接近30%的學(xué)生持相反意見(jiàn)，認(rèn)為該級(jí)別診斷報(bào)告生詞多，該級(jí)別診斷報(bào)告的用詞造句不易理解。約60.32%的學(xué)生認(rèn)為該級(jí)別診斷報(bào)告能準(zhǔn)確地診斷出其英語(yǔ)閱讀能力總體水平，9.13%學(xué)生認(rèn)為不能，30.56%學(xué)生表示不確定。57.14%學(xué)生認(rèn)為能準(zhǔn)確地診斷出我對(duì)英語(yǔ)閱讀能力各項(xiàng)技巧的掌握程度，10.31%學(xué)生認(rèn)為不能，32.54%學(xué)生持不確定意見(jiàn)。

2.學(xué)習(xí)建議

在學(xué)習(xí)建議的可理解性方面，41.27%的學(xué)生認(rèn)為該學(xué)習(xí)建議生詞很少，27.78%的學(xué)生持相反意見(jiàn)，30.95%學(xué)生保持中立態(tài)度。48.02%的學(xué)生認(rèn)為該學(xué)習(xí)建議的用詞簡(jiǎn)單易懂，27.38%學(xué)生表示該學(xué)習(xí)建議的用詞不易理解，24.6%學(xué)生表示不確定。52.78%學(xué)生認(rèn)為學(xué)習(xí)建議的句子結(jié)構(gòu)簡(jiǎn)單易懂，25.4%學(xué)生表示不確定，21.83%學(xué)生持相反意見(jiàn)。61.51%學(xué)生表示該學(xué)習(xí)建議具有現(xiàn)實(shí)可操作性，10.31%的學(xué)生表示相反意見(jiàn)，28.17%表示不確定。70.24%學(xué)生認(rèn)為該學(xué)習(xí)建議能為我進(jìn)行英語(yǔ)閱讀能力訓(xùn)練指明方向，8.73%持否定意見(jiàn)，21.03%表示不確定。61.11%的學(xué)生認(rèn)為其能夠在實(shí)際學(xué)習(xí)中運(yùn)用該學(xué)習(xí)建議中提到的方法，11.11%的學(xué)生持否定意見(jiàn)，27.78%的學(xué)生表示不確定。66.27%的學(xué)生認(rèn)為其能夠在現(xiàn)實(shí)環(huán)境中找到該學(xué)習(xí)建議中提到的資源，7.14%的學(xué)生持否定意見(jiàn)，26.59%的學(xué)生選擇中立立場(chǎng)。50%的學(xué)生認(rèn)為根據(jù)該學(xué)習(xí)建議能輕松地進(jìn)行英語(yǔ)閱讀訓(xùn)練，15.48%的學(xué)生持相反意見(jiàn)，34.52%的學(xué)生選擇中立立場(chǎng)。

(二)高中低水平差異情況

252份有效問(wèn)卷中，有四個(gè)水平的學(xué)生，具體分別是A1、A2、B1、B2四個(gè)等級(jí)水平。結(jié)合DIALNAG測(cè)試平臺(tái)對(duì)等級(jí)的劃分標(biāo)準(zhǔn)，以及學(xué)生平時(shí)的考試成績(jī)，即期末成績(jī)或期中成績(jī)，本研究把A1定為低水平，A2定為中水平，把B1和B2定為高水平。本研究在高中低三個(gè)測(cè)試水平學(xué)生中分別隨意抽取15份數(shù)據(jù)樣本，共計(jì)45份，進(jìn)行單因素方差分析。方差齊性檢驗(yàn)表數(shù)據(jù)顯示，P=0.260，大于0.05，說(shuō)明方差呈齊性，滿足方差分析的前提假定。方差分析推斷統(tǒng)計(jì)表顯示，sig.=0.439,大于0.05，說(shuō)明各組平均數(shù)之差沒(méi)有達(dá)到顯著水平(見(jiàn)下表)。

單因素組間方差分析推斷統(tǒng)計(jì)表

(三)討論

1.“不確定”的比例略高

在級(jí)別診斷報(bào)告和學(xué)習(xí)建議兩大部分問(wèn)卷中，學(xué)生被試選擇“不確定”的比例略高。14個(gè)題項(xiàng)中，每題的“不確定”選擇比例約在21%—35%區(qū)間。為何會(huì)有這么多學(xué)生選擇中立的態(tài)度？主要原因是問(wèn)卷填寫(xiě)前的準(zhǔn)備工作煩瑣復(fù)雜。首先，學(xué)生需要先觀看登錄操作視頻，按照視頻指示登錄DIALANG測(cè)試網(wǎng)頁(yè)進(jìn)行英語(yǔ)閱讀能力診斷性測(cè)試。該平臺(tái)的登錄步驟比較煩瑣。其次，該測(cè)試共有30道閱讀題，每題都是閱讀1—2個(gè)段落的小短文完成對(duì)應(yīng)選擇題的形式。與被試學(xué)生的平時(shí)英語(yǔ)測(cè)驗(yàn)相比，這個(gè)測(cè)試是有一定難度的，并且有些題型不太熟悉，至少需要25分鐘才能完成。完成測(cè)試之后，學(xué)生還需要認(rèn)真閱讀該測(cè)試平臺(tái)提供的級(jí)別診斷報(bào)告和學(xué)習(xí)建議，最后才開(kāi)始填寫(xiě)問(wèn)卷。換言之，學(xué)生在填寫(xiě)問(wèn)卷之前，已經(jīng)花費(fèi)了大量的時(shí)間和精力去做相關(guān)的準(zhǔn)備工作，在填寫(xiě)問(wèn)卷時(shí)難免帶有一點(diǎn)厭煩情緒。

2.級(jí)別診斷報(bào)告的準(zhǔn)確性

問(wèn)卷數(shù)據(jù)表明，均有10%左右的學(xué)生認(rèn)為該級(jí)別診斷報(bào)告不能準(zhǔn)確地診斷出其英語(yǔ)閱讀能力總體水平、對(duì)英語(yǔ)閱讀能力各項(xiàng)技巧的掌握程度。經(jīng)分析，背后原因主要有兩點(diǎn)。其一，對(duì)于被試學(xué)生而言，DIALANG平臺(tái)的英語(yǔ)閱讀能力測(cè)試題目總體偏難。題目偏難，區(qū)分度就低，不能很好地區(qū)分出高水平學(xué)生和低水平學(xué)生，難以反映學(xué)生的真實(shí)水平。其二，DIALANG平臺(tái)測(cè)試題目中有些題型是學(xué)生平時(shí)很少接觸的，并且整個(gè)平臺(tái)都是以英文呈現(xiàn)的，基礎(chǔ)差的學(xué)生未必能看懂所有的題目指示說(shuō)明，從而降低了測(cè)試的準(zhǔn)確性。其三，DIALANG平臺(tái)的測(cè)試結(jié)果診斷報(bào)告從低至高共分為六個(gè)等級(jí)：A1，A2，B1，B2，C1，C2，這與學(xué)生平時(shí)習(xí)慣的數(shù)值型分?jǐn)?shù)成績(jī)不同，不夠直觀明了。學(xué)生習(xí)慣了100分制的分?jǐn)?shù)，而這些等級(jí)與100分制之間沒(méi)有直接對(duì)等關(guān)系，他們很有可能因此覺(jué)得診斷報(bào)告不夠準(zhǔn)確。

3.學(xué)習(xí)建議的可行性

問(wèn)卷數(shù)據(jù)表明，有10%左右的學(xué)生不認(rèn)為該學(xué)習(xí)建議具有現(xiàn)實(shí)可操作性，能為其進(jìn)行英語(yǔ)閱讀能力訓(xùn)練指明方向、能在實(shí)際學(xué)習(xí)中運(yùn)用該學(xué)習(xí)建議中提到的方法、能在現(xiàn)實(shí)環(huán)境中找到該學(xué)習(xí)建議中提到的資源。15%的學(xué)生認(rèn)為根據(jù)該學(xué)習(xí)建議不能輕松地進(jìn)行英語(yǔ)閱讀訓(xùn)練。原因主要是：DIALANG是國(guó)外的在線測(cè)試平臺(tái)，其生成的學(xué)習(xí)建議自然是依據(jù)國(guó)外的情況條件設(shè)定的，有些建議在中國(guó)沒(méi)辦法實(shí)施。

4.高中低水平學(xué)生之間的觀點(diǎn)無(wú)顯著差異

單因素方差分析顯示，高中低三個(gè)測(cè)試水平的學(xué)生對(duì)DIALANG在線測(cè)試平臺(tái)的態(tài)度和看法沒(méi)有顯著性差異。經(jīng)分析，原因可能有如下幾點(diǎn)。其一，這個(gè)問(wèn)卷調(diào)查是在2020年6月實(shí)施的，恰逢新冠疫情時(shí)期，學(xué)校所有課程都實(shí)行線上教學(xué)，所以這個(gè)問(wèn)卷調(diào)查也是以線上的形式進(jìn)行。沒(méi)有教師在課堂上面對(duì)面監(jiān)督，學(xué)生填寫(xiě)問(wèn)卷難免有敷衍了事的心態(tài)。其二，學(xué)習(xí)建議部分問(wèn)卷的最后四道題目都是關(guān)于學(xué)習(xí)建議的可行性，由于大家的生活學(xué)習(xí)條件限制，所以三個(gè)水平學(xué)生的答案自然也是相似度高。其三，整個(gè)問(wèn)卷調(diào)查中，學(xué)生選擇“不確定”選項(xiàng)比例略高，因而導(dǎo)致三個(gè)水平之間沒(méi)有顯著差異。因此，問(wèn)卷中是否可以刪掉“不確定”這個(gè)中立態(tài)度的選項(xiàng)，也是一個(gè)值得斟酌的問(wèn)題。

結(jié)束語(yǔ)

隨著線上教學(xué)的常態(tài)化，線上測(cè)試必然成為教育發(fā)展的重中之重。了解學(xué)生對(duì)構(gòu)建線上測(cè)試平臺(tái)的態(tài)度和看法有助于提高平臺(tái)的使用率和有效性，從而推動(dòng)線上測(cè)試的改革創(chuàng)新和發(fā)展。本研究還有許多不足之處，例如某些問(wèn)卷題項(xiàng)還不夠科學(xué)；問(wèn)卷調(diào)查實(shí)施過(guò)程中，教師沒(méi)有面對(duì)面地讓學(xué)生進(jìn)行平臺(tái)測(cè)試然后填寫(xiě)問(wèn)卷。否則，將會(huì)獲取到更豐富、更理想的信息。