系統(tǒng)功能語(yǔ)言學(xué)視角的TEM—8寫(xiě)作評(píng)分量表構(gòu)念效度驗(yàn)證

劉睿

[摘 要] 為促進(jìn)學(xué)生讀寫(xiě)能力的發(fā)展，基于系統(tǒng)功能語(yǔ)言學(xué)元語(yǔ)言功能和語(yǔ)言三個(gè)層面的特點(diǎn)，設(shè)計(jì)了TEM-8寫(xiě)作評(píng)分量表，對(duì)某地方院校大四英語(yǔ)專(zhuān)業(yè)學(xué)生的寫(xiě)作樣本進(jìn)行了實(shí)評(píng)，采用因子分析方法對(duì)評(píng)分結(jié)果進(jìn)行了分析。結(jié)果表明，本研究設(shè)計(jì)的寫(xiě)作評(píng)分量表是有效的。

[關(guān) 鍵 詞] 元語(yǔ)言功能；寫(xiě)作評(píng)分量表；效度驗(yàn)證

[中圖分類(lèi)號(hào)] G642 [文獻(xiàn)標(biāo)志碼] A [文章編號(hào)] 2096-0603（2016）31-0063-03

一、引言

系統(tǒng)功能語(yǔ)言學(xué)是一種“適用語(yǔ)言學(xué)”，提出20多年來(lái)，解決了教育中很多實(shí)際問(wèn)題，為語(yǔ)言（母語(yǔ)、二語(yǔ)、外語(yǔ)）學(xué)習(xí)，提供了理論與實(shí)踐指導(dǎo)，促進(jìn)了學(xué)生讀寫(xiě)能力發(fā)展。在高等教育領(lǐng)域，語(yǔ)言學(xué)家、教育學(xué)家利用系統(tǒng)功能語(yǔ)言學(xué)理論在實(shí)踐中幫助學(xué)生發(fā)展閱讀能力（Rose，2005），幫助教師解決教學(xué)中遇到的問(wèn)題和困難（Halliday &Hasan， 2006）。

我國(guó)英語(yǔ)專(zhuān)業(yè)八級(jí)測(cè)試的目的是檢查學(xué)生是否能達(dá)到大綱規(guī)定的八級(jí)水平應(yīng)具有的綜合語(yǔ)言技能及交際能力，提高教學(xué)質(zhì)量。試題中TEM-8寫(xiě)作的總分為20分，要求考生根據(jù)所給題目及要求撰寫(xiě)各類(lèi)體裁約400個(gè)單詞的文章。近10年來(lái)，TEM-8寫(xiě)作題都是議論文體裁，注重考查考生議論文的寫(xiě)作能力。

系統(tǒng)功能語(yǔ)言學(xué)把語(yǔ)言看成生成意義的資源，注重從語(yǔ)義的視角考查語(yǔ)法，認(rèn)為語(yǔ)言的形式和意義是不可分的。在大學(xué)英語(yǔ)寫(xiě)作教學(xué)中，語(yǔ)類(lèi)理論主要用于描述語(yǔ)篇和語(yǔ)境的關(guān)系，可用來(lái)幫助學(xué)生使用語(yǔ)類(lèi)和語(yǔ)域構(gòu)建意義。以往的研究對(duì)象多側(cè)重描述已發(fā)表論文和教材語(yǔ)篇（Hewings，2002），對(duì)學(xué)生TEM-8的寫(xiě)作語(yǔ)篇的認(rèn)知評(píng)價(jià)方面仍有待研究。

二、研究設(shè)計(jì)

（一）研究問(wèn)題

本研究擬從系統(tǒng)功能語(yǔ)言學(xué)角度設(shè)計(jì)寫(xiě)作評(píng)分量表并驗(yàn)證其信度與效度，需研究三個(gè)問(wèn)題：評(píng)分量表設(shè)計(jì)構(gòu)念與寫(xiě)作能力評(píng)價(jià)的維度是否一致？評(píng)分量表是否能有效區(qū)分學(xué)生的能力？評(píng)分員使用評(píng)分量表評(píng)分時(shí)是否一致？

（二）研究步驟

研究分兩個(gè)階段。一是從理論上設(shè)計(jì)評(píng)分量表。包括：（1）研讀文獻(xiàn)，厘清評(píng)分量表的維度。（2）邀請(qǐng)寫(xiě)作測(cè)試的專(zhuān)家指導(dǎo)、分析量表各個(gè)維度所對(duì)應(yīng)的項(xiàng)目。（3）訪談寫(xiě)作教學(xué)的教師，收集、整理教師對(duì)量表各維度的意見(jiàn)與建議，初步形成寫(xiě)作評(píng)分量表。（4）進(jìn)一步討論、修訂描述語(yǔ)，完善評(píng)分量表。二是從實(shí)踐上檢驗(yàn)評(píng)分量表。通過(guò)比較評(píng)分員應(yīng)用量表評(píng)價(jià)考生寫(xiě)作樣本的情況，檢驗(yàn)評(píng)分量表的有效性。

（三）研究對(duì)象

本研究的寫(xiě)作樣本來(lái)自某地方院校英語(yǔ)專(zhuān)業(yè)的84名大四學(xué)生。他們都要參加2016年英語(yǔ)TEM-8考試，熟悉TEM-8考試寫(xiě)作題的要求。

（四）實(shí)驗(yàn)材料

試驗(yàn)材料采用2005年英語(yǔ)TEM-8寫(xiě)作考試題目：

Interview is frequently used by employers as a means to recruit prospective employees. As a result， there have been many arguments for or against the interview as a selection procedure. What is your opinion？ Write an essay of about 400 words to state your view.

該題屬于議論文體裁。每個(gè)學(xué)生在畢業(yè)找工作的過(guò)程中都有這方面的經(jīng)歷，在規(guī)定時(shí)間內(nèi)完成考試。收集學(xué)生作文并編號(hào)保存，為下一步實(shí)驗(yàn)做好準(zhǔn)備。

（五）評(píng)分量表設(shè)計(jì)

研究者在閱讀相關(guān)文獻(xiàn)的基礎(chǔ)上，參考、借鑒已有的寫(xiě)作的評(píng)分量表，初步設(shè)定一份評(píng)分量表。訪談46名熟悉英語(yǔ)專(zhuān)業(yè)八級(jí)寫(xiě)作教學(xué)的英語(yǔ)教師，讓每位教師寫(xiě)出他們能想到的寫(xiě)作評(píng)價(jià)的所有項(xiàng)目維度。在不改變?cè)獾那闆r下，逐條修改教師寫(xiě)出的評(píng)價(jià)項(xiàng)目，從中提煉出33條描述語(yǔ)，初步設(shè)計(jì)出一份評(píng)分量表。然后，歸納整理為調(diào)查問(wèn)卷（問(wèn)卷采用5點(diǎn)Likert量表，5表示完全有必要，1表示完全沒(méi)必要），向外語(yǔ)學(xué)院的其他英語(yǔ)教師發(fā)放，調(diào)查、統(tǒng)計(jì)問(wèn)卷結(jié)果。

根據(jù)問(wèn)卷調(diào)查結(jié)果，從33條描述語(yǔ)中選出平均分最高（完全有必要）的15條描述語(yǔ)。研究者和經(jīng)驗(yàn)豐富的六位英語(yǔ)教師一起討論，從理論上確定寫(xiě)作的構(gòu)念，一起設(shè)定寫(xiě)作測(cè)量學(xué)生的什么能力，一起劃分評(píng)分等級(jí)，把問(wèn)卷調(diào)查的15條描述語(yǔ)分別歸入理論構(gòu)念的各個(gè)維度。

Dillman等（2009）發(fā)現(xiàn)，使用4-5個(gè)等級(jí)評(píng)分信度是最有效的。因此，研究者邀請(qǐng)學(xué)院有多年寫(xiě)作教學(xué)經(jīng)驗(yàn)的同事在認(rèn)真閱讀、討論寫(xiě)作評(píng)分量表的基礎(chǔ)上，把評(píng)分等級(jí)分為優(yōu)、良、中、及格、差五個(gè)等級(jí)，分別賦予4、3、2、1、0五種分值?！皟?yōu)”表示學(xué)生作文較好地完成任務(wù)要求，各分項(xiàng)幾乎沒(méi)有缺陷，且在某分項(xiàng)有創(chuàng)意、有創(chuàng)造性；“良”表示學(xué)生作文有效地完成任務(wù)要求，但在某分項(xiàng)有微小的或可以忽視的缺點(diǎn)；“中”表示學(xué)生作文基本完成任務(wù)要求，在某分項(xiàng)有明顯的錯(cuò)誤，但不影響意義表達(dá)；“及格”表示學(xué)生作文勉強(qiáng)完成任務(wù)的要求，某分項(xiàng)有明顯的影響意義表達(dá)的錯(cuò)誤；“差”表示學(xué)生作文不符合任務(wù)要求，各分項(xiàng)大多有明顯的失誤或錯(cuò)誤。

最后，研究者根據(jù)評(píng)價(jià)內(nèi)容把15條描述語(yǔ)歸納為整體語(yǔ)篇層面的語(yǔ)類(lèi)和語(yǔ)域（1～5條描述語(yǔ)），段落層面的語(yǔ)篇語(yǔ)義（6～9條描述語(yǔ)），詞匯、句子層面的語(yǔ)法與表達(dá)（10～14條描述語(yǔ)），其他（15條描述語(yǔ)）四個(gè)相對(duì)獨(dú)立構(gòu)念的寫(xiě)作評(píng)分量表。

（六）用設(shè)計(jì)的評(píng)分量表評(píng)分

1.錨定寫(xiě)作樣本，培訓(xùn)評(píng)分員

人工評(píng)分中最大的問(wèn)題是評(píng)分員評(píng)分的不一致性（Coffman，1971）。本研究通過(guò)4位評(píng)分員一起錨定寫(xiě)作樣本的方式來(lái)培訓(xùn)他們，提高評(píng)分一致性。根據(jù)設(shè)計(jì)的評(píng)分量表，4位評(píng)分員從84名學(xué)生的寫(xiě)作樣本中錨定有代表性的、等級(jí)區(qū)分明顯的10個(gè)樣本，在錨定寫(xiě)作樣本的過(guò)程中，評(píng)分員需對(duì)照描述語(yǔ)，給出寫(xiě)作樣本的每個(gè)分項(xiàng)對(duì)應(yīng)等級(jí)的分值，利用加權(quán)平均、四舍五入的方法確定最終等級(jí)。重復(fù)進(jìn)行這個(gè)過(guò)程，可以幫助評(píng)分員厘清構(gòu)念并體會(huì)不同等級(jí)的寫(xiě)作樣本間的差別，最大限度地保證所有評(píng)分員的評(píng)分標(biāo)準(zhǔn)都一致。錨定出的等級(jí)樣本作為正式評(píng)分時(shí)的參照范本。

2.試評(píng)及評(píng)分

試評(píng)時(shí)從沒(méi)有參加錨定的樣本中隨機(jī)選2個(gè)樣本，4位評(píng)分員同時(shí)在設(shè)計(jì)好的評(píng)分單上逐項(xiàng)評(píng)分。之后統(tǒng)計(jì)結(jié)果，計(jì)算評(píng)分員間評(píng)分信度。

正式評(píng)分時(shí)，評(píng)分員要對(duì)剩余的72個(gè)寫(xiě)作樣本分別評(píng)分，為防止疲勞影響評(píng)分信度，特意要求評(píng)分員在兩天內(nèi)完成72個(gè)樣本的評(píng)分。之后匯總評(píng)分單，統(tǒng)計(jì)、處理數(shù)據(jù)。

三、結(jié)果與討論

（一）評(píng)分信度

四位評(píng)分員在15個(gè)分項(xiàng)上的評(píng)分信度Cronbach α=0.936，利用Friedman檢驗(yàn)和Kendalls W檢驗(yàn)了每位評(píng)分員在各分項(xiàng)上的評(píng)分。結(jié)果表明，漸進(jìn)顯著性取值都大于0.05，即4位評(píng)分員之間不存在顯著性差異。評(píng)分員在各分項(xiàng)上的評(píng)分是一致的。

（二）探索性因子分析

1.KMO檢驗(yàn)和Bartlett球形檢驗(yàn)結(jié)果（如表1所示）

Kaiser（1974）認(rèn)為，KMO值大于0.6表示變量間存在共同因子，就可以做因子分析。本研究中KMO統(tǒng)計(jì)量為0.898，適合進(jìn)行因子分析。此外，Bartlett的球形檢驗(yàn)的χ2值為1125.539（自由度為105），p=0.000<0.05，即各變量間存在顯著的相關(guān)性，適合進(jìn)行因子分析。

2.主成分分析法抽取主成分的結(jié)果（如表2所示）

左邊15個(gè)成分的特征值大于1的，共有3個(gè)，這也是因子分析時(shí)所抽出的共同因子個(gè)數(shù)，3個(gè)共同因素共可解釋的總變異量為79.797%，轉(zhuǎn)軸后三個(gè)共同因素可以解釋的總變異量也為79.797%。

3.轉(zhuǎn)軸后的成分矩陣

轉(zhuǎn)軸的目的是為了更清楚地看出一組變量數(shù)所確定的那個(gè)共同因素，判斷每一個(gè)分項(xiàng)變量應(yīng)歸屬于哪一個(gè)明確的主因素。關(guān)于能否將分項(xiàng)變量歸入共同主因素，還有一個(gè)選取因素負(fù)荷量標(biāo)準(zhǔn)的問(wèn)題。Hair等人（1998）認(rèn)為，要同時(shí)考慮到因素分析時(shí)樣本的大小，若樣本較小，則因素負(fù)荷量的選取標(biāo)準(zhǔn)就要高些。陳宇順（2004）認(rèn)為，當(dāng)樣本大小介于70～85之間時(shí)，因素負(fù)荷量選取的標(biāo)準(zhǔn)應(yīng)介于0.650～0.600。

本實(shí)驗(yàn)包含72個(gè)學(xué)生寫(xiě)作樣本，所以因素負(fù)荷量的標(biāo)準(zhǔn)定為0.650。從轉(zhuǎn)軸后的成分矩陣中可以發(fā)現(xiàn)：共同因素一包含Item 1～8共8條描述語(yǔ)，共同因素二包含Item 9～12共4條描述語(yǔ)，共同因素三包含Item 14、Item 15兩條描述語(yǔ)（如表3所示）。

對(duì)比之前理論上的評(píng)分量表，可以看出大多數(shù)描述語(yǔ)在實(shí)際評(píng)分時(shí)表現(xiàn)出和原來(lái)構(gòu)念一致的屬性。最初設(shè)計(jì)的評(píng)分量表第一和第二構(gòu)念的一部分（整體語(yǔ)篇和段落）試評(píng)時(shí)構(gòu)念屬性一致，應(yīng)歸屬共同因素一，共同因素包含二最初設(shè)計(jì)的評(píng)分量表中第二和第三與的第三構(gòu)念各一部分描述語(yǔ)，共同因素三與最初設(shè)計(jì)的評(píng)分量表的第四構(gòu)念和一條第三構(gòu)念，Item 13這條描述語(yǔ)的構(gòu)念特征不明顯，應(yīng)刪除。根據(jù)以上探索性因子分析結(jié)果，評(píng)分量表應(yīng)保留14條描述語(yǔ)。

四、結(jié)論

評(píng)分量表是評(píng)價(jià)過(guò)程的一個(gè)重要組成部分。本研究采用理論和實(shí)證研究相結(jié)合，定量和定性研究相結(jié)合的方法描述、總結(jié)了寫(xiě)作評(píng)價(jià)的不同維度，運(yùn)用探索性因子分析方法厘清了寫(xiě)作的構(gòu)念。統(tǒng)計(jì)分析表明，本研究設(shè)計(jì)的評(píng)分量表能保證評(píng)價(jià)學(xué)生寫(xiě)作表現(xiàn)的信度和效度，讓教師在評(píng)價(jià)的維度、分項(xiàng)、等級(jí)標(biāo)準(zhǔn)方面最大限度地達(dá)成一致，提高評(píng)分員自身和評(píng)分員之間評(píng)分的一致性，為教師在評(píng)價(jià)學(xué)生寫(xiě)作能力時(shí)提供了一種方便、實(shí)用的工具。

本研究的局限性在于學(xué)生和教師都來(lái)自于地方院校，樣本容量較小，且數(shù)據(jù)只來(lái)自對(duì)一種體裁（議論文）寫(xiě)作的評(píng)價(jià)。此外，限于篇幅，本研究也沒(méi)有涉及各評(píng)分維度應(yīng)賦予的合理權(quán)重。研究者的目的旨在拋磚引玉，希望能給英語(yǔ)教師提供一些思路與啟示，在實(shí)踐中共同改進(jìn)和完善評(píng)分量表。

參考文獻(xiàn)：

[1]Coffman， W. E. Essay examinations. In R. L. Thorndike （Ed.）， Educational measurement （2nd ed. pp.271-302）[M]. Washington， DC： American Council on Education，1971.

[2]Dillman， D. A.， Smyth， J. D.， & Christian， L. M. Internet， mail， and mixed-mode surveys： The tailored design method （3rd ed.）[M]. Hoboken， NJ： John Wiley & Sons， Inc，2009.

[3]Hair， J. F. Anderson， R. E.， Tatham， R. L. & Black， W. C.. Multivariate data analysis（5th ed.）[M]. Englewood Cliffs， NJ： Prentice-Hall，1998.

[4]Halliday， M. A. K. and Hasan， R.. ‘Retrospective on SFL and literacy， inR. Whittiker， M. ODonnell， and A. McCabe （eds）， Language and Literacy： FunctionalApproaches[D]. London： Continuum， 2006：15-44.

[5]Hewings， A.‘Shifting rhetorical focus in student and professional geography writing， in C. N. Candlin（ed.）， Research and Practice in Professional Discourse[D]. HongKong： City University of Hong Kong Press， 2002： 441-462.

[6]Humphrey， S. Martin， J.， Dreyfus， S.， and Mahboob， A.（2010）. A 3x3 toolkit for academic writing[A]. In A.Mahboob & N. Knight（eds.） Directions in Appliable Linguistics[C]. London： Continuum.

[7]Kaiser， H. F. Little Jiffy， Mark IV. Educational and Psychological Measurement[J]，1974（34）： 111-117.

[8]陳宇順. 多變量分析[M]. 臺(tái)北：華泰書(shū)局， 2004.