基于同伴互評的專業(yè)英語寫作評價研究*

王　靖　馬志強(qiáng)　許曉群　龍琴琴

（江南大學(xué) 教育信息化研究中心，江蘇無錫 214122）

?

基于同伴互評的專業(yè)英語寫作評價研究*

王靖馬志強(qiáng)許曉群龍琴琴

（江南大學(xué) 教育信息化研究中心，江蘇無錫 214122）

摘要：文章將同伴互評用于教育技術(shù)“專業(yè)英語”課程寫作評價，分析評語類型、評語采納、認(rèn)可程度之間的關(guān)系。文章對通過兩輪同伴互評活動所得的749條評語進(jìn)行了編碼分類，并利用AMOS軟件分析了同伴互評觀察變量間的因果模型，得出：分析和修改兩種評語類型顯著影響認(rèn)可程度；認(rèn)可程度與評語采納之間有顯著的因果關(guān)系；當(dāng)評語呈現(xiàn)修改導(dǎo)向時，該評語更易被學(xué)生采納。探究不同類型的評語對學(xué)生“專業(yè)英語”論文寫作素養(yǎng)能力的影響、對評語類型進(jìn)行適當(dāng)引導(dǎo)的干預(yù)研究等，均為后續(xù)研究提供了可能。

關(guān)鍵詞：專業(yè)英語；同伴互評；寫作評價

引言

近年來，高等教育評價逐漸由強(qiáng)調(diào)學(xué)生對知識的記憶轉(zhuǎn)向強(qiáng)調(diào)學(xué)生完成復(fù)雜任務(wù)、進(jìn)行高階思維的能力［1］，隨之而來的是評價方式的多樣化［2］。同伴互評作為一種新興的形成性評價方式，要求學(xué)習(xí)者對共處同一學(xué)習(xí)環(huán)境的同伴的作品質(zhì)量或?qū)W業(yè)表現(xiàn)進(jìn)行評價［3］。已有研究表明，同伴互評能夠促進(jìn)學(xué)生高階思維的形成以及認(rèn)知的重構(gòu)［4］，并能解決高等教育中學(xué)生作業(yè)、作品多樣化而教師反饋不足的現(xiàn)實(shí)問題。基于此，近年來同伴互評成為了高等教育研究中的熱點(diǎn)話題［5］。

在英語寫作教學(xué)中，評價處于核心地位［6］。對于大學(xué)“專業(yè)英語”這樣一種同時具備專業(yè)屬性及英語屬性的課程，其任務(wù)之一便是培養(yǎng)學(xué)生結(jié)合專業(yè)知識、對專業(yè)話題進(jìn)行英文寫作的能力。而對這種能力的評價，是大學(xué)“專業(yè)英語”教學(xué)及研究所關(guān)注的重要話題。

縱觀以往相關(guān)同伴互評的研究，從評價內(nèi)容的角度，寫作是同伴互評關(guān)注的熱點(diǎn)，并以大學(xué)英語寫作實(shí)證居多［7］。從涉及學(xué)段的角度，Marjo等［8］曾在2010年對SSCI檢索期刊過去17年來發(fā)表的26篇典型的高水平同伴互評實(shí)證論文進(jìn)行了研究，指出這26篇文章中有25篇是在高等教育環(huán)境中開展的。盡管迄今為止沒有同伴互評開展的學(xué)段比例數(shù)據(jù)，但從近幾年相關(guān)文獻(xiàn)的闡述中可以看出，高等教育仍然是同伴互評研究涉及的主要學(xué)段。從研究本體的角度，以往對同伴互評的研究多聚焦于兩個方面：①功能方面，研究重點(diǎn)放在作為一種教學(xué)方式和評價方式的同伴互評對學(xué)生在特定領(lǐng)域內(nèi)技能提升的影響。如Hwang等［9］研究了基于同伴互評的游戲開發(fā)活動對提升小學(xué)六年級學(xué)生科學(xué)課程學(xué)業(yè)成績、學(xué)習(xí)動機(jī)、問題解決能力的影響，得出了同伴互評對上述因素起正向作用的結(jié)論。②機(jī)制方面，研究重點(diǎn)放在同伴互評應(yīng)如何開展才能更大程度地促進(jìn)學(xué)生學(xué)習(xí)，關(guān)注互評的流程、互評中的干預(yù)策略、互評借助的技術(shù)工具等。

在運(yùn)用、研究同伴互評的過程中，研究者逐漸發(fā)現(xiàn)，不同評語類型對學(xué)生的學(xué)業(yè)成績具有不同影響。如Cheng等［10］通過研究在線同伴互評對提升本科生寫作能力的作用，提出認(rèn)知、情感、元認(rèn)知三種類型的評語對學(xué)生寫作水平具有不同的影響。而作為一種形成性評價方式，學(xué)業(yè)成績僅僅是評價需要考量的結(jié)果因素之一；而與其同等重要的過程因素，是同伴給出的評語。本研究針對教育技術(shù)“專業(yè)英語”課程開展同伴互評研究，并對評語類型、評語采納、認(rèn)可程度之間的關(guān)系進(jìn)行了具體探索。

一　研究設(shè)計(jì)

1 研究問題

本研究圍繞三個基本問題展開，在“專業(yè)英語”課程同伴互評中：

①評語類型是否對認(rèn)可程度有影響？

②認(rèn)可程度是否對評語采納有影響？

③評語類型是否對評語采納有影響？

2 研究樣本

本研究涉及的樣本為江蘇省J大學(xué)教育技術(shù)系的55名大三學(xué)生，這些學(xué)生選修了“專業(yè)英語”課程。該課程借助學(xué)院網(wǎng)絡(luò)教學(xué)平臺，采用課堂教學(xué)與平臺答疑評價反饋相結(jié)合的方式開展。任課教師在學(xué)期中期向?qū)W生布置論文作業(yè)，要求學(xué)生結(jié)合教育技術(shù)專業(yè)知識，就“媒體對學(xué)習(xí)的作用”這一教育技術(shù)經(jīng)典話題展開論述。

3 研究工具

（1）論文評價框架

本研究開展了兩輪同伴互評活動：

①學(xué)生在第一次完成論文之后，將其上傳到網(wǎng)絡(luò)教學(xué)平臺。隨后，教師對論文進(jìn)行隨機(jī)分組，分組原則為：每位學(xué)生將收到3～4份其他同學(xué)的論文，根據(jù)論文評價框架（如表1所示），對這些論文進(jìn)行在線評價，給出評語。第一輪同伴互評完成之后，每位學(xué)生結(jié)合同伴的評語，對自己的論文進(jìn)行線下修改。

②學(xué)生在第二次完成論文之后，進(jìn)行第二輪同伴互評及論文修改，分組原則及論文評價框架同上，但本次評價于線下完成。

兩輪同伴互評活動共進(jìn)行了6周時間，使用的論文評價框架是在第一次作業(yè)完成之后，在課堂上經(jīng)師生共同討論得出。

表1　論文評價框架

（2）評語編碼框架

兩輪同伴互評活動結(jié)束后，研究者對收集到的749條評語進(jìn)行編碼，從這些評語的特征出發(fā)，選用了Van等［11］開發(fā)的同伴互評評語編碼框架。該框架涉及7類評語——從評語反饋功能的視角，包括分析、評價、解釋、修改；從評語反饋著眼點(diǎn)的視角，包括內(nèi)容、結(jié)構(gòu)、風(fēng)格。這7類評語的具體內(nèi)涵，將在后文“模型變量內(nèi)涵”中進(jìn)行闡述。

（3）模型構(gòu)建軟件

本研究涉及的模型構(gòu)建軟件為SPSS 17.0和AMOS 17.0。其中，SPSS 17.0主要用于數(shù)據(jù)的基本描述性統(tǒng)計(jì)，AMOS 17.0則用于模型的描繪與評估。

二　模型理論架構(gòu)

1 模型變量內(nèi)涵

本研究采用結(jié)構(gòu)方程模型分析法，構(gòu)建了變量間的因果模型，其包含的變量均為觀察變量，分別為：評語類型、評語采納、認(rèn)可程度。在對模型進(jìn)行構(gòu)建之初，研究者對這些變量的內(nèi)涵進(jìn)行了界定。如前所述，本研究選用了Van等開發(fā)的同伴互評評語編碼框架，該框架涉及7種評語類型。結(jié)合“專業(yè)英語”課程，本研究將這些評語類型界定為：

①分析：評語對“這段話說的是什么，各句是如何組合在一起的”進(jìn)行闡述；

②評價：評語對“這段話是否符合英語寫作規(guī)范”進(jìn)行直接點(diǎn)評；

③解釋：評語對“這段話為什么錯了，為什么要這樣修改”進(jìn)行闡述；

④修改：評語直接提出完善論文的具體建議；

⑤內(nèi)容：評語針對論文的觀點(diǎn)進(jìn)行評價；

⑥結(jié)構(gòu)：評語針對論文的段落結(jié)構(gòu)、行文邏輯進(jìn)行評價；

⑦風(fēng)格：評語對論文的語法、拼寫、排版進(jìn)行評價。

除上述評語類型外，進(jìn)入因果模型的變量還有評語采納和認(rèn)可程度。本研究將評語采納分為完全采納、部分采納、不采納等3個檔次，分別對應(yīng)同伴互評完成后每位學(xué)生修改自己的論文時，完全、部分、沒有按照相應(yīng)評語進(jìn)行修改。認(rèn)可程度是指在被評者心目中，每一條評語對于自己提升論文寫作水平的重要程度，分為完全不重要、不太重要、一般、比較重要、非常重要等5個檔次。

2 模型變量間關(guān)系

已有研究指出，何種類型的評語能夠使學(xué)習(xí)者獲益是同伴互評中值得探討的話題［12］。有些類型的評語因其某些特性，較其它類型的評語更易被學(xué)生采納［13］，而學(xué)生對評語的認(rèn)可程度往往決定了其對評語的采納程度［14］。本研究將7種評語類型作為外源潛變量的觀察變量，將評語采納、認(rèn)可程度作為內(nèi)生潛變量的觀察變量，同時將認(rèn)可程度作為評語類型和評語采納的中介變量，構(gòu)建了同伴互評觀察變量間的因果模型（以下簡稱因果模型），如圖1所示。

圖1　同伴互評觀察變量間的因果模型

圖2　同伴互評觀察變量因果關(guān)系呈現(xiàn)的模型

三　模型分析結(jié)果

1 評語類型與認(rèn)可程度的關(guān)系

因果模型結(jié)果顯示了各評語類型對認(rèn)可程度的模型估計(jì)值、標(biāo)準(zhǔn)化模型估計(jì)值、顯著性水平P值，如表2所示?？梢钥闯觯瑥脑u語反饋功能的角度，分析和修改兩種評語類型均與認(rèn)可程度在0.05水平上有顯著的因果關(guān)系（P值分別為0.046、0011），而對于其它評語類型及認(rèn)可程度，未得出顯著的因果關(guān)系。

表2　評語類型與認(rèn)可程度的關(guān)系

2 認(rèn)可程度與評語采納的關(guān)系

在因果模型分析結(jié)果中，認(rèn)可程度對評語采納的影響在0.001水平上有顯著的因果關(guān)系，即認(rèn)可程度顯著影響評語采納（回歸系數(shù)為0.184）。

3 評語類型與評語采納的關(guān)系

因果模型同時給出了各評語類型與評語采納的關(guān)系，在預(yù)設(shè)的因果關(guān)系路徑中，只有“修改→評語采納”的因果路徑在0.01和0.05水平上呈現(xiàn)出了顯著性（P值為0.005），如表3所示。

表3　評語類型與評語采納的關(guān)系

4 同伴互評因果模型

綜上所述，在同伴互評中，觀察變量因果關(guān)系呈現(xiàn)的模型如圖2所示。其中，箭頭表示存在顯著的因果關(guān)系，并由因指向果；各數(shù)字為標(biāo)準(zhǔn)化模型估計(jì)值，即標(biāo)準(zhǔn)化的回歸系數(shù)。在該模型中，內(nèi)生潛變量的觀察變量為認(rèn)可程度和評語采納，外源潛變量的觀察變量為分析和修改兩種評語類型。誤差變異量及外源變量間的共變關(guān)系因其意義不大，故均未在模型中展示。

四　結(jié)論與討論

如前所述，本研究旨在分析三個基本問題：①評語類型是否對認(rèn)可程度有影響？②認(rèn)可程度是否對評語采納有影響？③評語類型是否對評語采納有影響？

對于第一個研究問題，本研究得出結(jié)論：同伴給出的評語越具有分析和修改的屬性，就越容易得到被評學(xué)生的認(rèn)可。結(jié)合以往的研究，這一研究結(jié)論與Gielen等［15］的觀點(diǎn)一致，即認(rèn)為伴有詳細(xì)分析、解讀的評論更易提升學(xué)生的寫作水平。結(jié)合本研究所依托的課程來看，若評語能夠體現(xiàn)出清晰的功能導(dǎo)向尤其是分析和修改的導(dǎo)向，就通常能夠得到學(xué)生的認(rèn)可。究其原因，可能在于大三學(xué)生更想直接獲得如何提升自己“專業(yè)英文”論文寫作水平的啟示，而這種啟示多來源于分析和修改兩種評語類型。

對于第二個研究問題，本研究得出結(jié)論：越容易被學(xué)生認(rèn)可的評語，越容易在修改時被學(xué)生采納。從以往研究來看，這一研究結(jié)論和Van等［16］得出的結(jié)論相同。

對于第三個研究問題，本研究得出結(jié)論：當(dāng)評語呈現(xiàn)修改導(dǎo)向時，該評語更易被采納；而同樣被學(xué)生認(rèn)可的分析類型，卻不易被學(xué)生采納。這一研究結(jié)論同樣出現(xiàn)在了Hewitt等［17］的研究中，他認(rèn)為那些針對文章中存在的問題所提出具體建議的評語更易被采納。結(jié)合本研究所依托的課程來看，分析類評語大多針對段落與主旨、觀點(diǎn)與論證展開，這些地方通常在成文之后不易修改，且大多分析類評語本身并未指出明確的修改方向。而通過這些分析類評語，被評學(xué)生對自身的論文雖能獲得更為深入的認(rèn)知，但卻不知具體從何著手來完善既有作品。正因?yàn)槿绱?，分析類型沒有對評語采納產(chǎn)生顯著因果關(guān)系便成當(dāng)然之事。

此外，統(tǒng)觀整個模型，內(nèi)容、結(jié)構(gòu)、風(fēng)格三種評語類型對認(rèn)可程度及評語采納均未產(chǎn)生顯著影響，Van等［18］的研究同樣得出了此結(jié)論：諸如針對文章結(jié)構(gòu)提出的評語不易引起注意，因?yàn)檫@些評語對于學(xué)生修改文章不太具有操作性。結(jié)合本研究所依托的課程來看，“專業(yè)英語”本身屬于專業(yè)課程，其作業(yè)成績直接決定了學(xué)生的績點(diǎn)高低，使得學(xué)生更關(guān)注那些能夠提升自己專業(yè)英文寫作水平的評語，尤其是那些能夠直接著手修改、對下一輪英語作業(yè)成績提升有直接啟示的評語。

在對評語類型、評語采納、認(rèn)可程度進(jìn)行整體分析之后，后續(xù)的研究將主要從以下兩個方面著手：①不同類型的評語對學(xué)生“專業(yè)英語”論文寫作素養(yǎng)能力的影響。本研究從采納及認(rèn)可的視角，考量了評語類型的作用，但互評反饋對被評者的意義不只是如此；學(xué)生“專業(yè)英語”寫作素養(yǎng)和評語類型之間是否存在一定的聯(lián)系，有待進(jìn)一步考察。②對評語類型進(jìn)行適當(dāng)引導(dǎo)的干預(yù)研究。當(dāng)?shù)贸瞿承╊愋偷脑u語較易受到學(xué)生的認(rèn)可與采納后，在開展同伴互評時需要對評語類型加以適當(dāng)引導(dǎo)，以驗(yàn)證這些評語類型在不同學(xué)習(xí)情境下對學(xué)生的影響。

參考文獻(xiàn)

［1］Gikandi J W， Morrow D， Davis N E. Online formative assessment in higher education： A review of the literature［J］. Computers & Education， 2011，（6）：2333-2351.

［2］David J N， Debra M D. Formative assessment and self-regulated learning： A model and seven principles of good feedback practice［J］. Studies in Higher Education， 2006，（2）：199-218.

［3］Topping K J. Peer assessment［J］. Theory into Practice， 2009，（1）：20-27.

［4］Fu Y Y， Chun P W. Different identity revelation models in an online peer-assessment learning environment： Effects on perceptions towards assessors， classroom climate and learning activities［J］. Computers & Education， 2011，（5）：2167-2177.

［5］［8］Marjo V Z， Dominique S， Jeroen V M. Effective peer assessment process： Research findings and future directions［J］. Learning and Instruction， 2010，（20）：270-279.

［6］牟金江.SMART原則下的高中英語寫作教學(xué)與評價［J］.課程·教材·教法，2011，（5）：60-64.

［7］高婷婷.教師指導(dǎo)下的同伴互評機(jī)制在高中寫作教學(xué)中的實(shí)證研究［D］.錦州：渤海大學(xué)，2014：5.

［9］Hwang G J， Hung C M， Chen N S. Improving learning achievements， motivations and problem-solving skills through a peer assessment-based game development approach［J］. Educational Technology Research & Development， 2014，（4）：129-145.

［10］Cheng K H， Liang J C， Tsai， C C. Examining the role of feedback messages in undergraduate students’ writing performance during an online peer assessment activity［J］. The Internet and Higher Education， 2015，（25）：78-84.

［11］［14］［16］Van D P， Van D B， Admiraal W F， et al. The nature， reception， and use of online peer feedback in higher education［J］. Computers & Education， 2008，（6）：1804-1817.

［12］Nelson M M， Schunn C D. The nature of feedback： How different types of peer feedback affect writing performance［J］. Instructional Science， 2009，（4）：375-401.

［13］Cheng K H， Hou H T， Wu S Y. Exploring students’ emotional responses and participation in an online peer assessment activity： A case study［J］. Interactive Learning Environments， 2014，（3）：271-287.

［15］Gielen S， Peeters E， Dochy F， et al. Improving the effectiveness of peer feedback for learning［J］. Learning and Instruction， 2010，（4）：304-315.

［17］Hewitt B L. Characteristics of interactive oral and computer-mediated peer group talk and its influence on revision［J］. Computers and Composition， 2000，（3）：265-288.

［18］Van D B， Admiraal W F， Pilot A. Design principles and outcomes of peer assessment in higher education［J］. Studies in Higher Education， 2006，（3）：341-356.

編輯：小米

Study of Assessing Professional English Writing based on Peer Assessment

WANG JingMA Zhi-qiangXU Xiao-qunLONG Qin-qin

（Research Center of Educational Informatization， Jiangnan University， Wuxi， Jiangsu， China 214122）

Abstract：Peer assessment was applied to educational technology “professional English” course， during which the link between the assessment type， assessment acceptance， recognition degree was analyzed. 749 feedbacks from two rounds of peer assessment were coded and a variable causal model was built by AMOS software. The key findings were that the revision and analysis types feedbacks significantly influenced recognition degree， which had a significant relationship with assessment acceptance. The feedbacks were more easily accepted which presented modification-oriented characterisitc. The appropriately guided intervention on assessment type will be researched in order to explore the influence of different types of feedbacks on students’ writing literacy， providing possibility for further study.

Keywords：professional English； peer assessment； writing assessment

【中圖分類號】G40-057

【文獻(xiàn)標(biāo)識碼】A 【論文編號】1009—8097（2016）05—0077—06 【DOI】10.3969/j.issn.1009-8097.2016.05.012

*基金項(xiàng)目：本文為國家社會科學(xué)基金“十二五”規(guī)劃2014年度教育學(xué)青年課題“基于同伴互評的在線學(xué)習(xí)評價機(jī)制設(shè)計(jì)與應(yīng)用研究”（項(xiàng)目編號：CCA140151）的階段性研究成果。

作者簡介：王靖，副教授，博士，研究方向?yàn)閷W(xué)習(xí)科學(xué)與技術(shù)、數(shù)字化學(xué)習(xí)與認(rèn)知，郵箱為jing850902@sina.com 。

收稿日期：2015年11月7日