外語寫作思辨能力評價(jià)指標(biāo)構(gòu)建
——一項(xiàng)基于德爾菲法的研究

馬利紅

(北京科技大學(xué)外國語學(xué)院，北京)

1.問題提出

作為英語學(xué)科核心素養(yǎng)之一，近年來思辨能力的培養(yǎng)和評價(jià)引起學(xué)界高度重視。外語學(xué)習(xí)者的思辨能力主要通過口語或?qū)懽鞯容敵鲂突顒?dòng)進(jìn)行展現(xiàn)，而寫作可經(jīng)過深思熟慮，反映寫作者的多個(gè)視角，具有評價(jià)思辨能力的天然優(yōu)勢。外語寫作中的思辨能力是伴隨寫作過程并指導(dǎo)寫作過程的高層次思維，既具有思辨能力的共性，又具有外語寫作的特性。在外語寫作中評價(jià)思辨能力的有效性逐漸得到國內(nèi)外學(xué)者認(rèn)可，比如Stapleton(2001)從結(jié)論表達(dá)、論點(diǎn)數(shù)量、證據(jù)充分性、識(shí)別反駁、回應(yīng)反駁、謬誤數(shù)量等方面評價(jià)日本大學(xué)生在外語寫作中體現(xiàn)的思辨能力，穆從軍(2016)和董焱寧(2017)主要從清晰性、相關(guān)性、精確性、邏輯性、深度、寬度等思辨標(biāo)準(zhǔn)評價(jià)外語寫作思辨能力。上述研究分別基于思辨技能和思辨標(biāo)準(zhǔn)評價(jià)外語寫作思辨能力，在某種程度上是將思辨技能與思辨標(biāo)準(zhǔn)割裂開來。

誠然，有些研究者嘗試將思辨技能和思辨標(biāo)準(zhǔn)結(jié)合起來，比如Connors(2008)提出外語寫作中的思辨能力多步分析標(biāo)準(zhǔn)包括問題的完整性、答案的精確性、結(jié)論的嚴(yán)謹(jǐn)性，MacLaughlin和Moore(2012)提出在寫作中評價(jià)思辨能力的標(biāo)準(zhǔn)包括主題聚焦性、思維邏輯性、內(nèi)容完整性、語言恰當(dāng)性、表達(dá)準(zhǔn)確性，余繼英(2014)提出從觀點(diǎn)清晰性、論述切題性、論證邏輯性等角度構(gòu)建寫作思辨一體化評價(jià)標(biāo)準(zhǔn)。上述研究融合了思辨技能和思辨標(biāo)準(zhǔn)，是外語寫作中評價(jià)思辨能力的重要進(jìn)展，但是多采用思辨的方法構(gòu)建評價(jià)指標(biāo)，采用德爾菲法構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)的研究較少。德爾菲法又稱作專家調(diào)查法，主要指研究者組織若干專家，按照規(guī)定程序，背靠背征詢專家對某一主題的意見，然后對每一輪意見進(jìn)行匯總，并反饋給專家繼續(xù)進(jìn)行分析，經(jīng)過多次循環(huán)，直至專家意見趨于一致(Skulmoski等，2007)。作為收集專家效度的一種方式，德爾菲法在評價(jià)指標(biāo)構(gòu)建中被廣泛應(yīng)用。因此，本研究嘗試基于德爾菲法構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，試圖回答以下問題：

(1)外語寫作思辨能力評價(jià)指標(biāo)包括哪些方面？這些指標(biāo)的具體內(nèi)涵是什么?

(2)外語寫作思辨能力評價(jià)指標(biāo)包括幾個(gè)評分等級，每個(gè)評分等級的具體內(nèi)涵是什么？

2.評價(jià)指標(biāo)的初步篩選

在思辨能力理論模型中，三元結(jié)構(gòu)模型融合思辨技能、思辨傾向和思辨標(biāo)準(zhǔn)，是較全面闡釋思辨能力且在實(shí)踐領(lǐng)域廣泛應(yīng)用的理論模型(Paul& Elder，2006)。分析思辨技能是評估思辨能力的必要但非充分條件，評估思辨能力還需依據(jù)思辨標(biāo)準(zhǔn)，思辨標(biāo)準(zhǔn)可從不同側(cè)面評估思辨能力的有效性和科學(xué)性。因此，本研究擬以思辨能力三元結(jié)構(gòu)模型為理論基礎(chǔ)，將思辨技能和思辨標(biāo)準(zhǔn)融入外語寫作過程，構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，這不僅對外語教學(xué)中的思辨能力培養(yǎng)和評價(jià)研究具有借鑒意義，而且對外語學(xué)科核心素養(yǎng)的培養(yǎng)和評價(jià)研究具有啟示作用。

由于思辨能力具有領(lǐng)域特殊性，不同領(lǐng)域的思辨能力存在差異(Moore，2011)，相應(yīng)地，外語寫作思辨能力必然兼顧思辨能力和外語寫作的特性。首先，我們以思辨能力三元結(jié)構(gòu)模型為基礎(chǔ)，將目的、問題、觀點(diǎn)、信息、推理、概念、假設(shè)、啟示等思辨技能融入外語寫作過程。具體講，思辨能力是有目的的反思性判斷過程(Facione，2011)，而外語寫作首先需要辨別寫作目的；思辨能力是基于具體問題情境的思維技能(Moore，2011)，而寫作過程包括提出問題和定義問題；思辨能力需要合乎邏輯地分析、論證和評價(jià)觀點(diǎn)(Facione，2011)，而寫作也需要表達(dá)觀點(diǎn)或立場；思辨能力強(qiáng)調(diào)基于證據(jù)捍衛(wèi)立場、做出推理、得出結(jié)論并解釋結(jié)論(Facione，2011)，而寫作同樣強(qiáng)調(diào)證據(jù)的作用；思辨能力既包括推理能力和推理意愿，又包括語言推理和論證分析(Ennis，1993)，而外語寫作思維模式的最高級別就是推理式(秦曉晴 文秋芳，2007)；思辨能力是基于證據(jù)得出邏輯性結(jié)論的過程(Ennis，1993)，而外語寫作模型關(guān)注能否得出結(jié)論以及結(jié)論表達(dá)的清晰性和嚴(yán)謹(jǐn)性(Connors，2008)；思辨能力是提出假設(shè)并驗(yàn)證假設(shè)的過程(Ennis，1993)，而寫作過程包括檢驗(yàn)假設(shè)、避免個(gè)人偏見等(Wade，1995)。綜合思辨技能和外語寫作過程，我們發(fā)現(xiàn)明確目的、提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論、提出并驗(yàn)證假設(shè)、反思評價(jià)是外語寫作思辨能力的主要表現(xiàn)。對于上述基于文獻(xiàn)分析構(gòu)建的外語寫作思辨能力評價(jià)指標(biāo)的合理性和科學(xué)性，本文將通過德爾菲法進(jìn)一步修訂和完善。

3.研究設(shè)計(jì)

3.1 專家團(tuán)隊(duì)構(gòu)成

本研究選擇在外語教學(xué)以及思辨能力培養(yǎng)和評價(jià)領(lǐng)域具有一定理論知識(shí)和實(shí)踐經(jīng)驗(yàn)，并且有參與調(diào)查研究能力、意愿和時(shí)間的專家，最終確定的專家團(tuán)隊(duì)包括16位高校英語教師，符合德爾菲法通常選擇15-35人組成專家團(tuán)隊(duì)的基本要求(Skulmoski等，2007)。專家團(tuán)隊(duì)的具體信息如表1所示。

表1 專家團(tuán)隊(duì)信息

3.2 咨詢流程及工具

本研究基于《外語寫作思辨能力評價(jià)指標(biāo)咨詢問卷》(以下簡稱《咨詢問卷》)，征求專家對評價(jià)指標(biāo)及其內(nèi)涵和評價(jià)等級的意見和建議，每輪咨詢內(nèi)容根據(jù)專家意見做相應(yīng)修改?！蹲稍儐柧怼方梃b同類調(diào)查問卷的編制方法，包括背景信息、權(quán)威程度自評、對評價(jià)指標(biāo)的意見和對指標(biāo)內(nèi)涵的意見(馬利紅 王彩霞，2019)。

專家咨詢以電子郵件形式進(jìn)行，共包括三輪。首先請專家對初步構(gòu)建的評價(jià)指標(biāo)進(jìn)行判斷并說明修改意見。第一輪調(diào)查結(jié)果返回后，通過數(shù)據(jù)統(tǒng)計(jì)和語義分析對專家意見進(jìn)行凝練，再將分析結(jié)果發(fā)送給各位專家，進(jìn)行第二輪專家咨詢，請專家參考上輪分析結(jié)果對修訂后的評價(jià)指標(biāo)進(jìn)行判斷，并寫出修改意見。第三輪重復(fù)第二輪專家咨詢的程序，以期提高專家對評價(jià)指標(biāo)判斷的一致性。

3.3 指標(biāo)篩選標(biāo)準(zhǔn)

本研究根據(jù)專家意見的均值、滿分率和差異系數(shù)篩選評價(jià)指標(biāo)，并根據(jù)專家提出的修改意見修訂評價(jià)指標(biāo)。通常均值(M)得分達(dá)到滿分的75%時(shí)，說明該指標(biāo)具有較好的適切性；滿分率(K)達(dá)到0.5時(shí)，表示評價(jià)指標(biāo)得到一半以上的專家認(rèn)可，可予以保留或適當(dāng)修改后保留；差異系數(shù)(CV)是標(biāo)準(zhǔn)差與均值的比值，CV≤0.2時(shí)，表示專家意見趨于一致(Hsu & Sandford，2007)。

4.研究結(jié)果

4.1 第一輪專家咨詢結(jié)果

第一輪專家咨詢發(fā)放問卷16份，回收有效問卷16份。數(shù)據(jù)分析結(jié)果顯示，第一輪專家咨詢意見均值M=2.22，滿分率K=22.2%，差異系數(shù)CV=0.19(見表2)，這表明初擬指標(biāo)結(jié)構(gòu)適切程度較低，僅有1/4的專家認(rèn)可。根據(jù)第一輪專家建議，研究者將“提出假設(shè)”和“提出問題”合并，將“反思評價(jià)”拆分，刪除“反思”，突出評價(jià)能力。

表2 三輪專家咨詢結(jié)果

4.2 第二輪專家咨詢結(jié)果

第二輪咨詢問卷增加了第一輪咨詢結(jié)果反饋和指標(biāo)內(nèi)涵闡釋，其余內(nèi)容和作答方式與第一輪咨詢問卷相同。結(jié)果表明，第二輪專家意見的均值M=2.59，滿分率K=58.8%，差異系數(shù)CV=0.19(見表2)。與第一輪咨詢結(jié)果相比，第二輪專家咨詢意見均值和滿分率均有所增加，表明修改后的評價(jià)指標(biāo)適切性和專家一致性提高。根據(jù)第二輪專家建議，研究者進(jìn)一步查閱文獻(xiàn)，修訂了“提出問題”和“表達(dá)觀點(diǎn)”的內(nèi)涵，并進(jìn)一步根據(jù)思辨標(biāo)準(zhǔn)明確各項(xiàng)指標(biāo)的評價(jià)標(biāo)準(zhǔn)。

4.3 第三輪專家咨詢結(jié)果

第三輪咨詢問卷增加了第二輪咨詢結(jié)果反饋和評價(jià)等級描述。根據(jù)三元結(jié)構(gòu)模型中的思辨標(biāo)準(zhǔn)和評價(jià)等級(Paul & Elder，2006)，每項(xiàng)思辨技能分為4、3、2、1四個(gè)水平，4表現(xiàn)為思辨的清晰度、準(zhǔn)確性、精度、深度、廣度、邏輯性、公平性較高；3表現(xiàn)為思辨具有準(zhǔn)確性和清晰性，但缺乏深度、精度和廣度；2表現(xiàn)為思辨的清晰度、精準(zhǔn)度、深度不夠；1表現(xiàn)為思辨缺乏準(zhǔn)確性、清晰性、公平性、邏輯性。考慮到外語寫作文本難以同時(shí)反映所有指標(biāo)，本研究設(shè)置了0水平。借鑒穆從軍(2016)的寫作思辨質(zhì)量評價(jià)標(biāo)準(zhǔn)和Connors(2008)的思辨能力分析框架，本研究對評價(jià)指標(biāo)設(shè)置相同權(quán)重。第三輪專家咨詢意見的均值M=2.89，滿分率K=88.9%，差異系數(shù)CV= 0.11(見表2)，表明專家對第二次修訂后的指標(biāo)結(jié)構(gòu)以及評價(jià)等級較為認(rèn)可。最終確定的外語寫作思辨能力評價(jià)指標(biāo)體系包括提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評價(jià)，每個(gè)指標(biāo)包括0、1、2、

表3 外語寫作思辨能力評價(jià)框架

對于提出問題的評價(jià)，Paul和Elder(2006)認(rèn)為問題是思辨的前提，已有外語寫作思辨能力分析框架從問題的完整性(Connors，2008)和提出問題的深度(穆從軍，2016)進(jìn)行評分。鑒于已有研究和三元結(jié)構(gòu)模型中的思辨標(biāo)準(zhǔn)，本研究主要從是否提出問題、問題是否有深度、是否對問題進(jìn)行分析三個(gè)角度評價(jià)提出問題。

對于表達(dá)觀點(diǎn)的評價(jià)，以往研究多根據(jù)觀點(diǎn)表達(dá)的精確性和簡潔性(Connors，2008)、觀點(diǎn)與主題的相關(guān)性和觀點(diǎn)表達(dá)的清晰性評分(穆從軍，2016)。思辨需要合乎邏輯地分析、論證和評價(jià)觀點(diǎn)(Facione，2011)。鑒于以往研究和思辨標(biāo)準(zhǔn)，本研究主要從是否表達(dá)觀點(diǎn)、表達(dá)觀點(diǎn)的清晰性和邏輯性、能否辯證地表達(dá)觀點(diǎn)三個(gè)角度評價(jià)表達(dá)觀點(diǎn)。

對于提供證據(jù)的評價(jià)，以往研究根據(jù)證據(jù)的充分性(Qin & Karabacak，2010)，證據(jù)的時(shí)效性、代表性、客觀性和可信度(Stapleton，2001)，證據(jù)的精確性和相關(guān)性(余繼英，2014)，論點(diǎn)后是否有證據(jù)(曹寧，2018)等標(biāo)準(zhǔn)進(jìn)行評價(jià)。鑒于以往研究和思辨標(biāo)準(zhǔn)，本研究主要從是否提供證據(jù)、證據(jù)是否與主題有關(guān)、證據(jù)是否充分、證據(jù)是否有說服力四個(gè)角度評價(jià)并提供證據(jù)。

對于論證的評價(jià)，Qin和Karabacak(2010)認(rèn)為論證是對有爭議的問題進(jìn)行回應(yīng)，以往研究往往從整體論證質(zhì)量進(jìn)行評分，比如論證是否與問題相關(guān)(Connors，2008)、論證的邏輯性和準(zhǔn)確性如何(余繼英，2014)等?；谝酝芯亢退急鏄?biāo)準(zhǔn)，本研究對論證能力的評價(jià)主要從是否進(jìn)行論證、論證的邏輯性、論證是否基于一定理由三個(gè)角度進(jìn)行。

對于得出結(jié)論的評價(jià)，以往研究常常根據(jù)結(jié)論的嚴(yán)謹(jǐn)性進(jìn)行評分(Connors，2008；Stapleton，2001)?；谝酝芯亢腿Y(jié)構(gòu)模型中的思辨標(biāo)準(zhǔn)，本研究主要從是否得出結(jié)論、結(jié)論是否有邏輯缺陷、是否能多角度考慮問題并得出結(jié)論三個(gè)方面評價(jià)并得出結(jié)論。

對于評價(jià)能力，以往研究常常根據(jù)評價(jià)的說服力進(jìn)行考核(Paul & Elder，2008)。本研究中，評價(jià)是對整體論證質(zhì)量的評價(jià)，主要從是否進(jìn)行評價(jià)、評價(jià)立場的客觀公正性、評價(jià)的寬度和深度三個(gè)方面考慮。

以往研究多采用文獻(xiàn)法構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，缺少充分的專家效度。與前人研究相比，本研究基于思辨能力三元結(jié)構(gòu)模型，綜合思辨技能、思辨標(biāo)準(zhǔn)和外語寫作過程初步構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，并經(jīng)過三輪專家咨詢，進(jìn)一步對評價(jià)指標(biāo)進(jìn)行修改和完善。本研究構(gòu)建的評價(jià)指標(biāo)基于一定的理論基礎(chǔ)，并經(jīng)過充分的專家論證，在一定程度上提高了研究結(jié)果的可信度。

5.討論與結(jié)論

本研究基于思辨能力三元結(jié)構(gòu)模型，采用德爾菲法構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，既有堅(jiān)實(shí)的理論基礎(chǔ)，又經(jīng)過專家效度驗(yàn)證，不僅可以作為教育測評工具，也可以作為思辨能力理論模型，對外語寫作質(zhì)量和思辨能力評價(jià)研究具有一定的啟示意義。

5.1 評價(jià)指標(biāo)具有科學(xué)性

研究結(jié)果表明，提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評價(jià)是反映外語寫作思辨能力的核心指標(biāo)。問題是思辨的起點(diǎn)，提出問題的水平，如問題的復(fù)雜性和多角度(穆從軍，2016)，對評價(jià)思辨能力意義重大。思辨能力側(cè)重通過邏輯分析表達(dá)觀點(diǎn)，并以證據(jù)支撐自己的觀點(diǎn)，并且思辨能力需要的證據(jù)必須真實(shí)、充分，證據(jù)來源必須可靠(Facione，2011)。作為思辨能力的關(guān)鍵技能，論證是基于分析推理而逐步推斷出結(jié)論的過程，強(qiáng)調(diào)通過強(qiáng)有力的論證來理性監(jiān)控、評估和反思人們的思維和行動(dòng)(武宏志，2016)。思辨能力的核心是通過對問題、思想、事實(shí)的綜合分析和推理形成結(jié)論，而得出結(jié)論的嚴(yán)謹(jǐn)性和邏輯性常常是評價(jià)思辨能力的重要標(biāo)準(zhǔn)(Connors，2008；Stapleton，2001)。思辨者常常能自覺反思并評價(jià)自己的認(rèn)知活動(dòng)，尤其是站在質(zhì)疑、舉證、分析、論證的立場上，多角度審視自己的論證過程(Ennis，1993)。因此，從學(xué)理上講，作為評價(jià)外語寫作思辨能力的核心指標(biāo)，提出問題、表達(dá)觀點(diǎn)、提供證據(jù)、推理論證、得出結(jié)論和闡釋評價(jià)契合思辨能力的內(nèi)涵。

5.2 對外語寫作質(zhì)量評價(jià)具有啟示意義

從思辨能力的視角對外語寫作質(zhì)量進(jìn)行詮釋，將有助于完善外語寫作理論體系，拓展外語寫作評價(jià)的廣度和深度。以往外語寫作教學(xué)側(cè)重通過講授審題、立意、篇章、表達(dá)、語言等基礎(chǔ)寫作知識(shí)，以及敘述、議論、描寫、說明等基本表現(xiàn)手法，讓學(xué)生掌握遣詞造句、謀篇布局、文稿格式、書寫規(guī)范等方面技巧，重視單項(xiàng)語言技能訓(xùn)練，但忽略了思辨能力培養(yǎng)。研究表明思辨能力和外語寫作相互作用、相互影響，作者的思2017)。寫作過程既是提出觀點(diǎn)、組織證據(jù)、寫作論證和修改的過程，也是分析、推理、評價(jià)和自我調(diào)控的思維過程(Chaffee，2012)。通過寫作教學(xué)可以培養(yǎng)學(xué)生的思辨能力，比如記敘文寫作時(shí)，可從不同角度描述同一語境。寫作可以促進(jìn)思辨能力發(fā)展，相反，思辨能力不足會(huì)導(dǎo)致寫作低效(高霄 文秋芳，2017)?？梢姡庹Z寫作與思辨能力是相互作用、相互影響的統(tǒng)一體，本研究構(gòu)建的外語寫作思辨能力評價(jià)指標(biāo)可以為外語教師開展思辨能力培養(yǎng)和評價(jià)研究提供參考和借鑒，外語教師可基于評價(jià)指標(biāo)引導(dǎo)學(xué)生在寫作中進(jìn)行思辨訓(xùn)練，綜合運(yùn)用語言能力和思辨能力評價(jià)標(biāo)準(zhǔn)評價(jià)學(xué)生的外語寫作水平。

5.3 對思辨能力評價(jià)研究具有啟示意義

在國內(nèi)外高度重視思辨能力發(fā)展的背景下，本研究吸收和借鑒外語寫作與思辨能力評價(jià)的相關(guān)研究成果，基于思辨能力三元結(jié)構(gòu)模型，系統(tǒng)分析和深入挖掘外語寫作思辨技能，通過三輪專家評議構(gòu)建外語寫作思辨能力評價(jià)指標(biāo)，是迄今為止為數(shù)不多的系統(tǒng)采用德爾菲法構(gòu)建思辨能力評價(jià)指標(biāo)的研究之一，對落實(shí)《普通高中英語課程標(biāo)準(zhǔn)(2017年版)》中思維品質(zhì)的培養(yǎng)和評價(jià)以及對《英語專業(yè)本科教學(xué)質(zhì)量國家標(biāo)準(zhǔn)》和《大學(xué)英語教學(xué)指南(2020版)》提出的思辨能力培養(yǎng)和評價(jià)具有借鑒意義。

思辨能力具有領(lǐng)域特殊性，特定領(lǐng)域的思辨能力測評效度更好。一項(xiàng)對國際語言學(xué)領(lǐng)域SSCI期刊的可視化分析表明，通過寫作評價(jià)思辨能力是未來語言學(xué)領(lǐng)域開展思辨能力評價(jià)研究的發(fā)展方向(馬利紅 劉堅(jiān)，2018)。本研究通過外語寫作評價(jià)思辨能力是特定學(xué)科領(lǐng)域開展思辨能力評價(jià)研究的有益嘗試，可以為其它學(xué)科領(lǐng)域開展思辨能力評價(jià)研究提供參考和借鑒；采用德爾菲法構(gòu)建思辨能力評價(jià)指標(biāo)的研究方法也可為英語學(xué)科核心素養(yǎng)評價(jià)研究提供方法論層面的借鑒和參考。