基于《中國英語能力等級量表》建構(gòu)大學英語語用能力評價模型的實證研究

馬 穎，陳旭遠

(1.東北師范大學 教育學部，吉林 長春 130024；2.遼寧石油化工大學 外國語學院，遼寧 撫順 113000)

英語作為交流工具，其教學及測試也得到了越來越多的關(guān)注，各國紛紛研制語言能力量表來推動語言教學與測試的發(fā)展。從國外外語教學與測試標準來看，《歐洲語言共同參考框架》(CEFR)和《加拿大語言標準》(CLB)等加入了針對語用能力的描述，均以“能做”為語言能力描述語，對交際語言能力進行了分等級和分維度的詳細描述，這不僅為外語語用教學與測試提供了參照標準，還反映出國外外語教學與測試語用轉(zhuǎn)向的變革趨勢[1]91-100。從我國外語教學與測試標準來看，一直以來側(cè)重語言基礎(chǔ)知識傳授與語言基本技能訓練，缺少相對統(tǒng)一的參照指標。因此，教育部頒布了《中國英語能力等級量表》(簡稱《中國量表》，英文縮寫為CSE)，首次對語用能力進行了概念界定，對語用能力框架進行了分解，對語用知識進行了解析，還制定了《語用能力總表》(簡稱《能力總表》)和《語用能力自我評價量表》(簡稱《自評量表》)，分九個級別對語用能力等級要求進行了詳細描述。這不僅為我國英語語用教學與測評提供了依據(jù)，也表明我國英語教學與評價的語用轉(zhuǎn)向逐步與發(fā)達國家同步。

《自評量表》以“我能……”為描述語，由英語學習者依據(jù)自己是否能完成所描述的交際任務判定語用能力等級。例如：第五級語用能力等級描述語中，涵蓋了三個交際任務和相應的英語交際表達示例，詢問學習者能否在不同社交場合中理解并表達遺憾、感謝、協(xié)商。為了檢驗該量表在日常教學中的實際操作性，本研究者運用《自評量表》，對L高校的2018級漢語專業(yè)學生(29人)進行了語用能力自我評價試測。試測后，結(jié)合被試語用能力等級確認中存在的問題，對29位學生進行了訪談。通過對訪談內(nèi)容的轉(zhuǎn)錄和整理，發(fā)現(xiàn)該量表在實際運用中存在以下問題：第一，被試認為《自評量表》未明確規(guī)定一個級別內(nèi)至少完成幾個交際任務和完成到何種程度視為達到了該等級水平。第二，語用能力等級的達成方面存在非連續(xù)性，經(jīng)常出現(xiàn)跨級別情況，使得被試難以確定最后等級。如被試雖然可以完成三級交際任務，但未能完成二級規(guī)定的交際任務，因而無法確定自己的最終語用能力等級。第三，中英文理解和表達具有非對等性，只依據(jù)宏觀的中文情境和任務描述來判斷英語語用能力等級具有一定局限性。因為真實的英語交際是由語音、詞匯、句子、話語、功能等各要素綜合實現(xiàn)的，具有情境性、交互性和即時性，易受交際雙方互動和語境等要素影響，非個人單方面主觀自我認知能全面而綜合地反映出來，所以還需要配合相應的英文測量工具，用英語描述真實的交際情境和交際任務，客觀評價其語用理解和表達能力等級。此外，國外學者Taghizadeh等依據(jù)CEFR中的評價標準，對學生語言能力的自評水平與其實際水平進行了差異性檢驗，結(jié)果顯示二者間存在差異性[2]。因此，單一的主觀自評在語用能力等級評定中存在一定局限性，有必要配合量化的語用等級他評測評方式，形成綜合的評價模型，使英語語用能力等級評價更具全面性和操作性。

為了了解語用能力測評方面文獻的研究熱點，本研究以“語用能力/測試/評價/測評”為檢索詞，在中國知網(wǎng)上查詢語用能力測評的相關(guān)文獻，再利用CiteSpace軟件的動態(tài)可視化分析功能對有效文獻進行關(guān)鍵詞知識圖譜分析，進而了解該領(lǐng)域研究的動向。搜索結(jié)果顯示：首先，從主題詞中心性看研究熱點，語用能力測試與評價方面文獻關(guān)注點多為語用測試構(gòu)念、反撥效應、動態(tài)評估和形成性評估。其次，從關(guān)鍵詞研究聚類0和研究聚類1來看，語用能力測評主要在口語測試和聽力測試中圍繞言語行為測試交際能力。再從知識圖譜呈現(xiàn)的樹狀分叉形狀來看，點多、線少、密度較低，這表明該領(lǐng)域研究不聚焦，較為分散，沒有形成清晰的研究脈絡，研究還處于初始階段(見圖1)。對40年來語用能力測評類文獻具體內(nèi)容分析，發(fā)現(xiàn)語用能力測評方式包括自我評價、口試和筆試三種測試方式，多數(shù)針對英語專業(yè)學生開展的語用能力和語用意識測試，反映被試言語行為方面語用能力的總體水平。此外，語用能力口試和筆試測試題未針對被試進行語用能力綜合等級評定，也缺少采用數(shù)學建模方式對語用能力等級進行判定的評價模型和具體評價標準。因此，建構(gòu)主客觀相結(jié)合三位一體的語用能力評價模型和語用能力等級測量工具具有理論與實踐意義。

圖1 CNKI中語用測評研究的關(guān)鍵詞圖譜

一、大學英語語用能力評價模型建構(gòu)的研究設(shè)計

本研究的核心問題是在語用轉(zhuǎn)向理念指導下，基于《中國英語能力等級量表》中語用能力概念內(nèi)涵、能力框架和語用能力等級描述語及示例，確定英語語用能力的評價維度、評價標準，編制口試及筆試測量工具，運用數(shù)學建模法和德爾菲法建構(gòu)大學英語語用能力評價模型(Assessment Model of College English Pragmatic Competence， 簡稱CEPCA評價模型)，并在實踐中予以檢驗；通過建構(gòu)主客觀結(jié)合評價模型，豐富單一評價主體及評價方式，完善評價標準和測量工具，從而在理論與實踐層面上，指導教師及學習者科學而有效地測試與評定英語語用能力等級，實現(xiàn)“以評促教”，扭轉(zhuǎn)我國外語教學中長期以來“考用分離”的被動局面，推動英語課程教學與評價實現(xiàn)語用轉(zhuǎn)向。

本研究采取混合研究取向，具體以量化的數(shù)學建模法、測量法、調(diào)查法、統(tǒng)計分析法和質(zhì)化的文獻法、訪談法、德爾菲法開展順序性混合研究[3]。第一階段是利用文獻法、德爾菲法和訪談法開展定性研究，使用Cite Space和NVivo軟件的主題詞聚類分析功能對文獻進行梳理，了解語用測評研究熱點和研究基礎(chǔ)，尋求評價模型建構(gòu)的理論依據(jù)，再結(jié)合德爾菲專家咨詢法和訪談法，確定評價模型的測評維度、評價標準和測試工具，對大學英語語用能力評價模型進行理論建構(gòu)。第二階段是使用數(shù)學建模法、測量法、調(diào)查法和統(tǒng)計分析法開展定量研究，通過評價模型在試測班級的實際應用，完成對該理論模型的實踐檢驗和修訂；通過調(diào)查法收集被試語用能力等級自評數(shù)據(jù)、利用測量法采集口試和筆試等級數(shù)值，再運用所建構(gòu)的語用能力等級評定標準對被試語用能力進行等級判定；通過具體數(shù)值比對，不斷修訂三個維度的具體等級確定步驟與方法，最終形成相應的評價標準。最后，使用SPSS數(shù)據(jù)統(tǒng)計與分析軟件對被試的語用能力等級評定結(jié)果進行信效度、難度及區(qū)分度和配對T檢驗，以此驗證該評價模型理論建構(gòu)的實效性。

二、大學英語語用能力評價模型的理論建構(gòu)

本著真實、交互、可行的測試原則，依據(jù)《中國量表》中語用能力框架及語用能力等級描述語，建構(gòu)具有可操作性的大學英語語用能力評價模型(CEPCA評價模型)。在多元化測試原則指導下，本研究運用數(shù)學建模法和德爾菲法，建構(gòu)大學英語語用能力評價模型，整合自評與他評、口試與筆試測評方式，再賦予每個評價維度可調(diào)節(jié)的權(quán)重系數(shù)，進而使該評價模型更具全面性、科學性、靈活性和普適性。

(一)CEPCA評價模型的建構(gòu)依據(jù)

1.語用能力內(nèi)涵研究

語用能力是交際能力的必要組成部分，對交際能力培養(yǎng)至關(guān)重要。國內(nèi)外學者十分重視語用能力的研究，紛紛對語用能力內(nèi)涵做出解釋。從英語為母語或二語環(huán)境的國外研究來看，國外學者對于語用能力的理解經(jīng)歷了知識觀向能力觀的轉(zhuǎn)變，體現(xiàn)了從語言交際者本身向社會環(huán)境因素擴展的變化歷程。其中，Chomsky將語用能力界定為得體運用各種條件和方式的知識，反映出語用能力的知識觀取向[4]。Hymes認為交際能力具有“語法性、可行性、得體性和出現(xiàn)性”特性[5]，其中后三種特性指向語用能力內(nèi)涵。Thomas最先提出“語用能力”概念，將其界定為“有效地運用語言知識以達到特定的交際目的和理解特定場景中話語的能力”[6]，實現(xiàn)了語用能力從知識觀向能力觀的轉(zhuǎn)變，同時關(guān)注到語境對語用能力的影響作用。Canal把語用能力看作社會語言能力，強調(diào)在語境中使用語言知識應體現(xiàn)出意義上和形式上的得體性[7]。Bialystok & Sharwood認為語用能力就是“知道如何使用語言知識進行交際”[8]。Bachman將語用能力分解為“施為能力和社會語言能力”[9]。從英語為外語環(huán)境的國家來看，日本學者Taguchi基于外語學習環(huán)境開展語用能力研究，更加突出語用知識和語用知識使用[10]。中國學者吸收了國外學者的研究成果，基本持有語用能力綜合觀。如，何自然在其語用學講稿中指出語用能力是“為了達到特定目的而使用語言及在語境中理解語言的能力”[11]；劉紹忠強調(diào)語境的認識能力對準確理解和表達交際意圖的重要性[12]；張紹杰從外語學習者視角解讀語用能力內(nèi)涵，認為“語用能力是基于語言知識的綜合運用能力”[13]。教育部頒布的《中國英語能力等級量表》，將語用能力界定為“結(jié)合具體語境，運用各種知識和策略，理解和表達特定交際意圖的能力，包括語用理解能力和語用表達能力”[14]。外語語言環(huán)境中，更加強調(diào)語用知識和語境的重要。我國對語用能力內(nèi)涵的理解從理解和表達能力本身轉(zhuǎn)為知識、策略、語境、理解和表達等綜合能力，這體現(xiàn)出外語學習環(huán)境缺少語言環(huán)境的特點，交際目的的理解和傳達更需要語用知識與策略的輸入和語境意識的強化。

基于國內(nèi)外學者及研究機構(gòu)對語用能力內(nèi)涵的理解，利用NVivo12質(zhì)化分析軟件對上述學者對語用能力內(nèi)涵解釋的關(guān)鍵詞進行編碼，再運用聚類分析功能，根據(jù)編碼節(jié)點的相似程度對節(jié)點進行分組，通過聚類分析中顯示節(jié)點相近度分析節(jié)點相似性[15]。編碼節(jié)點聚類分析結(jié)果顯示：首先，專家學者對語用能力的認識逐步從靜態(tài)的知識維度向動態(tài)的使用維度轉(zhuǎn)化，即從知識轉(zhuǎn)向能力。其次，語境因素對語用能力的影響逐步受到關(guān)注，成為準確和適切理解與表達交際意圖的關(guān)鍵因素。再次，因語言環(huán)境不同，對語用能力各維度側(cè)重點也略顯差異，如日本和中國等非語言環(huán)境國家強調(diào)語用能力的知識維度，而歐美等語言環(huán)境國家更突出語用理解和表達的適切性，要符合社會語言使用習慣。整合語用能力內(nèi)涵表述的核心要義，需要配以適切的測試維度對語用能力各維度進行綜合的評價。

2.語用轉(zhuǎn)向理念研究

語用能力本質(zhì)上是抽象的內(nèi)在心理屬性，需通過對外在表現(xiàn)行為測評來反映其能力水平，僅憑知識性測試和主觀的自我評價不能全面反映學習者運用語言適切交際的真實水平。發(fā)達國家語言教學與測試發(fā)生了語用轉(zhuǎn)向，這一變革理念為建構(gòu)大學英語語用能力評價模型中自評與他評維度、確定具體測試形式提供了參考理據(jù)。

從《歐洲語言共同參考框架》(CEFR)來看，該框架奉行“面向行動”的外語教學法語用轉(zhuǎn)向理念，其核心思想是外語學習通過完成任務來積極運用外語進行交際。同時，該框架重新詮釋了傳統(tǒng)的各項英語技能，將其視為語言學習中的基本活動，將“聽、說、讀、寫、譯”技能轉(zhuǎn)化為語言輸入和輸出、語言互動和中介活動，提倡通過互動的口頭和書面實踐運用活動來實現(xiàn)交際能力的培養(yǎng)與測試[16]。這也體現(xiàn)了的語用轉(zhuǎn)向理念。這些理念啟示CEPCA評價模型應圍繞口試和筆試維度進行理論建構(gòu)。其中，筆試評價采用書面文字方式描述語境和交際任務，更多側(cè)重考核被試基于文字描述的理解能力；口試評價采用口頭語言展現(xiàn)動態(tài)的交際情境，交際雙方需要即刻對交際內(nèi)容做出反應，要求被試在理解后予以適切的回應，這種測試更能衡量被試的表達能力。因此，在語用能力評價模型維度構(gòu)建中，可以增加客觀的筆試他評與口試他評，來彌補主觀自評維度的不足，使語用能力評價模型更具全面性。

從《加拿大語言標準》(CLB)來看，加拿大外語教學與測試語用轉(zhuǎn)向理念突出外語教學與測試要以學習者為中心和以任務為基礎(chǔ)，設(shè)計的系列任務間要相關(guān)和有意義，要與社區(qū)、學習和工作相關(guān)[17]，這為語用能力測量工具的編制提供了依據(jù)，即：設(shè)計語用能力筆試和口試測試題項時，應體現(xiàn)出交際任務的連續(xù)性和真實性，創(chuàng)設(shè)真實的生活、工作情境與交際任務，通過測量被試真實語境下的行為表現(xiàn)來評定其語用能力等級水平。

3.語用能力測試研究

從測試理論研究來看，語言測試從理論層面上經(jīng)歷了從科學前語言測試階段，發(fā)展到心理計量結(jié)構(gòu)主義測試階段，再到心理語言學——社會語言學測試階段的變化過程，在實踐層面體現(xiàn)為從測試語言點到測試結(jié)構(gòu)，再到測試交際能力的轉(zhuǎn)變[18]。交際能力測試要求語言測試應該關(guān)注語用能力的測試。國外學者Oller提出語用測試應結(jié)合具體語言使用環(huán)境[19]132-137；語言測試學家Bachman提出語言測試必須滿足六個品質(zhì)，包括測試的“信度、構(gòu)念效度、真實性、交互性、影響和可行性”[20]；我國學者方秀才、姜占好等闡述國外語用能力的測試理論[19]133；楊仙菊和劉建達等進行了言語行為測試研究[19]134。因為我國語用能力測試屬于起步階段，語用能力更多受交際雙方互動和文化環(huán)境等因素影響，難以用單一的和歸約的描述來評價[1]93，所以國內(nèi)大規(guī)模的外語考試極少涉及語用能力測試。

從測試方法研究來看，國外語言學家Brown，Levinson，Bella，Megumi運用書面話語填充方法測試請求、道歉、拒絕等言語行為表達能力[21]67-71。Hudson等學者歸納了書面話語填充、口語話語填充、多項選擇話語填充、話語角色扮演、對話語填充和角色扮演的自我評估，推動了語用能力測試方式的發(fā)展[22]。Roever運用網(wǎng)絡評估模式，采用多項選擇話語填充法測量會話含義和習慣用語的理解方面的語用語言知識，而Walters擺脫了言語行為理論，采用話語分析的方法測量學習者語用能力，這表明語用能力測試媒介與測試理論的變革[21]69。Shimazu依據(jù)Farhady測試學生言語行為能力選擇填空試題設(shè)計一套美國英語語用能力試題測試學生請求言語行為能力[23]。Matsugu利用我國學者劉建達研制的多項選擇話語填充測試題對阿拉伯二語學習者的英語語用能力進行測試[24]。國內(nèi)學者多是在實踐中檢驗國外語用能力測試方法，評估的內(nèi)容集中在言語行為、隱含意義和慣用語等層面。何自然、劉建達、楊仙菊等學者，利用多項選擇調(diào)查問卷、情景選擇及調(diào)查、語篇補全對話等形式，對學習者某些言語行為進行語用能力水平測試或檢驗[19]134。

通過NVivo12軟件對具體測試方法進行編碼，然后統(tǒng)計各種測試方法編碼在語用測試研究中使用頻次，通過詞頻分析可以看到多項選擇話語填充在語用能力測試中占比最大(見圖2)。經(jīng)過對每種語用測試方式的不同特性分析，可以發(fā)現(xiàn)自我評估能更有效發(fā)揮被試的主觀能動性，話語角色扮演可以測試真實語境下語用能力水平，操作更方便的方法是多項選擇、話語填充等，適合大規(guī)模受試對象的語用水平測試與評估。

圖2 語用能力測試方式主題詞編碼節(jié)點聚類分析圖

(二)CEPCA評價模型的理論建構(gòu)

1.CEPCA評價模型的構(gòu)成

CEPCA評價模型借鑒國外外語語用轉(zhuǎn)向教學與測試理念，依據(jù)《大學英語課程教學要求》中評價指導意見、《中國英語能力等級量表》中語用能力概念內(nèi)涵與語用能力框架和《語用能力自我評價量表》中語用能力等級描述語，通過文獻法、德爾菲法確立評價模型維度，經(jīng)過專家賦值和變異系數(shù)求權(quán)重的方法確定各評價維度權(quán)重，從理論上建構(gòu)CEPCA評價模型?；凇吨袊勘怼分姓Z用能力等級描述語，在權(quán)威性英語考試試題中選取試題，編制英語語用能力口試與筆試測量工具，通過試測對該評價模型進行實踐論證、修訂和完善不同維度等級確定的評價標準，旨在建構(gòu)綜合的語用能力等級評價模型，實現(xiàn)客觀而科學的綜合評價英語學習者語用能力水平等級，該評價模型如下：

R=[α1x+α2y+α3z]

(1)

其中，R表示英語語用能力綜合等級；x表示英語語用能力自評等級維度；y表示英語語用能力筆試等級維度；z表示英語語用能力口試等級維度；α1，α2，α3分別為三個評價維度的權(quán)重；[·]表示四舍五入取整函數(shù)。

2.CEPCA模型中評價維度的確立

(1)自評維度與他評維度

首先，《大學英語教學指南》(2017)指出英語語言測試與評價應體現(xiàn)多元化，應全面、客觀、科學、準確地實施教學評估，以確保實現(xiàn)教學目標。規(guī)定對學生的評估包括“各種評價方法與手段”[25]。英語課程文件中，英語評價的指導意見為確立CEPCA評價模型中自評與他評評價維度確立提供了指導原則。

其次，《中國英語能力等級量表》將語用能力分解為語用理解能力和語用表達能力，又從口頭和書面兩個維度對語用理解能力和語用表達能力進一步分解，細分為理解說話人意圖、理解作者意圖、表達說話意圖和表達寫作意圖[14]3。這種劃分為CEPCA評價模型中他評與自評維度等級確定提供了可參考的評價依據(jù)。

再次，《中國量表》中編制了《語用能力總表》及《語用能力自我評價量表》，其中的語用能力描述語體現(xiàn)出語用能力要求從低到高的逐步遞升，為他評評價標準和測量工具編制提供參照。與《語用能力總表》相比，《語用能力自我評價量表》在能力要求描述語上更為具體，除了對英語學習者應掌握的交際情境進行了描述，還提供了具體的交際表達用語示例。從表達方式來看，語用表達要求由直接、間接、委婉到得體的難度遞增，如語用能力等級二級中的直接傳遞交際意圖、三級中的間接傳遞交際意圖、五級中根據(jù)社交場合的正式程度選擇恰當?shù)恼Z言形式等。從表達內(nèi)容來看，語用能力描述語也反映出低年級的日常生活簡單要求向依據(jù)不同的社交場合適切理解和表達觀點、態(tài)度等較高要求過渡，如二、三級描述語中的交際范圍為日常生活的言語行為，四級和五級中規(guī)定的一般和常見的社交場合中觀點態(tài)度等。這樣分級逐級描述語用能力要求不僅為學習者自身對語用能力等級評判提供標準，也為英語語用能力等級他評測量工具的逐級編制提供參照(見表1)。

表1 語用能力等級描述語對照表[26]

以《自評量表》和《語用能力總表》為基礎(chǔ)編制他評維度評價標準，確保語用能力他評評價標準與自評評價標準的一致性，使綜合測評具有更高的信度與效度，有利于提高該評價模型他評與自評維度評價標準的同質(zhì)性，提升內(nèi)在一致的信度，并保證不同測評維度具有較高的內(nèi)容、準則和建構(gòu)關(guān)聯(lián)效度[27]。通過自評和他評的結(jié)合，能夠準確反映英語學習者語用能力等級，提升教師與學生對語用能力培養(yǎng)的重視度，有效促進英語教學與測評實現(xiàn)語用轉(zhuǎn)向。

(2)口試他評與筆試他評

口試他評維度和筆試他評維度的確立是由語言本身特質(zhì)和英語課程要求所決定的。根據(jù)語言信道不同，可分為口頭理解和表達使用的口語信道、書面理解和表達使用的書面語信道，這為評價模型中他評維度的確立提供了依據(jù)[28]。語言是交際工具，交際具有交互性，交際能力的考核不僅體現(xiàn)在書面形式，更應該體現(xiàn)交際者是否能在真實的口語交際情境下順利完成交際任務?！洞髮W英語教學指南》提出要利用多種形式考核學生使用語言進行實際交際的能力。因此，從考試形式來看，應該包括書面與口頭語用能力考核形式，從多個維度更為客觀、有效、全面地反映被試英語語用能力等級水平。

3.評價維度權(quán)重

首先，為評價維度加權(quán)符合綜合評價客觀性需求。綜合評價從不同維度對評價對象加以評價，運用權(quán)重系數(shù)表示不同維度評價因子在總體評價中的重要程度，可以使用“層次分析法、德爾菲法、熵權(quán)法和模糊聚類分析法等”[29]求得權(quán)重系數(shù)。其次，對評價維度賦以靈活權(quán)重可以更好發(fā)揮評價的激勵、調(diào)控、導向功能[30]。評價可以監(jiān)督和調(diào)控教學，通過加大某評價維度的權(quán)重系數(shù)促進和強化師生對某項評價維度的重視度，對于語用能力培養(yǎng)具有推動作用，可以更好地發(fā)揮評價的“指揮棒”作用，以實現(xiàn)英語教學培養(yǎng)交際能力的教學目標。最后，靈活權(quán)重也符合不同層次被試的能力水平。英語語用能力等級評定分為9級，涵蓋所有程度的英語學習者，如中小學生、英語及非英語專業(yè)本科生、英語從業(yè)人員等。以英語語用能力自評維度為例，不同認知水平、不同自評心理及情境均會影響到自評等級的真實度。一方面，不同層次的學習者對于自己的英語語用能力水平認知能力不盡相同；另一方面，在自評過程中，被試結(jié)合英語語用能力自我評價量表中的認真度和正確理解度均會影響到等級評定的真實性與有效性。因此，應結(jié)合被試各維度能力水平采用科學的方法確定適切的權(quán)重系數(shù)，更為客觀地反映出被試的英語語用能力等級。

4.評價內(nèi)容選擇及呈現(xiàn)形式

語用能力框架和語用能力分級描述為選擇評價內(nèi)容提供了依據(jù)。語用能力量表中1—3級為初級水平，4—6級為中級水平，7—9級為高級水平[14]2。這種等級描述為英語語用能力等級評價測量試題編制提供了等級參考標準，即英語語用能力測試試題可以從相對應水平的考試試題中選擇內(nèi)容，結(jié)合語境和等級水平描述重新編制出筆試和口試試題。如1—2級試題可以從小升初的英語考試題庫中選擇情境交際試題進行改編，3—4級可以從各省中高考英語試卷中選擇情境交際試題進行改編，5—6級試題可以從大學英語四級和六級題庫中篩選試題進行改編，7級試題可以從英語專業(yè)四級或八級題庫中進行選擇，8—9級可以從專門用途英語試題中進行篩選。此外，雅思口語試題及國外英文報紙、英語影視劇等均可作為語用能力評價試題的選題范圍。

按照《語用能力總表》和《語用能力自我評價量表》中的相關(guān)描述把篩選出的試題分別歸類于每一級別試題庫，然后組成不同級別的語用能力測量試卷。以“If...，What would you probably do...”描述語的基本結(jié)構(gòu)反映交際能力的屬性，明確地說明了語言學習者應該在怎樣的場景、用怎樣的語言、完成怎樣的交際任務。筆試測量形式采用多項選擇話語填充形式，口語測試形式采用體現(xiàn)互動的話語角色扮演的方式，側(cè)重考查學生在真實的動態(tài)變化的語境下切實而有效交際的語用理解和表達能力的達成程度。

(三)CEPCA評價模型中評價標準的制定

在CEPCA評價模型中，三個評價維度結(jié)合自身特性有不同計算方法和確定標準，旨在更客觀而科學地反映出被試的英語語用能力綜合等級。

1.自評等級(x)確定方法

英語語用能力自評等級(x)是英語語用能力綜合評價中的基礎(chǔ)組成要素。本研究根據(jù)《語用能力總表》及《語用能力自我評價量表》中對語用能力的分級描述而編制了《大學英語語用能力自我認知評價量表》，將交際任務的完成程度劃分為五個程度，即未能達到、勉強達到、基本達到、較好達到和完全達到。被試依據(jù)各級別中交際任務的完成程度對自己的英語語用能力等級進行達成度判定和自評等級預估(r0)，評價教師對交際任務完成程度進行賦值，對比預估等級，進而確定其綜合自評等級(x)，具體等級確定過程如下：

第一步，被試依據(jù)《大學英語語用能力自我認知評價量表》對每個級別的英語語用能力達成程度進行判定，綜合確定語用能力最高等級，以此為語用能力自評預估等級r0(見表2)。語用能力等級評定人員對被試語用能力達成程度進行賦值，確定各等級自評得分s。

表2 《大學英語語用能力自我認知評價量表》(以1—2級為例)

第二步，根據(jù)被試的自評預估等級r0，上下延伸一級以確定自評可能等級范圍r(見表3)，最大限度降低語用能力等級誤判。

表3 自評預估等級與自評等級范圍對照表

第三步，根據(jù)自評預估等級r0和自評得分s，在自評等級的可能范圍內(nèi)確定最終的自評等級x，確定方法如下：

A.如果sr0<0.6，代表被試未能基本達到該級別語用能力描述語要求，不符合該級別等級，英語語用能力自評等級應做降一級處理，自評等級x確定為r0-1級；

B.如果sr0≥0.6，sr0-1≥0.8，即被試自評預估等級分數(shù)滿足當前等級和上一級要求，但是不滿足下一級要求，保持原級，自評等級x確定為r0級；

C.如果sr0≥0.8，sr0-1≥0.8，sr0+1≥0.8，即被試自評預估等級分數(shù)較好達到當前等級、上一級和下一級要求，自評等級予以升一級處理，自評等級x確定為r0+1級；

示例分析：被試N1依據(jù)《英語語用能力自我認知評價量表》中語用能力描述語，結(jié)合自身各級別語用能力水平，判定各級別語用能力完成程度，并對完成程度賦值，通過比較各級別完成程度得分，綜合做出英語語用能力自評預估等級r0=3。依據(jù)表3確定其自評等級取值范圍r為{2，3，4}。進一步比較被試N1自評等級2—4級得分，因s3=0.6，s2=1≥0.8，根據(jù)上述自評等級x確定規(guī)則B，N1最終自評等級x=3，即語用能力自評等級為3級。

表4 被試N1《英語語用能力自我認知評價量表自評評分表》示例

被試的自評等級評定屬于主觀評價，某種程度上自我評價的準確性是需要培養(yǎng)而形成的，難以完全根據(jù)被試做出的自評預估等級來確定被試最后的英語語用能力等級。因此，需要根據(jù)被試自評預估等級確定自評等級范圍，在此范圍內(nèi)比較各等級賦值分數(shù)，客觀地確定被試自評等級x。

2.筆試他評等級(y)確定步驟

除了被試主觀自評，更要結(jié)合客觀的他評形式來確定英語語用能力綜合評價等級。英語語用能力筆試主要考核書面形式下被試在不同交際情境中完成交際任務的程度。鑒于參與測試的被試主要為學生身份(語用能力等級范圍為1—7級)，本次建構(gòu)的筆試測試題含有35個交際試題(每個試題1分，滿分35分)，涵蓋了7個級別，從小學到英語本科層次，每個級別由5個交際任務組成。被試基本成功完成交際任務的數(shù)量標示著該級別語用能力的達成程度，順利完成三個及以上交際任務可視為達到了該級別能力水平。通過筆試試測，發(fā)現(xiàn)被試的筆試總分和每個級別得分均影響英語語用能力筆試最終等級判定。因此，在具體等級確定過程中，需要比對筆試總分和筆試可能等級范圍內(nèi)相鄰等級間得分變化率，確定被試筆試最高等級，具體筆試等級判定步驟如下：

第一步，根據(jù)筆試總得分和每個級別試題的滿分，依據(jù)上取整函數(shù)原則，確定筆試等級的可能范圍，確定方法如下：

k0=Tt

(2)

根據(jù)筆試等級分值，按照如下規(guī)則確定筆試等級的可能范圍(見表5)：

表5 筆試等級分與可能等級范圍對照表

第二步，在筆試等級的可能范圍內(nèi)，計算相鄰兩個等級分值的變化率，將相鄰兩個等級分值變化率達到最大時所對應的等級確定為筆試等級。因為當相鄰兩個級別變化率最大時，表明被試英語語用能力達到頂峰，然后開始下降，確定方法如下：

示例分析：以被試N1為例，英語語用能力筆試各級別從低到高得分依次為4、5、3、2、3、2、4，每個級別滿分為5分，具體計算過程如下：

首先，根據(jù)筆試各等級的成績計算出筆試的總成績

T=4+5+3+2+3+2+4=23；

其次，根據(jù)公式(2)和每級別滿分，計算筆試等級分

再次，根據(jù)表5中筆試等級分與筆試等級可能范圍之間的對應關(guān)系(見表5)，確定筆試等級的可能范圍為{4，5，6}；

3.口試他評等級(z)確定過程

《中國量表》中，對于英語語用能力的概念界定主要體現(xiàn)在學習者基于具體語境從書面和口頭理解與表達請求、建議、拒絕、道歉等交際意圖，以及直接或間接表達觀點、情感和態(tài)度的能力。然而，口頭交際方式更能體現(xiàn)出被試能否正確理解交際意圖、適切表達自己的觀點和態(tài)度。此外，口頭交際是個連貫的系列行為，以言行事體現(xiàn)了語言的功能，所以全面而合理地綜合評定被試英語語用能力離不開口試測試方式?；诒辉嚨淖栽u等級判定、筆試及口試等級測試與確定均以《語用能力自我評價量表》中語用能力描述語為共同依據(jù)，保證了三個維度評價標準信度的一致性，從不同維度反映被試語用能力水平。在口試等級的確定中，根據(jù)被試的英語語用能力自評等級和筆試等級確定該生英語語用能力口試的預估等級。在此基礎(chǔ)上，根據(jù)其口試表現(xiàn)等級符合度，通過調(diào)整參數(shù)確定其英語語用能力口試等級，確定方法如下：

根據(jù)CEPCA評價模型口試對照等級評分標準(見表6)，針對被試口試表現(xiàn)進行五級達成度評價，包括未能達到、勉強達到、基本達到、較好達到和完全達到，并對其進行賦值(0—1分)，賦值標準與自評等級完成程度賦值標準相同(見表2)，具體得分原則如下：

C.分數(shù)加總即為該被試英語語用能力口試對照S等級。

表6 CEPCA評價模型口試對照等級S評分標準示例(以1—7級為例)

示例分析：對被試語用能力等級在基本完成及以上的完成程度賦值1分，上表中被試口試得分5分，最終認定其口試等級調(diào)整系數(shù)對比值為5，如果該考生預估等級4，那么符合度是1，則在原預估等級上提高一個等級，即該被試英語語用能力口試等級為5級；如果該生僅完成了預估等級4級的交際任務，則保持原有預估等級，即該被試英語語用能力口試等級為4級；如果其測試結(jié)果未能基本完成交際任務，就在原預估等級基礎(chǔ)上降低一個等級，即該被試英語語用能力口試等級為3級。具體計算過程如下：

s=x+y2=3+52=4,

第一步，根據(jù)被試N1英語語用能力自評等級3級和筆試等級5級確定口試的預估等級，即預估等級為4級；

基于以上各項公式測得x值、y值、z值后，則在CEPCA評價模型計算公式中分別乘以各自對應的權(quán)重，計算出被試英語語用能力綜合評價等級R。以N1被試測試成績?yōu)槔?，?jīng)專家賦權(quán)和變異系數(shù)求權(quán)，自評權(quán)重為20%、筆試權(quán)重為30%、口試權(quán)重為50%，依據(jù)評價模型計算公式，對被試對象英語語用能力等級做出綜合評價。利用公式(1)得到英語語用能力綜合等級為：

R=[α1x+α2y+α3z]=[0.2×3+0.3×5+0.5×5]=4.6≈5

這表明該被試英語語用能力等級上取整為5級。由此結(jié)果可見，被試的英語語用能力綜合評價等級與其自評等級3級有較大差異，即學生客觀評價自身語用能力水平有限，需要一套科學而有效的質(zhì)化和量化結(jié)合的測試評價模型應用于語用教學評價實踐。

三、大學英語語用能力評價模型的實踐論證

為了驗證CEPCA評價模型理論是否有效，本研究首先利用德爾菲專家咨詢法，對該評價模型進行了評估，然后采用測量法和統(tǒng)計分析法，對L高校H班全體同學運用CEPCA測量工具和評價模型進行測試，在實踐中對該評價模型理論進行檢驗和修正。試測結(jié)果反映出了較好的信效度。同時經(jīng)過差異性檢驗，發(fā)現(xiàn)被試的自評等級、筆試等級和口試等級間存在顯著差異。這也進一步印證了單一的主觀評價、量化筆試評價或口試評價均不能全面而有效地反映被試英語語用能力實際水平，應結(jié)合三個維度進行科學評定。

(一)試測樣本英語語用能力等級評價結(jié)果分析

被試樣本為非英語專業(yè)二年級學生，樣本量為29人。運用CEPCA評價模型對被試對象的語用能力等級進行測試，測試結(jié)果為：第一，通過對評價模型三維度等級對比分析，發(fā)現(xiàn)語用能力自評等級均值低于口試和筆試等級均值。第二，語用能力總評等級均值小于4，表明被試未達到大學非英語專業(yè)本科生應達到的5級要求，基本處于初高中水平。第三，該測試結(jié)果折射出我國普通高校的外語教學中對語用能力的培養(yǎng)不足，未實現(xiàn)培養(yǎng)學生外語綜合運用能力的終極課程目標(見表7)。

表7 被試對象英語語用能力等級均值統(tǒng)計表

(二)試測樣本英語語用能力等級評價質(zhì)量分析

測試工具質(zhì)量直接影響到語用能力綜合等級判定的真實性和有效性，本研究利用SPSS 23統(tǒng)計分析軟件從信度、效度、難易度和區(qū)分度四個維度分析測量工具質(zhì)量。結(jié)果顯示，三個測評維度的信度、效度、難度和區(qū)分度值均符合高質(zhì)量測評的相關(guān)要求，也驗證了所構(gòu)建的大學英語語用能力評價模型具有科學性、可靠性和有效性。

1.信度與效度檢驗

大學英語語用能力評價模型信度檢驗中，所得自評信度值Cronbachα=0.932>0.9，他評信度值Cronbachα=0.933>0.9，說明該評價模型具有較高信度(見表8)。

表8 英語語用能力評價信度檢驗表

采用因子分析方法對大學英語語用能力自評等級進行效度檢驗，所得KMO=0.852，具有較高效度，共同度值均大于0.6，所以各項均予以保留(見表9)。

表9 英語語用能力自我認知評價效度檢驗表

大學英語語用能力他評維度采用效標效度檢驗的方式，把被試英語口試評價等級作為衡量測試是否有效的效標，利用檢驗測試結(jié)果與效標間的一致性程度，求得皮爾遜相關(guān)系數(shù)反映效標效度。本次英語口語水平與語用能力其他評價維度等級和綜合評價等級效標效度基本維持在0.4左右，這說明本次測試成績具有可接受的效度(見表10)。

表10 英語語用能力評價效標效度檢驗表

2.難度與區(qū)分度檢驗

難度檢驗可以反映出不同級別試題對于被試對象來講是否有難度差異，可以反映出被試在語用知識、語用意識和語用表現(xiàn)方面掌握情況，呈現(xiàn)出語用能力教學存在的問題。難度影響著測試的信度和效度，難度系數(shù)P=0.5左右被視為具有較好的難易度。從下表中測試難度系數(shù)可以看出，除了2級測試題難度系數(shù)過高外，其余各項難度系數(shù)P的范圍在近0.4至0.7之間，說明各種相關(guān)測試難度較為合理，從1級至7級測試題反映出難度系數(shù)值走向來看，基本是隨著級別升高而難度逐步增大(見表11)。

表11 英語語用能力評價效標效度檢驗表

區(qū)分度檢驗反映不同被試的水平差異，區(qū)分度低會出現(xiàn)高分或低分人數(shù)聚集，高區(qū)分度可以使不同層次的被試比例相當。筆試以多項選擇的形式進行考核，屬于客觀題，使用斯皮爾曼等級進行相關(guān)分析求得區(qū)分度，所得筆試評價相關(guān)系數(shù)為0.848，采用角色扮演形式的口試評價和自我認知評價為主觀題，使用皮爾遜進行相關(guān)分析，求得口試評價和自評的相關(guān)系數(shù)分別為0.915和0.676(見表12)，均大于0.3，這說明該測試具有良好的區(qū)分度，能區(qū)分開被試對象實際英語語用能力差異，其中區(qū)分度最高的為口試評價，這更反映出中國英語能力等級量表對語用能力在言語行為方面的窄式界定，突出對言語交際能力的培養(yǎng)。

表12 語用能力不同評價區(qū)分度分析表

(三)CEPCA評價模型實踐論證結(jié)論

通過對被試運用英語語用能力CEPCA評價模型進行實踐檢驗，進一步從評價維度、評價標準和評價形式方面論證了該模型理論建構(gòu)具有科學性及實效性。

1.單維度主觀自評具有局限性和不準確性

單一維度主觀自評等級具有局限性，不能準確反映被試真實等級。因此，建構(gòu)主客觀多維度評價模型具有合理性與科學性。僅憑英語學習者根據(jù)《語用能力自我評價量表》，對其英語語用能力進行主觀的等級評定，與其實際客觀評價存在一定差異。為檢驗被試英語語用能力自我認知評價、筆試評價和口試評價均值間是否存在差異，對H班被試英語語用能力的不同評價測試結(jié)果進行配對T檢驗，進而為檢驗英語語用能力等級評價模式三個維度設(shè)置合理性。下表中將自我評價、筆試評價和口試評價兩兩配對，通過顯著性檢驗，自評等級與口試及筆試評價等級均存在顯著差異，P=0.000<0.05，這說明單一維度主觀自評對被試進行總體等級評定與其真實水平存在誤差，需要建構(gòu)主客觀結(jié)合的評價模型全面而準確反映被試真實的英語語用能力水平，這也論證了該模型增加他評維度評價的科學性和必要性。

2.多維客觀他評評價維度具有修正性和必要性

通過對被試筆試評價與口試評價等級均值T值差異性檢驗，P=0.134>0.05(見表13)，這說明二者間不存在顯著差異，即被試英語語用能力筆試等級與口試等級基本相同，也就是說客觀地進行筆試等級和口試等級評定可以真實地反映出被試實際語用能力水平，可以彌補單一主觀自我評價的不足。因此建構(gòu)多維度主客觀并存的評價模型具有科學性和準確性。

表13 不同評價維度配對差異性分析

3.各評價維度權(quán)重設(shè)置具有科學性和調(diào)節(jié)性

從上表中三個評價維度等級均值的T檢驗比對數(shù)據(jù)來看，可以看出被試的英語語用能力筆試成績優(yōu)于口試成績，自我評價成績最低，這也說明每一種測試或評價在綜合評價被試能力水平中都有其貢獻度，能診斷和反饋被試的外語學習及所在學校的外語教學的關(guān)注點與不足。通過對不同評價維度權(quán)重靈活賦值，可以有效發(fā)揮語用能力評價的調(diào)節(jié)功能和教學反撥功能，引導外語教學與測試實現(xiàn)語用轉(zhuǎn)向。如L個案學校在實踐中運用CEPCA英語語用能力評價模型時，經(jīng)過專家對不同評價維度的權(quán)重系數(shù)賦值(自評等級維度權(quán)重系數(shù)0.2、筆試等級維度權(quán)重系數(shù)0.3、口試等級維度權(quán)重系數(shù)0.5)和根據(jù)135名志愿者被試測量數(shù)據(jù)利用變異系數(shù)計算出的權(quán)重系數(shù)(自評等級維度權(quán)重系數(shù)0.21、筆試等級維度權(quán)重系數(shù)0.31、口試等級維度權(quán)重系數(shù)0.48)進行對比時，發(fā)現(xiàn)主客觀方法獲得的權(quán)重值基本吻合，這可以為實踐運用該模型確定權(quán)重提供參考依據(jù)。通過調(diào)節(jié)偏低或偏高維度的評價等級權(quán)重來實現(xiàn)外語教學中“以評促教、以教促評”。

《中國英語能力等級量表》對語用能力的界定與分級描述和《自評量表》的研制反映出國內(nèi)外語教學與測試的語用轉(zhuǎn)向理念，為我國英語語用能力教學和測試均提供了理論依據(jù)和共同的參照標準，有益于我國外語教學及測試與國際接軌。基于該量表構(gòu)建大學英語語用能力評價模型(CEPCA評價模型)，探究英語語用能力評價維度、語用能力測評計算公式及評價標準，在實踐中對評價模型理論建構(gòu)予以論證，具有理論與實踐意義，也提升了英語語用能力測試的可操作性，從理論與實踐層面豐富了《中國量表》的語用能力相關(guān)量表。英語課程教學目標是使學生用英語有效地進行交際，對英語語用能力測試及評價不僅對學生英語語用能力教學效果進行了客觀、準確、公正檢測和評價，而且發(fā)揮測試評價的積極反撥作用，針對測試中反映出的教學問題調(diào)整教學策略，提高教學質(zhì)量，實現(xiàn)“以評促教、以評導學”。通過推動英語課程教學與測評的語用轉(zhuǎn)向，為我國全球化進程提速培養(yǎng)更具國際競爭力和外語交際能力的綜合性人才。