構(gòu)建英語公眾演講能力的評估量規(guī)

光彩虹

(長治學(xué)院 外語系，山西 長治 046011)

構(gòu)建英語公眾演講能力的評估量規(guī)

光彩虹

(長治學(xué)院 外語系，山西 長治 046011)

英語公眾演講；能力；評估；量規(guī)

隨著英語演講藝術(shù)課程在中國高校的廣泛開設(shè)，亟需探討一套適合課程使用的評價(jià)體系來測量學(xué)生的演講能力。本文對演講評估內(nèi)容和測量尺度的相關(guān)文獻(xiàn)進(jìn)行了回顧分析，得出一個(gè)由11個(gè)項(xiàng)目組成的可廣泛使用的評估量表。通過對英語專業(yè)學(xué)生的40篇信息性和40篇?jiǎng)裾f性演講進(jìn)行編碼和獨(dú)立評價(jià)，用因子分析的方法得出一個(gè)較為合理的三因子結(jié)構(gòu)。生成的新演講評估量規(guī)與學(xué)生的演講成績的相關(guān)性對比證實(shí)了新量規(guī)的預(yù)測效度。此研究對提高英語演講藝術(shù)課程評估的信度和效度有一定借鑒作用，并給演講課的教師和學(xué)生提供了一個(gè)測試公眾演講能力的有效量表。

演講課程在西方國家高校的開設(shè)歷史久遠(yuǎn)，演講藝術(shù)課程起初只在大學(xué)的傳媒學(xué)院開設(shè)，而現(xiàn)今它已成為普通大學(xué)生必修的通識(shí)課程之一。在我國，除了傳媒學(xué)院所開設(shè)的演講藝術(shù)課程之外，受各大英語演講賽事的影響，如"外研社杯"全國英語演講大賽、"21世紀(jì)杯"英語演講比賽等，高校的英語專業(yè)逐步開設(shè)了英語演講藝術(shù)這一課程，并正在逐步擴(kuò)展到整個(gè)大學(xué)英語教育中，旨在提高學(xué)生的口語表達(dá)、邏輯思維和分析事物的能力。

英語演講藝術(shù)已在我國高校廣泛開設(shè)，教材普遍使用的是美國威斯康森大學(xué)麥迪遜分校Steven Lucas教授編寫的全英版"演講藝術(shù)"。雖然教材里很清晰地指明學(xué)生在不同階段學(xué)習(xí)應(yīng)該鍛煉和提高的具體能力，但是由于我國在英語演講能力評估方面的研究甚少，教師在演講測試和演講評價(jià)時(shí)仍然缺乏具有較強(qiáng)信度和效度的評價(jià)指導(dǎo)體系。多數(shù)英語演講藝術(shù)教師仍然按照口語測試的評估標(biāo)準(zhǔn)，從內(nèi)容、語音、演講技巧等方面籠統(tǒng)地對學(xué)生的演講進(jìn)行評估。由于英語演講和英語口語存在很多異同點(diǎn)，用口語評價(jià)標(biāo)準(zhǔn)對演講進(jìn)行評估難免會(huì)有些片面性。為此，本文從公眾演講能力的評估內(nèi)容和評估測量尺度兩個(gè)方面探討學(xué)生公眾演講能力的評估標(biāo)準(zhǔn)，以期探索一套合理有效并適合于評價(jià)和測試學(xué)生英語演講質(zhì)量的標(biāo)準(zhǔn)體系。

一、英語公眾演講能力的評估

(一)公眾演講能力評估內(nèi)容

上世紀(jì)70年代，美國國家傳播協(xié)會(huì)(The National Communication Association，即NCA)開始了一項(xiàng)關(guān)于學(xué)生演講核心能力的調(diào)查研究，為公眾演講核心能力的進(jìn)一步發(fā)展奠定了基礎(chǔ)。Quianthy(1990)分析了NCA所提出的演講能力衡量標(biāo)準(zhǔn)，他指出演講能力的考量應(yīng)主要包含演講目的、主題選擇、內(nèi)容構(gòu)思、發(fā)音清晰度、語音變化、非言語行為、語言使用和支撐材料等方面。隨后，Quianthy and Hefferin (1999)又進(jìn)一步指出，有效的口頭交流包含信息產(chǎn)出和用語言或非語言信號(hào)清晰地表達(dá)信息的過程(p. 28)。根據(jù)近年來相關(guān)領(lǐng)域的學(xué)者所發(fā)表的關(guān)于公眾演說評價(jià)標(biāo)準(zhǔn)的文章 (Lucas, 2007; Morreale et al., 2007; Rhodes, 2010; Thomson & Rucker, 2002)，本文總結(jié)了公眾演講的核心能力和共同點(diǎn)，可以分為兩大類別，即：信息組合和信息傳遞。信息組合主要指演講目的的決定、主題的選擇和口語語篇功能的完成，整個(gè)過程包含篩選恰當(dāng)?shù)恼撌鲇^點(diǎn)、提煉支撐材料、精選詞匯和過渡句；信息傳遞包含語音變化、語言表達(dá)、語言使用和非語言行為。演講者還需通過良好的人際交流技巧、自我意識(shí)能力和話語表達(dá)方式進(jìn)行演講。

在Quianthy提出NCA公眾演講評價(jià)標(biāo)準(zhǔn)之后，又出現(xiàn)了PSCI、CSSEF、Lucas和VALUE演講評估標(biāo)準(zhǔn)。下文將分別對以上四種評價(jià)標(biāo)準(zhǔn)進(jìn)行分析。Thomson and Rucker's (2002) 公眾演講能力量表(PSCI)是公開發(fā)表的評價(jià)演講能力的參考標(biāo)準(zhǔn)之一。此五點(diǎn)量表評價(jià)標(biāo)準(zhǔn)由7大類、20個(gè)分項(xiàng)組成，包含演講的開頭、內(nèi)容組織、支撐材料、演講的結(jié)尾、語言表達(dá)、非語言表達(dá)和綜合能力。除語言使用之外，Thomson and Rucker的PSCI標(biāo)準(zhǔn)體現(xiàn)了演講評估中創(chuàng)造信息和表達(dá)信息的兩大組成部分。之后，Morreale et al. (2007)對優(yōu)秀公眾演講者評價(jià)量表(CSSEF)進(jìn)行了廣泛的測試。CSSEF是由一個(gè)包含8項(xiàng)評價(jià)標(biāo)準(zhǔn)的三點(diǎn)量表圖組成，八項(xiàng)內(nèi)容主要測試學(xué)生在主題選擇、演講目的、言語表達(dá)、內(nèi)容構(gòu)思、語音語調(diào)、肢體語言、語言使用和支撐材料使用八方面的表現(xiàn)。八項(xiàng)內(nèi)容和Quianthy(1990)提出的演講能力考量標(biāo)準(zhǔn)完全吻合。

此外，Lucas(2007)所著的公眾演講藝術(shù)一書中依據(jù)演講內(nèi)容和構(gòu)思過程，提出了由5大類、22個(gè)測量分項(xiàng)組成的演講評估五點(diǎn)量表，主要分為演講的開頭、演講的主體、演講的結(jié)尾、演講的表達(dá)和總體評價(jià)五大類。事實(shí)上，此教材的主體內(nèi)容也是基于五大評價(jià)類別而編寫的，它不僅給演講課教師提供了教學(xué)與測試評價(jià)參考，而且學(xué)生也可根據(jù)此標(biāo)準(zhǔn)設(shè)定目標(biāo)、逐項(xiàng)練習(xí)并最終達(dá)到目標(biāo)。同年，美國大學(xué)聯(lián)盟也進(jìn)行了一項(xiàng)關(guān)于測量大學(xué)生核心學(xué)習(xí)成果的評估建構(gòu)Value Assessment of Learning in Undergraduate Education (VALUE)。其中，口頭交際能力是此評估建構(gòu)的核心內(nèi)容之一。相比以往的評估量表，此四點(diǎn)評估量表涉及范圍更廣泛，它包含演講內(nèi)容組織、語言使用、語言表達(dá)、支撐材料和核心信息五大項(xiàng)能力。此評估量表的設(shè)計(jì)主要是為了讓廣大高等教育機(jī)構(gòu)在通識(shí)教育階段所采用。

通過對上述四類公眾演講評價(jià)標(biāo)準(zhǔn)對比分析發(fā)現(xiàn)，其中共性的九項(xiàng)核心能力比較明顯突出并和Quianthy (1990)所提出來的評估標(biāo)準(zhǔn)基本一致。這九項(xiàng)能力分別是演講主題和目的的決定、支撐材料的使用、觀點(diǎn)的構(gòu)思、演講的開頭、演講的結(jié)尾、語言的使用、語言傳遞、非語言傳遞和受眾分析等。上述評估標(biāo)準(zhǔn)中唯一區(qū)別在于，PSCI和Lucas演講能力評估項(xiàng)目中演講的開頭和結(jié)尾兩部分從Quianthy演講評估列表的內(nèi)容構(gòu)思一項(xiàng)中分割出來，目的是為了便于更具體地對演講能力進(jìn)行評估。除此之外，根據(jù)公眾演講教科書里對信息性演講和勸說性演講的演說能力評估要求，視覺輔助工具和說服力兩項(xiàng)能力也應(yīng)當(dāng)加入評估標(biāo)準(zhǔn)。因此，通過對演講評價(jià)標(biāo)準(zhǔn)的相關(guān)文獻(xiàn)回顧得出了十一項(xiàng)能力作為演講評價(jià)的新標(biāo)準(zhǔn)。

(二)公眾演講能力評估的測量尺度

公眾演講能力評價(jià)工具的評估需要以下兩項(xiàng)標(biāo)準(zhǔn)：評價(jià)工具對評價(jià)內(nèi)容測量的覆蓋程度和測量方法的有效性。用這兩條標(biāo)準(zhǔn)衡量上述討論的四類演講評價(jià)工具發(fā)現(xiàn)，每類標(biāo)準(zhǔn)所測量的精確度仍然存在很多局限性。在精確度方面，測量項(xiàng)目或者不夠精確，或者太過于具體。比如，Rhodes (2010)提出的VALUE評價(jià)量規(guī)僅僅列出了五項(xiàng)常規(guī)標(biāo)準(zhǔn)，缺乏精確性。在CSSEF中，八項(xiàng)測試能力中的七個(gè)方面都在測試是否適合不同的聽眾和場合，而受眾適應(yīng)和演講實(shí)踐是不同的兩個(gè)概念，即使演講者使用了大量的支撐材料進(jìn)行演講，聽眾極其有可能產(chǎn)生對演講者所引資料可信度的質(zhì)疑。Thomson and Rucker's (2002) PSCI和Lucas (2007)公眾演講評價(jià)標(biāo)準(zhǔn)都包含了20項(xiàng)以上詳細(xì)具體的評估標(biāo)準(zhǔn)。雖然此類評估標(biāo)準(zhǔn)可以從多方面多層次評估演講并增加精確性，但是評估效率和時(shí)間均會(huì)受到影響。因此，上述討論的四類演講評價(jià)標(biāo)準(zhǔn)都有待完善。

關(guān)于測量方法，文中提及的演講評價(jià)標(biāo)準(zhǔn)的測量方法基本類似，都使用了等級(jí)測量表，但評定量表缺乏具體性，而且打分時(shí)存在模糊性。與之相比，描述性量表則可對分項(xiàng)、總項(xiàng)和加權(quán)平均分分別計(jì)分，使評估更具說服力，并可針對每個(gè)演講者給出詳細(xì)的反饋意見。但描述性量表唯一不足的是耗時(shí)太長，考評人工費(fèi)過高。等級(jí)量表和描述性量表各有利弊。因此，此研究的宗旨是找出一個(gè)更完善、更可信的測量方法，一個(gè)既能測量多項(xiàng)演講能力的精確評估量表，又能給學(xué)生提出充分反饋意見，從而更加科學(xué)地進(jìn)行公眾演講能力評估。

二、研究方法

為建立一個(gè)可以在演講比賽、課堂教學(xué)、學(xué)生自我評估等方面應(yīng)用的英語公共演講評估體系，且基于對演講能力評估相關(guān)研究的分析，本研究工具擬評估演講能力的九項(xiàng)核心能力和兩項(xiàng)附加能力，共十一項(xiàng)能力(見表1)。五點(diǎn)量表被用來測量演講能力中的每項(xiàng)能力，能力的測量等級(jí)分為非常熟練、熟練、合格、基本合格、不合格五級(jí)標(biāo)準(zhǔn)。演講能力的五個(gè)級(jí)別與相應(yīng)的分?jǐn)?shù)和描述符號(hào)可為教師和學(xué)生提供更加精確的評估反饋。

表1 公眾演講能力評估標(biāo)準(zhǔn)

此研究涉及到的語料庫均來自于一所地方師范院校外語專業(yè)大二學(xué)生，共40篇信息性演講和40篇?jiǎng)裾f性演講。英語演講與藝術(shù)課程為專業(yè)選修課，研究者在期末考試時(shí)錄像機(jī)拍攝下了學(xué)生的演講過程。為保證評價(jià)者間一致性 (inter-rater reliability), 在對演講錄像進(jìn)行評價(jià)之前，兩名演講課的教師接受了如何使用五點(diǎn)評估量規(guī)的培訓(xùn)和練習(xí)。然后，評價(jià)者對演講視頻進(jìn)行獨(dú)立評價(jià)，如果某一分項(xiàng)的評價(jià)結(jié)果有較大分歧，評價(jià)者需澄清問題并闡明所給評價(jià)的原因。評價(jià)者間一致性測量結(jié)果顯示其組內(nèi)相關(guān)系數(shù)為r= 0.7。通過分析絕對組內(nèi)相關(guān)一致性，測試評價(jià)者可更科學(xué)地對表一中每個(gè)項(xiàng)目及其與總項(xiàng)間的共同度進(jìn)行探討。其次，使用探索性因子分析亦可調(diào)查其潛在因子結(jié)構(gòu)模型。最后，除了測試評價(jià)者間的一致性和因子結(jié)構(gòu)分析，還要通過比較公眾演講能力新量表的評估結(jié)果和學(xué)生演講的實(shí)際分值，檢測此評估量表的預(yù)期效度。

三、結(jié)果和討論

通過檢驗(yàn)組內(nèi)系數(shù)表明了各項(xiàng)和總項(xiàng)的編碼者一致性，說服性演講的編碼者一致性略低于信息性演講(見表2)。抽樣適度測定值(KMO)為0.86，巴特利特(Bartlett)的統(tǒng)計(jì)量為(X2 (36)=223.06, p=.000)，以上兩項(xiàng)數(shù)據(jù)表明此樣本符合做探索性因子分析的前提。

所有數(shù)據(jù)都在SPSS中進(jìn)行了探索性因子分析，其中前兩類因子特征值大于1，第三類因子的特征值為0.925，解釋了總變量的71.54%。通過對碎石圖和各個(gè)項(xiàng)目的共同度檢驗(yàn)得出，三因子模型更適合于此數(shù)據(jù)。結(jié)果顯示由九個(gè)項(xiàng)目組成的分類量表解釋了總變量的81.75%，其中第一項(xiàng)和第九項(xiàng)( 演講主題的選擇)歸類在第二因子中(α=.745)，第二項(xiàng)到第七項(xiàng)(演講的表達(dá))歸類到第一因子中(α=.826)，第八項(xiàng)(演講的非言語表達(dá))獨(dú)自形成第三類因子(見表3)。

表2 組內(nèi)系數(shù)(r)

表3 因子載荷和共同度，1-9項(xiàng)

當(dāng)把第十項(xiàng)(視覺輔助工具的使用)添加到前九項(xiàng)數(shù)據(jù)中做因子分析，且對碎石圖和共同度檢驗(yàn)之后發(fā)現(xiàn)，三因子模型仍較為合理, 解釋了變量的82.45%。第1、4、6、9項(xiàng)，即主題適應(yīng)性，被歸類到一個(gè)因子中(α=.765)；第2、3、5、7、10項(xiàng)，即演講的表達(dá)，被歸到另一個(gè)因子中(α=.843)；第8項(xiàng)(非言語表達(dá))再一次獨(dú)自形成第三類因子(見表4)。

表4 因子載荷和共同度，1-10項(xiàng)

當(dāng)把第十一項(xiàng)(構(gòu)建有效勸說信息)添加到第1-9項(xiàng)數(shù)據(jù)中進(jìn)行因子分析時(shí)，通過對碎石圖和共同度檢驗(yàn)得出，三因子模型仍然比較合理, 解釋了變量的83.36%。第1、9項(xiàng)，即主題適應(yīng)性，被歸類到第二因子中(α=.775)，第2、3、4、5、6、7、11項(xiàng)，即演講的表達(dá)，被歸類到第一因子中(α=.861)，第8項(xiàng)(非言語表達(dá))依舊獨(dú)自構(gòu)成了第三類因子(見表5)。

表5 因子載荷和共同度，1-9,11項(xiàng)

為使測量更具效度，本研究所采納的量表得出的演講總成績平均值應(yīng)當(dāng)與學(xué)期中所使用的評分標(biāo)準(zhǔn)所得出的總成績平均值的結(jié)果呈正相關(guān)。學(xué)期中所使用的信息性演講評分標(biāo)準(zhǔn)是由二十個(gè)項(xiàng)目組成的五點(diǎn)量表的評價(jià)標(biāo)準(zhǔn)；勸說性演講的評分標(biāo)準(zhǔn)是以開放式結(jié)構(gòu)觀察為指導(dǎo)的評價(jià)量規(guī)，包含九個(gè)分級(jí)類別。鑒于兩類演講評分標(biāo)準(zhǔn)的不同，本研究分析其總項(xiàng)和各項(xiàng)平均分與給定演講類型(即：信息性演講和勸說性演講)的演講成績的相關(guān)性。在信息性演講中，所有演講者都使用了視覺輔助手段。信息性演講成績和總項(xiàng)成績出現(xiàn)了顯著相關(guān)性(r=.71,p=.00)；與第三因子(第1、4、6、9項(xiàng))成績呈顯著正相關(guān)(r=.67,p=.00)；與第一因子(第2、3、 5、 7、10項(xiàng))的成績也顯著相關(guān) (r=.68,p=.00)；但與第8項(xiàng)呈反相關(guān)(r=.29,p=.14)。在勸說性演講中，演講者都沒有使用視覺輔助手段。勸說性演講成績和總項(xiàng)成績也呈顯著相關(guān)性(r=.62,p=.00)；與第一因子(除第1、8、9項(xiàng)的其他項(xiàng)目)的成績出現(xiàn)了正相關(guān)(r=.60,p=.00)；與第二因子(第1項(xiàng)和第9項(xiàng))(r=.23,p=.31)呈反相關(guān)；與第三因子也呈反相關(guān)(r=.025,p=.91)。

通過對量表的信度和潛在因子結(jié)構(gòu)分析，確認(rèn)了本研究所提出的新量表的相對合理性。對于信息性演講，此演講評價(jià)量表充分表明了足夠的信度和預(yù)測效度；對于勸說性演講來說，較低的編碼者間信度在某種程度上可能會(huì)削弱它的預(yù)測效度。其中，視覺輔助工具和說服力兩項(xiàng)的加入也可能是影響預(yù)測效度的因素之一。另外，信息性和勸說性演講中使用的不同等級(jí)評估準(zhǔn)則也可能削弱其效度。此外，雖然演講提綱和演講時(shí)間的控制是演講能力中知識(shí)面和應(yīng)對特殊場景的具體體現(xiàn)形式之一，但是這兩項(xiàng)并不一定能全方位地證明演講者的演講能力，因此沒有在量表中體現(xiàn)。

另外需要討論的還有兩點(diǎn)。當(dāng)?shù)?0項(xiàng)(視覺輔助) 添加到因子分析的數(shù)據(jù)中, 其潛在因子結(jié)構(gòu)發(fā)生了改變, 第4項(xiàng)和第6項(xiàng)被移動(dòng)到不同因子中。究其原因主要是因?yàn)橐曈X輔助工具的使用與語言組織的清晰度和動(dòng)態(tài)性有著密切的關(guān)系，而非是主題適應(yīng)性。比如，對表四仔細(xì)觀察后發(fā)現(xiàn)，與語言組織相關(guān)的項(xiàng)目大部分都被歸到第一類因子。由于學(xué)生在演講過程中使用幻燈片能讓聽眾更好地區(qū)分或識(shí)別演講的開頭、主體和結(jié)尾部分，因此視覺輔助手段的使用與演講組織的清晰度有極大關(guān)聯(lián)。其次，視覺輔助手段與聲音表達(dá)有關(guān)，因?yàn)閮烧叨紝儆趥鬟f交付的評估方式。此種項(xiàng)目排序可能導(dǎo)致第4項(xiàng)(支撐材料)和第6項(xiàng)(語言使用)與通過支撐材料創(chuàng)建消息和語言適應(yīng)性之間的關(guān)聯(lián)性更強(qiáng)。以上研究還發(fā)現(xiàn)，第8項(xiàng)(非語言行為)一直存在于獨(dú)立因子中，它與信息性演講和勸說性演講都沒有相關(guān)顯著性。然而，盡管在演講測試時(shí)有許多非語言以外的其他因素可能會(huì)發(fā)揮作用，缺乏相關(guān)顯著性的結(jié)果是可以預(yù)測的。在今后的研究中可以選擇去掉此項(xiàng)目或者將非語言行為細(xì)化到肢體語言和眼神交流等。

四、結(jié)語

總之，分析表明新的英語演講評估量表呈現(xiàn)出相對可靠性和預(yù)測效度。英語演講評估中教師評價(jià)者能夠理解每個(gè)項(xiàng)目的具體描述內(nèi)容并且實(shí)際操作具有可持續(xù)性。所有項(xiàng)目在因子分析里的導(dǎo)入結(jié)構(gòu)相對簡單整齊并呈現(xiàn)較高的共同度。試驗(yàn)中每個(gè)因子內(nèi)的各個(gè)子項(xiàng)目間的關(guān)系與理論的預(yù)測基本一致。因此，此測量方法可以在演講的教學(xué)和評估中作為衡量公眾演講能力的有效途徑。值得注意的是，此研究結(jié)果出現(xiàn)了一個(gè)多因子的解決方案,而非是一個(gè)單因子解決方案。盡管此結(jié)果不是在預(yù)料之中，但是可以對此結(jié)果做出解釋。雖然演講需要對多方面的專業(yè)知識(shí)都有所了解，包含對演講主題的研究、對演講內(nèi)容的構(gòu)思和根據(jù)不同受眾所采用適當(dāng)?shù)姆绞絹肀磉_(dá)思想等，但是演講內(nèi)容的組織和表達(dá)能力是有效衡量有能力的演講者最重要的兩個(gè)方面。在課堂教學(xué)方面，兩類演講的演講能力評估和學(xué)生演講練習(xí)都可以充分使用此量表。除此之外，此量表還可以為學(xué)生演講的自我評估提供指引和反饋。

[1]Lucas,S.E.Instructor's manual to accompany the art of public speaking (9th ed.) [M]. New York: McGraw-Hill,2007.

[2]Morreale,S.P.,Moore, M. R., Surges-Tatum,D.,&Webster, L.The competent speaker speech evaluation form (2nd ed.)[M].Washington,DC:National Communication Association,2007.

[3]Quianthy,R.L.Communication is life:Essential college sophomore speaking and listening competencies[M].Washington,DC:National Communication Association,1990.

[4]Quianthy,R., &Hefferin, D. Speak up!A college competency assessment tool[J]. Popular Measurement, 1999,27-30.

[5]Rhodes,T.(Ed.). Assessing outcomes and improving achievement: Tips and tools for using rubrics[M].Washington, DC: Association of American Colleges and Universities, 2010.

[6]Thomson,S., & Rucker, M. L.The development of a specialized public speaking competency scale:Test of reliability[J].Communication Research Reports, 2002,(67),449-459.

Construction of Evaluation Rules of English Public Speech Ability

GUANG Cai-hong

(Department of Foreign Languages, Changzhi University, Changzhi Shanxi 046011, China)

English public speech; ability; evaluation; rule

In response to the demand for an accountable rubric that effectively assesses students' English public speaking competence, this paper analyses the public speaking evaluation content and measurement scale, an 11-item descriptive rubric designed to be comprehensible to use in public speaking competence assessment. 40 informative speeches and 40 persuasive speeches from English majors were coded and assessed, which revealed a relatively simple three-factor solution by using exploratory factor analysis. Comparison of new rubric scores with student speech grades also supported the measure's predictive validity. This study plays an important role in improving the reliability and validity of English public speaking competence rubrics and provides a valid and accurate measure for both faculty and students to assess public speaking ability.

2095-2708(2017)02-0121-06

2016-06-29

山西省教育廳高等學(xué)校教學(xué)改革項(xiàng)目(2012106)階段性研究成果。

光彩虹(1983-)，女，山西平定人，副教授，主要從事應(yīng)用語言學(xué)、英語演講和口譯研究。

H311.9

A