聽力水平測試的效度分析

周 穎

聽力是一項重要的語言技能，是衡量個體綜合語言能力的重要指標(biāo)。聽力測試作為一種綜合語言能力的測試，具有較高的效度。測試的合理設(shè)置和實(shí)施能對教學(xué)其到很好的反撥作用。而要使聽力測試準(zhǔn)確地反映受試者的實(shí)際聽力理解能力，在教學(xué)中發(fā)揮其指導(dǎo)作用，促進(jìn)學(xué)習(xí)者聽力理解水平的提高，就必須保證試題設(shè)計的科學(xué)性，判分的可行性和可靠性，保證對受試者的語言能力做出準(zhǔn)確，公正的測量。而談及評估聽力測試，人們往往將目光放在全國性的甚至是國際的大型測試，事實(shí)上，平時學(xué)校內(nèi)部的考核跟教與學(xué)有著更直接的關(guān)系，更值得關(guān)注。本文將結(jié)合聽力理解和聽力測試的特點(diǎn)，對教師自行設(shè)計的英語專業(yè)大一期末聽力測試的題型和選材等方面進(jìn)行效度分析和研究。希望通過研究，反映是否能通過測試對象在有限的測試任務(wù)樣本中的表現(xiàn)推斷出其是否具有相應(yīng)的語言能力。

一、語言測試的效度相關(guān)理論

自20世紀(jì)60年代以來，語言測試與評估的研究一直圍繞效度展開（Kunnan，1998）。但在此前及此后的很長一段時間里，效度理論一直處于眾說紛紜的狀態(tài)，缺乏明晰的效度研究理論模型。鄒申（2005）將效度理論的演化分為三個階段。20世紀(jì)30年代到40年代，“效度”被簡單地看成兩個相同目的的測試所得結(jié)果之間的相關(guān)性；20世紀(jì)40年代到50年代，“效度”產(chǎn)生了林林總總的分類，如內(nèi)容效度、共時效度、預(yù)測效度等等。20世紀(jì)90年代以后，“效度”被界定為一個不可分割的整體性概念，統(tǒng)指測試的有效性。李清華（2006）也以三個階段來劃分效度理論的發(fā)展。60-70年代，效度和信度是語言測試的兩大重要質(zhì)量標(biāo)準(zhǔn)。證明效度即需證明“……在多大程度上這項測試與其他有效二可靠地語言測試相關(guān)”（Oller，1979）。效度則一般分為三類：內(nèi)容效度，效標(biāo)關(guān)聯(lián)效度和構(gòu)念效度。80年代，三分法得以擴(kuò)展。同時，國內(nèi)外研究者開始認(rèn)識到效驗(yàn)就是假設(shè)檢驗(yàn)過程。90年代至今，效度被認(rèn)為是一整體概念，構(gòu)念效度是其核心。

兩人的階段劃分有所區(qū)別，但其共同點(diǎn)在于都把Messick（1989）的效度思想引入語言測試領(lǐng)域后的90年代初認(rèn)為是效度理論發(fā)展的分水嶺（Douglas，1995），確立了效度整體觀的主流理論地位，而此前的效度分類成為討論效度的證據(jù)。綜合國內(nèi)外語言測試界學(xué)者的研究，效度作為一個整體概念，構(gòu)想效度是其核心，內(nèi)容和效標(biāo)關(guān)聯(lián)證據(jù)是構(gòu)念效度證據(jù)的一部分。效度定義由某一測試相對于另一測試的相關(guān)，完善為是基于多種理論依據(jù)和經(jīng)驗(yàn)證據(jù)的論證，對測試分?jǐn)?shù)在多大程度上能夠正迷宮測試的解釋和使用合理性的論證。

按照Ebel和Frisbie（1991）的定義：構(gòu)想指的是一個無法直接測量或觀察到的心理特征或理論概念，如智力、動機(jī)、進(jìn)步、焦慮等。就語言測試而言，擬測試的“構(gòu)想”及時某項語言能力，它可分析為若干個分范疇或指標(biāo)。語言測試需要有效地考查學(xué)生在這些指標(biāo)上的表現(xiàn)，從而評估該向能力提供可靠的依據(jù)。聽力測試的有效性就在于測試結(jié)果能夠真正反映測試對象在生活中應(yīng)該負(fù)有的聽力理解能力。聽力理解能力極為聽力測試的構(gòu)想。

在聽力理解過程中，環(huán)境刺激以聽覺形式輸入，永久記憶中的語音，詞匯，句法和語義知識被提取，用于感知儲存器中的語音，并進(jìn)行詞匯識別，語法分析和語境推到等環(huán)節(jié)（Rost，1995）。經(jīng)過處理的語言信息進(jìn)入工作記憶即進(jìn)行答題。部分信息有可能進(jìn)入永久記憶，補(bǔ)充已有知識?？刂七^程即控制手，眼，耳協(xié)調(diào)，調(diào)出永久記憶，辨認(rèn)和修正語音輸入的過程。聽力理解的信息處理同時包含了自上而下（top-down process）和自下而上（bottom-up process）兩個過程。此外，在測試過程中，除了理解過程以外，還有兩個過程會直接影響測試結(jié)果：信息的保持過程和題目解答過程。這兩個過程與信息處理的準(zhǔn)確性，反映速度和熟練程度密切相關(guān)，表現(xiàn)為聽力技能。因此，可以認(rèn)為，聽力測試想要測量的構(gòu)想包括三個組成要素：信息理解能力，信息保持技能和答題技能。信息理解能力又包含語音感知，詞匯識別，語法分析，語境推導(dǎo)；信息保持技能包含記憶，筆記，速記；答題技能包含信息提取和信息應(yīng)用（鄧杰，朱小舟，2007）。

基于以上對于“效度”及“構(gòu)想效度”的認(rèn)識，本文試圖從以下兩個方面收集證據(jù)來驗(yàn)證聽力測試的效度：聽力測試的內(nèi)容效度分析；聽力測試與精讀成績之間的關(guān)系。前一項屬于內(nèi)容相關(guān)性證據(jù)，后一項屬于效標(biāo)關(guān)聯(lián)性證據(jù)。

二、調(diào)查方法

（一）調(diào)查對象及調(diào)查方法

調(diào)查對象為浙江工商大學(xué)外國語學(xué)院英語專業(yè)一年級兩個班51個學(xué)生。調(diào)查在2011年6月期末考試期間進(jìn)行。

調(diào)查主要從兩方面進(jìn)行。第一，進(jìn)行考試試卷文本分析，研究材料是聽力課程期末試卷。聽力測試中，往往在一段聽力材料后有一至多題與之對應(yīng)，每一題考查不同的內(nèi)容：或考查對材料的整體理解，或針對細(xì)節(jié)的判斷推理，等等。作者將每一題所考查的內(nèi)容對應(yīng)一項相應(yīng)的聽力構(gòu)想。然后計算各項構(gòu)想的總頻數(shù)。以此對照2000年出版的《高等學(xué)校英語專業(yè)英語教學(xué)大綱》，檢查聽力測試內(nèi)容是否符合《大綱》對英語專業(yè)二級聽力的要求。該項調(diào)查旨在獲得聽力測試內(nèi)容相關(guān)性的證據(jù)。第二，對期末聽力測試成績與精讀測試的成績進(jìn)行對比分析。雖然，聽力測試與精讀測試性質(zhì)不同，兩者考查的能力亦不同。但兩者依據(jù)同一個教學(xué)大綱，反映同為運(yùn)用英語的能力，兩者有者密切的關(guān)系。國內(nèi)也已有拿英語專業(yè)四級口試與筆試進(jìn)行對比，獲得標(biāo)準(zhǔn)關(guān)聯(lián)性證據(jù)的研究（文秋芳，王凌，2009）。同樣，聽力測試中的信息理解能力和精讀中大量的局部語言意義理解能力或篇章語言理解能力；聽力測試中的信息提取及應(yīng)用的能力也和精讀測試中的閱讀答題能力都有大量共通之處。因此，作者將同期進(jìn)行的兩場考試聽力和精讀成績進(jìn)行比對分析，旨在獲得效標(biāo)關(guān)聯(lián)性證據(jù)。

（二）結(jié)果和討論

這套自行設(shè)計的英語專業(yè)一年級聽力測試題型設(shè)計包含：I.短對話聽解選擇（20題），II,篇章聽解選擇（20題），III，數(shù)字填空（10題），IV，根據(jù)篇章意思判斷正誤（15題），V，篇章聽寫（1題）。VI，根據(jù)篇章將文字轉(zhuǎn)換為圖像填空（10題），VII，根據(jù)篇章原文填空（15題）。共90題，期中I到IV為客觀題，V，VI，VII為主觀題。另外，為激勵學(xué)生對于平時課堂的重視，短對話聽解選擇和篇章聽解選擇中各有10題出自課堂內(nèi)容。

作者首先把每一道聽力題目上將測試到的各項聽力構(gòu)想進(jìn)行歸類計算。基本確定了聽力構(gòu)想在整套測試中的總頻數(shù)（聽寫作為綜合語言能力的測試，不考慮在歸類中）。出現(xiàn)頻率為：語音感知：100%，詞匯識別：100%，語法分析：66.7%，語境推導(dǎo)：50%，記憶：100%，筆記：27.8%，速記：27.8%，信息提?。?00%，信息應(yīng)用：100%。

可以看出，該套測試的聽力題目表現(xiàn)形式不同，或填空、或選擇、或判斷；聽力的輸入材料內(nèi)容也不同，有對話、數(shù)字、講座、訪問等。整套測試基本都考查了聽力測試覆蓋的所有構(gòu)念。

然后，作者對照《高等學(xué)校英語專業(yè)英語教學(xué)大綱》對于英語專業(yè)二級的聽力教學(xué)要求（《大綱》在教學(xué)要求上按級劃分，每學(xué)期為一級，一年級第二學(xué)期期末考試即為二級）?！奥牰⒂抡Z國家人士所作的難度不超過所學(xué)語言知識的講座，掌握中心大意，理解主要內(nèi)容，并能辨別說話人的態(tài)度和語氣。聽懂VOA慢速新聞廣播和文化節(jié)目，抓住主要內(nèi)容。能在15分鐘內(nèi)聽寫根據(jù)已學(xué)知識編寫而成或選用的錄音材料（詞數(shù)150個左右，念四遍，語速為每分鐘100個單詞），錯誤率不超過10%”。可以看出，該套聽力測試的具體內(nèi)容，以測試構(gòu)念所體現(xiàn)的測試目標(biāo)與《大綱》對二級的聽力的要求完全吻合。由此可以得出結(jié)論：聽力考試具有內(nèi)容相關(guān)性。

作者再將參加聽力考試的51名學(xué)生的成績進(jìn)行統(tǒng)計，其80分以上有11人（21.6%），70分以上28人（54.9%），60分以上10人（19.6%），60分以下2人（3.9%）。同時，將這51名學(xué)生在幾天前參加的精讀考試的成績進(jìn)行統(tǒng)計，80分以上有5人（9.8%），70分以上17人（33.3%），60分以上25人（49%），60分以下4人（7.8%）。通過SPSS軟件，作者得出的兩項成績的總相關(guān)系數(shù)為0.712.這一結(jié)果可以表面聽力測試對于精讀測試來說，具有較強(qiáng)的相似性。聽力考試具有標(biāo)準(zhǔn)效度。

但是，在研究過程中，就效度實(shí)現(xiàn)而言，這套聽力測試依然暴露出不小的問題。第一，整套試題中有占20%分值的題目是從平時課堂聽力資料中選取。也就是說，雖然這些題目的確涵蓋了聽力構(gòu)想，但對絕大部分受試學(xué)生來講，只需憑借記憶即可作答。因此，這部分的試題并不能有效推斷測試對象的聽力能力?？墒?，這也是我們大多數(shù)考試往往遵循的老模式，即在期末測試中以部分分值體現(xiàn)課堂教學(xué)的效果，同時促進(jìn)學(xué)生平時的學(xué)習(xí)積極性和學(xué)習(xí)效率。因此，如何解決這兩者之間的矛盾值得在設(shè)計題目時好好考慮，從而使考試更好的為教學(xué)服務(wù)。第二，整套測試題量較大。1個小時的大量聽力輸入，令一些學(xué)生產(chǎn)生心理焦慮。已有研究證明測試中，往往焦慮程度越高，考試成績越低。焦慮程度影響了測試結(jié)果反映真正的聽力水平。因此，老師如何盡量減低學(xué)生的焦慮程度，使測試結(jié)果更加公平準(zhǔn)確，也值得進(jìn)一步的探討。第三，雖然整套測試的確基本涵蓋了聽力構(gòu)想。但是，題材過多地以文化歷史社會人文為主，內(nèi)容比較貼近現(xiàn)實(shí)生活，文體屬于口語體較多。而實(shí)時性的新聞評論等內(nèi)容較少，體裁稍顯單一。那么究竟在試題設(shè)計時，改如何實(shí)現(xiàn)聽力測試的構(gòu)想，使聽力測試具有效度？確保聽力測試材料的真實(shí)性，確保聽力測試任務(wù)的真實(shí)性，明確目的語使用場景的聽力需要等是基本的三項要求。

因?yàn)榻處熥孕性O(shè)計的各種課程的期中，期末考試和平時的教與學(xué)更息息相關(guān)，更對實(shí)現(xiàn)教學(xué)目標(biāo)，提高教學(xué)質(zhì)量有舉足輕重的作用，所以，借此研究，希望能引起廣大教師的重視，促進(jìn)考試對教學(xué)的積極導(dǎo)向作用。本研究從構(gòu)想效度角度對教師自行設(shè)計的英語聽力測試進(jìn)行檢驗(yàn)。文章陳述了構(gòu)想效度，及聽力的構(gòu)想的基本理論。并從內(nèi)容相關(guān)性和效標(biāo)關(guān)聯(lián)性兩個方面進(jìn)行研究。研究結(jié)果發(fā)現(xiàn)聽力測試具有一定的效度，但也存在影響效度實(shí)現(xiàn)的問題。只有保證測試的效度，才能公正，合理地反映出考生的真實(shí)聽力水平，真正推動聽力教學(xué)的發(fā)展。

[1]Douglas，D.Development in language testing[J].Annual Review of Applied Linguistics 1995，(15).

[2]Ebel，R.L.& D.A.Frisbie，Essentials of Edu －caional Measurement[M].5th edition.En glewood Cliffs,NJ:Prentice Hall,1991.

[3]Kunnan，A.J.(ed.).Validation in Language Assessment[C].Mahwah,NJ:Lawrence Erlbaum Associates.1998.

[4]Messick，S.Validity[A].In R.L.Linn(ed.).E－ducational Measurement（3rd edition）[C].New York:Macmillan.1989.

[5]Oller，J.W.Language Tests at School[M].London:Longman.1979.

[6]Rost，M.Listening in Action[M].London:Prentice Hall International Ltd，1991.

[7]鄧杰，朱小舟.英語聽力學(xué)習(xí)在線質(zhì)量評估與輔助決策研究[J].外語與外語教學(xué)，2007，（9）.

[8]李清華.語言測試之效度理論發(fā)展五十年[J].現(xiàn)代外語，2006，（2）：87-95.

[9]文秋芳，王凌.英語專業(yè)四級口試的效度研究[J].解放軍外國語學(xué)院學(xué)報，2009，（9）.

[10]鄒申.語言測試[M].上海：上海外語教育出版社，2005.

[11]高等學(xué)校英語專業(yè)英語教學(xué)大綱[Z].上海：上海外語教育出版社，2000.