《改進(jìn)和拓展二語研究的定量推理》評介

申云化 馬 毅

(吉林大學(xué)，長春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

《改進(jìn)和拓展二語研究的定量推理》評介

申云化 馬 毅

(吉林大學(xué)，長春，130012)

Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).2015.Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research.New Jersey:Wiley－Blackwell.ISSN: 0023－8333.pp.vi+255.

1.引言

近年來，應(yīng)用語言學(xué)定性研究方法倍受學(xué)界青睞，研究者愈發(fā)認(rèn)識到，“社會、文化、語境等因素幾乎對語言習(xí)得的各個方面產(chǎn)生決定性影響，而定性研究是人們深刻把握這些影響的理想手段”(D?rnyei 2007:36)。但不能否認(rèn)定量研究仍是應(yīng)用語言學(xué)的重要范式，在二語習(xí)得研究中占主導(dǎo)地位(Lazaraton 2005;王立非、江進(jìn)林2012)?？墒且驗槿鄙傧鄳?yīng)訓(xùn)練，許多研究新手無法正確規(guī)范地運用定量研究方法，造成研究結(jié)論的外推性差，研究結(jié)果不適合二次分析，對教學(xué)研究理論與實踐貢獻(xiàn)不足等問題。有鑒于此，2015年6月應(yīng)用語言學(xué)頂級期刊Language Learning以增刊的形式出版了一期題為“改進(jìn)和拓展二語研究的定量推理”的專號，發(fā)表了二語習(xí)得研究領(lǐng)域John M.Norris、Rob Schoonen、Luke Plonsky、James E.Purpura和Nick C.Ellis等國際知名學(xué)者關(guān)于二語定量研究方法的論文。該系列論文是2013年10月在美國喬治敦大學(xué)舉辦的旨在改善二語定量研究現(xiàn)狀的國際會議成果，匯集了作者對二語習(xí)得研究方法所存問題的反思以及未來發(fā)展趨勢的展望。全書由兩部分(十章)組成，第一部題為“二語定量研究的測量、設(shè)計、分析面臨的挑戰(zhàn)”(第一至六章)，第二部分題為“二語定量研究的選擇、發(fā)展與未來”(第七至十章)，共計255頁。本文擬對其內(nèi)容作簡要評述。

2.內(nèi)容簡介

第一章作者 John M.Norris、Steven J.Ross和Rob Schoonen介紹Language Learning雜志出版本期增刊的背景與目的，并概述了本卷各章節(jié)的主要內(nèi)容，指出當(dāng)前應(yīng)用語言學(xué)和二語定量研究仍存在各種問題，例如在實驗設(shè)計和控制不足的情況下確立因果關(guān)系、效果和影響，樣本量過小，選擇推論統(tǒng)計方法時忽視數(shù)據(jù)是否滿足應(yīng)用條件，過度和錯誤解釋p值和顯著性檢驗而忽視效應(yīng)量大小，描述統(tǒng)計和推論統(tǒng)計結(jié)果報告不完整，以及由一個或若干個案推論總體等。作者希望上述問題能夠引起二語習(xí)得研究者的重視，并且能夠在新技術(shù)層出不窮的背景下，堅持研究方法的終身學(xué)習(xí)。

第二章作者Luke Plonsky和Talip Gonalul詳細(xì)闡述了二語定量研究近年來新涌現(xiàn)的研究綜合法或元分析法。該方法將二語習(xí)得某一領(lǐng)域的原始研究作為樣本，系統(tǒng)地分析和評價定量研究的研究方法部分(如Norris＆Ortega 2000)。本章揭示了對二語定量研究方法進(jìn)行元分析的動機，以及與研究設(shè)計和抽樣有關(guān)的分析熱點，例如實驗研究的延遲后測，研究結(jié)果的效應(yīng)量，樣本量和檢驗效能等等。本章重點報告了Luke Plonsky和Talip Gonalul對Applied Linguistics等國際期刊上發(fā)表的51篇使用探索因子分析(exploratory factor analysis)的二語定量研究所進(jìn)行的元分析，用實例向讀者展示了新的綜述研究路徑。不同于傳統(tǒng)綜述研究對研究內(nèi)容的關(guān)注，元分析更側(cè)重研究方法特征的分析、比較和綜合，有利于豐富和改進(jìn)二語習(xí)得研究方法的理論與實踐。

第三章主要討論應(yīng)用語言學(xué)實證研究中量具的效度問題，關(guān)于如何可靠、有效地操作關(guān)鍵變量，精確測量研究的理論概念。James E.Purpura、James D.Brown和Rob Schoonen強調(diào)“不按照公認(rèn)的規(guī)范編制、評價和使用量具，分析變量和變量間關(guān)系，將會危及研究結(jié)果的可靠性和研究對知識的貢獻(xiàn)”(p.41)。作者以倫敦大學(xué)學(xué)院Révész(2012)的研究為例，該研究使用語法判斷任務(wù)，書面和口頭的圖片描述任務(wù)考察重鑄反饋(recast)對受試過去進(jìn)行時語法結(jié)構(gòu)習(xí)得的影響。利用Kane(2006)的分析框架，作者分析了Révész(2012)研究中口頭描述任務(wù)的效度驗證過程。此外，作者還對測量的評分者間信度和再測信度等問題進(jìn)行剖析，指出研究者在做出概括性結(jié)論之前應(yīng)提供必要的證據(jù)支持。最后，作者總結(jié)了應(yīng)用語言學(xué)研究者在測量工具的設(shè)計和編制中易犯的錯誤，例如，試題項過少，編碼和計算步驟報告過簡，使用參數(shù)統(tǒng)計檢驗分析參照標(biāo)準(zhǔn)測驗數(shù)據(jù)，不正確地測量目標(biāo)概念等實際問題。

第四章作者重點討論二語實驗研究的設(shè)計問題及其與研究結(jié)論的關(guān)系。Thom Hudson和 Lorena Llosa指出實驗研究設(shè)計的好壞直接關(guān)系到研究質(zhì)量和確立因果關(guān)系的能力。作者認(rèn)為現(xiàn)實中許多實驗研究存在樣本量不足(Lazaraton 2005)，設(shè)計中缺少前測、延遲后測，受試沒有隨機分組，以及研究假設(shè)過多而導(dǎo)致結(jié)果分析和闡釋困難等問題。本章還介紹了實驗研究中排除干擾變量的方法:(1)盡可能讓所有實驗步驟標(biāo)準(zhǔn)化;(2)通過隨機分組控制無關(guān)變量的影響;(3)若可以確定干擾變量，可將干擾變量作為研究設(shè)計中的自變量因素直接處理。另外作者還討論了實驗研究中語言的使用問題，強調(diào)研究者應(yīng)使用與研究設(shè)計相匹配的語言，謹(jǐn)記“相關(guān)不是因果”的箴言，切莫將兩種研究設(shè)計的語言相互混淆。

第五章作者John M.Norris通過實例詳解了二語習(xí)得研究中統(tǒng)計顯著性檢驗存在的若干問題及對策。作者認(rèn)為零假設(shè)顯著性檢驗(NHST)作為用樣本估計總體的一種方法，時常被二語習(xí)得研究者誤用和過度解讀。實際上統(tǒng)計顯著性檢驗(p值計算)只說明零假設(shè)為真時樣本中所觀測到的現(xiàn)象存在的概率小于預(yù)設(shè)的顯著水平(α)，只起到防止一型錯誤的作用，卻并不包含觀測結(jié)果為真的概率、零假設(shè)為真的概率，研究發(fā)現(xiàn)的效應(yīng)量、重要性和可靠性等信息。作者概括了統(tǒng)計顯著性檢驗存在的四個問題:(1)p值的錯誤解釋;(2)統(tǒng)計意義的過度概化; (3)統(tǒng)計顯著性的簡單化解釋誤導(dǎo)研究者忽略回答研究問題的其他重要信息;(4)錯誤地比較不同研究的結(jié)論。接著作者通過若干研究案例說明統(tǒng)計顯著性檢驗的錯誤用法，并就二語研究者如何正確運用統(tǒng)計顯著性檢驗提出個人建議:(1)使用推論統(tǒng)計前，要認(rèn)真觀察數(shù)據(jù)，仔細(xì)思考所觀測到的現(xiàn)象;(2)選用統(tǒng)計分析方法前要考慮數(shù)據(jù)是否滿足應(yīng)用條件，例如是否正態(tài)分布，格子實際頻數(shù)，方差是否齊性，數(shù)據(jù)間是否是線性關(guān)系等;(3)謹(jǐn)慎使用和解釋p值;(4)正確合適地報告統(tǒng)計數(shù)據(jù)，例如報告全部描述統(tǒng)計結(jié)果，統(tǒng)計分析的應(yīng)用條件檢驗(如正態(tài)性檢驗)，效應(yīng)量以及精確的p值大小等。

第六章作者Jenifer Larson－Hall和Luke Plonsky就研究結(jié)果的報告內(nèi)容和規(guī)范以及研究結(jié)果的分析和解釋提出建議。作者指出均值和標(biāo)準(zhǔn)差是任何統(tǒng)計分析的基礎(chǔ)，為定量研究的元分析提供重要信息，因此研究者“不僅一次性報告數(shù)據(jù)組的均值和標(biāo)準(zhǔn)差，還要報告研究者感興趣的各分組數(shù)據(jù)的均值與標(biāo)準(zhǔn)差”(p.131)，否則會造成二次分析的知識缺口。除此之外，研究者應(yīng)當(dāng)嚴(yán)格遵照APA格式要求，匯報一切相關(guān)的統(tǒng)計數(shù)據(jù)，包括統(tǒng)計檢驗結(jié)果、p值、效應(yīng)量和置信區(qū)間、信度系數(shù)(如 Cohen＇s Kappa or Cronbach＇s alpha)。作者還建議研究者使用圖表等視覺手段描述和檢驗數(shù)據(jù)的分布情況，學(xué)會分享原始數(shù)據(jù)，樹立元分析的研究思維，充分意識到每一項研究都會增進(jìn)人們對本領(lǐng)域知識體系的理解。

第七章介紹結(jié)構(gòu)方程模型(SEM)在二語習(xí)得研究中的應(yīng)用前景。Gregory R.Hancock和 Rob Schoonen首先舉例說明ANOVA和多元線性回歸等傳統(tǒng)分析方法的不足，比方說構(gòu)念測量存在誤差，研究假設(shè)包含多個自變量和因變量，縱向追蹤研究中導(dǎo)致個體發(fā)展差異的因素，或因復(fù)雜抽樣設(shè)計造成的數(shù)據(jù)非正態(tài)分布和方差不齊性等，繼而指出結(jié)構(gòu)方程模型的重要價值。作者分別概括說明了協(xié)方差結(jié)構(gòu)模型中包含的測量變量路徑模型，驗證因子分析模型和潛在變量路徑模型等三種具體模型，以及潛在均值模型，潛在成長模型和混合模型的相關(guān)概念和在二語習(xí)得研究中的應(yīng)用。最后，作者強調(diào)了結(jié)構(gòu)方程模型與二語習(xí)得研究密切相關(guān)的若干問題，包括數(shù)據(jù)篩選和條件檢驗，數(shù)據(jù)模型擬合檢驗，模型選擇、潛在變量和顯在變量、因子指標(biāo)、因子不變性和樣本量的確定等。

第八章主要涉及混合效應(yīng)模型在二語習(xí)得研究中的應(yīng)用和發(fā)展。作者 Jared A.Linck和 Ian Cunnings指出許多二語習(xí)得研究沒有隨機抽樣，并且忽視樣本個體差異，因而建議使用混合效應(yīng)模型來克服上述問題。作者以一項調(diào)查中德英語學(xué)習(xí)者對主謂一致語法結(jié)構(gòu)的習(xí)得研究為例，說明在實際研究中傳統(tǒng)統(tǒng)計方法(如ANOVA)會受制于參數(shù)檢驗的應(yīng)用條件。而作者認(rèn)為混合影響模型不受方差齊性條件和數(shù)據(jù)缺失的影響，不僅“適合研究者一般運用ANOVA的標(biāo)準(zhǔn)實驗研究，還適用于常常伴有缺失數(shù)據(jù)的語料庫研究和追蹤研究”(p.190)。隨后，作者使用開放軟件R分析了Linck等(2009)關(guān)于沉浸式學(xué)習(xí)效果的數(shù)據(jù)，演示混合效應(yīng)模型在R軟件中的操作與實現(xiàn)。

第九章介紹貝葉斯統(tǒng)計方法在數(shù)據(jù)插補、假設(shè)檢驗和參數(shù)估計等三方面的應(yīng)用。作者指出傳統(tǒng)的統(tǒng)計方法近年來飽受詬病，尤其是當(dāng)研究者發(fā)現(xiàn)大量應(yīng)用語言學(xué)研究不適合進(jìn)行元分析時，學(xué)界對分析方法的改革呼聲此起彼伏，認(rèn)為引入貝葉斯方法可以彌補傳統(tǒng)統(tǒng)計分析的不足。但作者也承認(rèn)統(tǒng)計顯著性檢驗向貝葉斯方法的轉(zhuǎn)變進(jìn)程卻十分緩慢，貝葉斯方法目前應(yīng)用最多的還只是插補缺失數(shù)據(jù)。

第十章是基于使用的語言學(xué)理論的常用數(shù)據(jù)統(tǒng)計方法。作者Stephen Th.Gries和Nick C.Ellis指出，認(rèn)知語言學(xué)和心理語言學(xué)的研究成果表明語言習(xí)得是對構(gòu)式的重復(fù)性區(qū)分和整合過程，受頻率、近現(xiàn)率和使用語境的影響。本章主要概述了對理論語言學(xué)和認(rèn)知語言學(xué)發(fā)展尤為重要的幾個心理語言學(xué)概念，如頻率、分布、偶合性和驚異等，并著重介紹如何基于語料庫數(shù)據(jù)對上述影響因素進(jìn)行操作、測量和探討分析。

3.簡要評價

正如本書主編Nick C.Ellis所言，“［科學(xué)研究方法和統(tǒng)計學(xué)理論］的發(fā)展不但給語言科學(xué)研究者，教師和學(xué)生提供了機遇，而且也帶來了負(fù)擔(dān)……令我們更容易犯錯誤”(Ellis 2015)。我們呼吁二語習(xí)得研究方法的科學(xué)性和規(guī)范性的同時，又不得不對定量研究方法抱謹(jǐn)慎態(tài)度，因為如果研究過程缺乏邏輯的嚴(yán)密性，就可能會導(dǎo)致錯誤的結(jié)論。本刊幫助讀者了解定量研究中可能犯的錯誤和錯誤根源，鞏固和拓展二語研究者的統(tǒng)計學(xué)知識，厘清認(rèn)識上的誤區(qū)，提高二語定量研究的總體質(zhì)量，對于推動二語習(xí)得和外語教學(xué)的理論建構(gòu)與實踐發(fā)展起到積極的作用。概括起來，本刊有如下優(yōu)點:

3.1 內(nèi)容全面，例證翔實。

本刊輯錄的文章覆蓋了二語定量研究方法的各個方面，包括定量研究報告的規(guī)范性，測量工具的效度驗證，實驗研究的設(shè)計，統(tǒng)計顯著性檢驗等諸多問題。作者通過豐富的二語定量研究案例，詳細(xì)剖析了二語定量研究所面臨的各種挑戰(zhàn)，并給出了應(yīng)對挑戰(zhàn)、解決問題的策略和辦法。讀者既可根據(jù)作者的分析解答反觀自己的研究，加強研究設(shè)計和研究過程的科學(xué)性和系統(tǒng)性，又能從中了解他人的研究，獲得關(guān)于定量研究推理的有益啟示。例如，我們可以通過第三章Révész(2012)的研究，掌握如何通過實證數(shù)據(jù)證明測試分?jǐn)?shù)的效度，也可通過本刊第四章作者所舉的二語定量研究實例，認(rèn)識研究過程中潛存的問題。

3.2 問題導(dǎo)向，前瞻意識。

本刊各章的作者都從二語定量研究的實際現(xiàn)狀出發(fā)，以問題為導(dǎo)向，一問一答逐次提出解決問題的辦法。本刊各章節(jié)的內(nèi)容安排結(jié)構(gòu)緊湊，次序合理，關(guān)聯(lián)性強，給讀者清晰地呈現(xiàn)二語定量研究的邏輯步驟。作者先從研究工具的效度檢驗入手(第三章)，確保準(zhǔn)確測量目標(biāo)構(gòu)念，再到如何構(gòu)思和準(zhǔn)備定量研究過程(第四章)，繼而指出二語習(xí)得研究統(tǒng)計顯著性檢驗的問題與建議(第五章)，最后規(guī)范研究結(jié)果的報告與解釋(第六章)，內(nèi)容的嚴(yán)密邏輯性從中可見一斑。與此同時，本刊作者還展望了定量研究的文獻(xiàn)元分析，結(jié)構(gòu)方程模型、貝葉斯方法以及語義網(wǎng)絡(luò)分析等高級統(tǒng)計方法的應(yīng)用前景，反映和代表了當(dāng)今應(yīng)用語言學(xué)和二語習(xí)得研究的前沿。比如，從Norris和Ortega(2000)發(fā)軔的定量研究元分析逐漸成為熱門的綜述研究方法，筆者注意到近來國際應(yīng)用語言學(xué)期刊陸續(xù)發(fā)表了一系列本領(lǐng)域的元分析研究，例如Plonsky(2011)對二語策略教學(xué)效果的元分析和Jeon和Yamashita(2014)對二語閱讀理解和語法知識等十個關(guān)鍵因素變量相關(guān)性的元分析，國內(nèi)學(xué)者的綜述研究還停留在對內(nèi)容主題的總結(jié)評價，對國外二語習(xí)得研究文獻(xiàn)的元分析研究仍不多見。因此，第二章作者對使用探索因子分析研究的元分析可以為讀者提供很好的借鑒與參考。

4.不足之處

本刊文章主要討論定量研究的參數(shù)統(tǒng)計檢驗，卻沒有論及非參數(shù)統(tǒng)計檢驗。而非參數(shù)統(tǒng)計在應(yīng)用語言學(xué)領(lǐng)域用途也很廣泛，比如卡方檢驗就是“少有的幾個分析名義數(shù)據(jù)的方法之一”(D?rnyei 2007: 228)，如果能對二語習(xí)得研究中非參數(shù)統(tǒng)計存在的問題加以分析，本刊的內(nèi)容會更為全面。

D?rnyei，Z.2007.Research Methods in Applied Linguistics［M］.New York:Oxford University Press.

Ellis，N.C.2015.Foreword［A］.In Norris，J.M.，S.J.Ross＆R.Schoonen(eds.).Currents in Language Learning Series:Improving and Extending Quantitative Reasoning in Second Language Research［C］.New Jersey:Wiley－Blackwell.v－vi.

Jeon，E.H.＆J.Yamashita.2014.L2 reading comprehension and its correlates:A meta－analysis［J］.Language Learning64 (1):160－212.

Kane，M.T.2006.Validation［A］.In R.L.Brennan(ed.).Educational measurement(4thedn.)［C］.Westport: American Council of Education and Praeger Serieson Higher Education.17－64.

Lazaraton，A.2005.Quantitative research methods［A］.In E.Hinkel(ed.).Handbook of Research in Second Language Teaching andLearning［C］.New Jersey: Lawrence Erlbaum.209－224.

Linck，J.A.，J.F.Kroll＆G.Sunderman.2009.Losing access to the native language while immersed in a second language: Evidence for the role of inhibition in second language learning［J］.Psychological Science20:1507－1515.

Norris，J.M.＆L.Ortega.2000.Effectiveness of L2 instruction:A researchsynthesis andquantitative meta－analysis ［J］.Language Learning50(3):417－528.

Plonsky，L.2011.The effectiveness of second language strategy instruction:A meta－analysis［J］.Language Learning61 (4):993－1038.

Révész，A.2012.Working memory and observed effectiveness of recasts on different L2 outcome measures［J］.Language Learning62(1):93－132.

王立非、江進(jìn)林.2012.國際二語習(xí)得研究十年熱點及趨勢的定量分析(2000～2009)［J］.外語界(6):2－9.

(責(zé)任編輯 楊麗)

申云化，吉林大學(xué)公共外語教育學(xué)院講師。主要研究方向為二語習(xí)得。電子郵箱:shenyh@jlu.edu.cn

馬毅，吉林大學(xué)公共外語教育學(xué)院教授。主要研究方向為二語習(xí)得、外語教學(xué)。電子郵箱:mayi@jlu.edu.cn

*本文系中央高?？蒲袠I(yè)務(wù)費吉林大學(xué)種子基金項目“學(xué)術(shù)英語寫作中的文獻(xiàn)使用與抄襲問題研究”的階段性成果。