外語教學(xué)定量研究中的穩(wěn)健性設(shè)計(jì)方法

林 艷，肖安風(fēng)

(集美大學(xué)誠毅學(xué)院，福建廈門 361021)

外語教學(xué)定量研究中的穩(wěn)健性設(shè)計(jì)方法

林 艷，肖安風(fēng)

(集美大學(xué)誠毅學(xué)院，福建廈門 361021)

定量研究方法在我國外語教學(xué)和研究領(lǐng)域的應(yīng)用日益廣泛，但是，大部分外語教學(xué)研究人員還未注意到定量研究結(jié)果的不確定性可能對外語教學(xué)及學(xué)習(xí)策略產(chǎn)生的較大負(fù)面影響。針對這種情況，改變原有統(tǒng)計(jì)分析中一味追求最優(yōu)結(jié)果的思路，在外語教學(xué)定量研究中引入穩(wěn)健性設(shè)計(jì)方法，利用統(tǒng)計(jì)方法尋找最穩(wěn)定的結(jié)果，通過分析各種因素的離散程度對結(jié)果的影響，從中找到影響最小的控制條件，使結(jié)果的穩(wěn)定性大大提高。在外語教學(xué)定量研究中引入穩(wěn)健性設(shè)計(jì)，可以有效提高研究結(jié)果的通用性和再現(xiàn)性，具有良好的理論價(jià)值和實(shí)踐意義。

外語教學(xué);定量研究;統(tǒng)計(jì)失誤;穩(wěn)健性設(shè)計(jì)

一、外語教學(xué)的定量研究

定性研究和定量研究是科學(xué)研究的兩大類方法。定性研究通過觀察、實(shí)驗(yàn)、理性思維等方法來進(jìn)行判斷、推理，大多通過文字展開論證;定量研究以實(shí)施過程中所獲得的量化數(shù)據(jù)為基礎(chǔ)，用數(shù)字來進(jìn)行論證［1］。自19世紀(jì)起，人們逐漸意識到社會(huì)歷史領(lǐng)域如同自然現(xiàn)象一樣有著自身發(fā)展的客觀規(guī)律，因此，當(dāng)代社會(huì)科學(xué)向自然科學(xué)借鑒，在經(jīng)濟(jì)學(xué)、心理學(xué)、教育學(xué)、社會(huì)學(xué)、管理學(xué)等很多領(lǐng)域移植了定量研究的方法和技術(shù)，從一定的社會(huì)科學(xué)角度出發(fā)，應(yīng)用定量研究的方法和技術(shù)，對社會(huì)現(xiàn)象或事物進(jìn)行系統(tǒng)分析及解釋，獲得有關(guān)社會(huì)現(xiàn)象或事物的知識，解決一定的理論和現(xiàn)實(shí)問題［2］。

作為社會(huì)科學(xué)研究的一種，外語教學(xué)研究有其重要的功能和目的，并以客觀性為立足的根基。近年來，定量研究方法在我國外語教學(xué)和研究領(lǐng)域的應(yīng)用有很大進(jìn)展，如有關(guān)英語能力考試的研究和實(shí)踐促進(jìn)了真正標(biāo)準(zhǔn)化考試的形成。此外，對學(xué)生外語學(xué)習(xí)情況的研究也有不俗的成績［3］，從統(tǒng)計(jì)數(shù)據(jù)看，《外語教學(xué)與研究》2001年第2期發(fā)表的11篇論文中，60%左右屬于定量研究。趙蔚彬?qū)?995—2000年國內(nèi)出版的十種外語類核心期刊進(jìn)行了調(diào)查，發(fā)現(xiàn)均有相當(dāng)數(shù)量的論文使用了統(tǒng)計(jì)手段，如《外語教學(xué)與研究》運(yùn)用統(tǒng)計(jì)手段的文章達(dá)88篇、《現(xiàn)代外語》87篇、《外語與外語教學(xué)》53篇［4］。而且，外語教學(xué)定量研究文章占發(fā)表論文的比例還在不斷增長，例如大學(xué)英語教學(xué)研討會(huì)、英語教學(xué)國際研討會(huì)等學(xué)術(shù)會(huì)議都?xì)g迎“實(shí)證性的研究”［3］。這表明，我國的外語研究工作者已不再滿足于對理論文獻(xiàn)的單一介紹、分析或綜述，也不滿足于對外語教學(xué)狀況的簡單思辨式評說，而是力圖通過科學(xué)實(shí)驗(yàn)、社會(huì)調(diào)查、自然觀察等方法，采集第一手資料，用統(tǒng)計(jì)手段對原始數(shù)據(jù)進(jìn)行歸納推理，進(jìn)行由表及里、由具體到一般、由樣本到總體的分析研究，以此探索外語習(xí)得和運(yùn)用的模式，尋求外語教學(xué)規(guī)律，建立外語學(xué)習(xí)理論體系。

二、外語教學(xué)定量研究中的統(tǒng)計(jì)失誤

然而，在定量研究方法運(yùn)用日益廣泛的同時(shí)，統(tǒng)計(jì)偏誤成為比較常見的現(xiàn)象。定量實(shí)證研究的設(shè)計(jì)和操作過程較為復(fù)雜，而我國大部分從事外語教學(xué)研究的人員因受專業(yè)方向限制，數(shù)學(xué)基礎(chǔ)比較薄弱或?qū)y(tǒng)計(jì)手段不太熟悉，導(dǎo)致在具體應(yīng)用中存在許多不足，例如在研究環(huán)節(jié)中容易發(fā)生統(tǒng)計(jì)失誤而導(dǎo)致研究結(jié)論出現(xiàn)偏差甚至錯(cuò)誤，這類現(xiàn)象對研究報(bào)告價(jià)值產(chǎn)生負(fù)面影響并極大地削弱了定量實(shí)證研究在促進(jìn)外語教學(xué)發(fā)展上的重要功能。

此外，在外語教學(xué)研究中多采用常規(guī)的優(yōu)化設(shè)計(jì)手段。這些手段的最大缺點(diǎn)是僅考慮對可控因素的名義值(平均值、中位數(shù)或眾數(shù))的組合進(jìn)行優(yōu)化，而未能限制因素偏差引起的結(jié)果離散程度。然而，外語教學(xué)研究的對象比較抽象，研究測量的對象和使用的工具又多為語言，語言自身的模糊特性，可能導(dǎo)致定量研究結(jié)果不夠充分、明確，影響信度和效度。

以圖1為例，在定量研究中采用統(tǒng)計(jì)分析的手段(如正交試驗(yàn)設(shè)計(jì)等)對參數(shù)進(jìn)行優(yōu)化，繼而通過參數(shù)分析來得到最佳操作條件，假設(shè)在此最佳條件下，得到的結(jié)果均值為6。但是，由于在此條件下各種因素有可能承受較大干擾，得到的結(jié)果誤差很大(如圖1條件1所得曲線)，換而言之，優(yōu)化結(jié)果的有效性大打折扣，最佳條件下所得結(jié)果反而不如非最佳條件(條件2)下得到的結(jié)果。相對于自然科學(xué)研究，對社會(huì)科學(xué)進(jìn)行定量研究，因其量化過程的模糊現(xiàn)象，很容易出現(xiàn)圖1所示的情況。

圖1 統(tǒng)計(jì)分析過程的結(jié)果誤差

改善這種情況的一種方法，是在統(tǒng)計(jì)分析過程中，提高參數(shù)控制和測量的精確性，減小可控因素的離散程度，這樣就可以盡可能地保證結(jié)果的準(zhǔn)確性，但對于外語教學(xué)這種抽象的研究，很明顯無法采用精確的定量方法，需要尋找其他合適的解決途徑。

三、基于田口方法的穩(wěn)健性設(shè)計(jì)技術(shù)

目前廣泛用于工業(yè)科技領(lǐng)域的穩(wěn)健性設(shè)計(jì)，是一種科學(xué)、高效的工程化優(yōu)化方法。穩(wěn)健性是一種提高系統(tǒng)抗干擾能力的設(shè)計(jì)，在充分掌握社會(huì)需求的基礎(chǔ)上，進(jìn)行質(zhì)量功能展開，再進(jìn)行穩(wěn)定性優(yōu)化設(shè)計(jì)，包含系統(tǒng)設(shè)計(jì)、參數(shù)設(shè)計(jì)、容差設(shè)計(jì)，廣泛采用數(shù)學(xué)優(yōu)化及正交分析為核心的工程優(yōu)化技術(shù)，達(dá)到設(shè)計(jì)出穩(wěn)健產(chǎn)品的目的，最后應(yīng)用質(zhì)量損失函數(shù)及質(zhì)量信噪比等對產(chǎn)品質(zhì)量進(jìn)行定量評審［5］。

基于田口方法的穩(wěn)健性設(shè)計(jì)采用兩步走的方法，首先進(jìn)行減少波動(dòng)的穩(wěn)定設(shè)計(jì)，其次用調(diào)整因素調(diào)整系統(tǒng)偏差。這種方法與常用的實(shí)驗(yàn)設(shè)計(jì)方法有重要的區(qū)別，如圖2所示:

圖2 穩(wěn)健性設(shè)計(jì)的兩步法程序示意圖

設(shè)輸出特性值(如考試成績)為y，目標(biāo)值為M，選用的某參數(shù)為x，其波動(dòng)范圍為Δx，如果參數(shù)x取水平x1，由于波動(dòng) Δx引起y的波動(dòng)為 Δy1。通過參數(shù)設(shè)計(jì)將x1移到x2，此時(shí)同樣的波動(dòng)范圍Δx引起y的波動(dòng)范圍縮小成Δy2，由于非線性效應(yīng)十分明顯，所以Δy2＜Δy1。與此同時(shí)，y的目標(biāo)值從M移到了M'，偏離量ΔM=M－M'，為使y保持比較穩(wěn)定，而又不偏離目標(biāo)值，這時(shí)可設(shè)法找一個(gè)易于調(diào)整的參數(shù)z，只要把z從z1調(diào)到z2，即可補(bǔ)償偏移量ΔM，同時(shí)y值波動(dòng)范圍大大減?。?］。

以穩(wěn)健性設(shè)計(jì)引用誤差因素模擬干擾的影響，不僅考慮參數(shù)的名義值，更重要的是還考慮了各參數(shù)功能波動(dòng)下的優(yōu)化。田口方法提出了信噪比(SN比)的概念，它是衡量產(chǎn)品質(zhì)量穩(wěn)定性波動(dòng)大小的指標(biāo)［7］。穩(wěn)健性分析過程是以SN比作為產(chǎn)品的穩(wěn)健性的評價(jià)指標(biāo)，采用統(tǒng)計(jì)技術(shù)進(jìn)行分析，確定最佳水平組合，從而達(dá)到擇優(yōu)目的。信噪比值的極差(最大值與最小值之間的差值)越大，說明該因子對產(chǎn)品性能的影響水平就越高。

四、穩(wěn)健性設(shè)計(jì)流程

針對目前外語教學(xué)定量研究中的不足，在外語教學(xué)統(tǒng)計(jì)分析過程中引入穩(wěn)健性設(shè)計(jì)的思想，實(shí)施步驟如下:

首先，根據(jù)外語教學(xué)研究的基礎(chǔ)理論，構(gòu)建外語教學(xué)中的各可控因素(如教學(xué)方法、學(xué)習(xí)態(tài)度等)和質(zhì)量特性(如課堂教學(xué)效果、口語能力、四級成績等)的關(guān)系矩陣，同時(shí)，對各種語言形式描述的控制因素及質(zhì)量特性量化，如圖3所示:

圖3 語言形式描述的控制因素及其質(zhì)量特性量化

其次，用正交表安排試驗(yàn)方案，以誤差因素模擬造成質(zhì)量特性波動(dòng)的各種干擾，采用田口方法計(jì)算SN比，以SN比作為衡量質(zhì)量特性穩(wěn)健性的指標(biāo)，以靈敏度(S)作為平均性指標(biāo)，通過對各種試驗(yàn)方案的統(tǒng)計(jì)分析，選取最佳水平，使得SN比達(dá)到最大，先得到一個(gè)穩(wěn)定性最好的最佳水平的組合。

最后，選擇靈敏度顯著而SN比不顯著的可控因素，通過調(diào)整該可控因素，進(jìn)而找到抗干擾能力強(qiáng)、調(diào)整性好、性能穩(wěn)定、可靠性高的最優(yōu)設(shè)計(jì)方案。

五、應(yīng)用實(shí)例——外語單詞記憶方法的穩(wěn)健性評價(jià)

(一)參數(shù)設(shè)置和模型建立

正如Harmer所說:“如果結(jié)構(gòu)是語言的骨骼，詞匯就是重要的器官和血肉”，詞匯是語言系統(tǒng)里不可缺少的組成部分［8］。由于詞匯量大小關(guān)系著外語學(xué)習(xí)的效率以及語言實(shí)際應(yīng)用的水平，因此，在詞匯學(xué)習(xí)過程中，如何引導(dǎo)大學(xué)生采取正確的學(xué)習(xí)策略，并對該策略的學(xué)習(xí)效果進(jìn)行準(zhǔn)確評價(jià)非常重要。基于這種考慮，筆者引入了穩(wěn)健性設(shè)計(jì)的方法對詞匯學(xué)習(xí)效果進(jìn)行考察。

首先將學(xué)生分為含不同人數(shù)的實(shí)力相當(dāng)?shù)男〗M，然后安排多次試驗(yàn)，讓分在不同小組的學(xué)生在規(guī)定的時(shí)間內(nèi)記憶完全陌生的單詞(每次試驗(yàn)均考察20個(gè)單詞，而且試驗(yàn)組在記憶過程中須按要求運(yùn)用語境策略，對照組則不采用語境策略進(jìn)行詞匯記憶)。接著，通過比較不同組別組員記憶給定單詞的效果(以能否正確拼寫單詞、對詞義是否掌握為判斷標(biāo)準(zhǔn))，來找到波動(dòng)最小且單詞記憶測試得分高的記憶組。本試驗(yàn)分兩步進(jìn)行:

第一步:比較不同分組情況的單詞記憶波動(dòng)情況及其平均值，計(jì)算SN比并選擇合適的組使之最大化，這樣即可最小化記憶效果的波動(dòng)。

第二步:比較不同語境對各組組員單詞記憶的影響狀況，并選擇平均值最大的情況。

模型:采用田口方法進(jìn)行數(shù)據(jù)分析，其中信噪比SN比的計(jì)算方法如下［9］:

設(shè)有n個(gè)數(shù)據(jù):y1，y2，y3，…，yn

總波動(dòng)ST為:

用η表示的SN比由下式計(jì)算:

(二)試驗(yàn)設(shè)計(jì)及計(jì)算過程

影響記憶效果的可控因素是共同學(xué)習(xí)人數(shù)和語境策略。各因素水平的配置見表1。

表1 因素水平配置表

共進(jìn)行10組試驗(yàn)，所測試的試驗(yàn)組及其測試結(jié)果見表2。

表2 試驗(yàn)組測試結(jié)果

由于數(shù)據(jù)測試結(jié)果的上限為20，將其進(jìn)行轉(zhuǎn)換，令y'=(20－y)/20，則表2結(jié)果轉(zhuǎn)換為:

表3 試驗(yàn)組測試值轉(zhuǎn)換結(jié)果

試驗(yàn)組 AB測試數(shù)據(jù)結(jié)果 ηy'6 3 2 0.25 0.15 0.1 0.25 0.25 0.45 0.25 0.2 0.55 0.55 0.3 0.15 0.25 0.9 0.55 0.2 0.05 0.85 0.4 0.25 0.3 0.35 0.75 0.5 0.05 0.95 0.75 0.3 0.05 0.7 0.6 0.3 0.1 0.55 0.25 0.45 0.1 0.75 0.25 0.15 0.1 0.76.85 0.39 7 4 1 0.5 0.6 0.45 0.35 0.5 0.45 0.35 0.7 0.45 0.1 0.55 0.5 0.2 0.45 0.25 0.4 0.6 0.05 0.2 0.2 0.25 0.6 0.35 0.5 0.3 0.3 0.45 0.4 0.6 0.4 0.8 0.45 0.65 0.2 0.4 0.8 0.4 0.35 0.2 0.05 0.75 0.45 0.45 0.4 0.25 0.5 0.35 0.5 0.65 0.3 0.35 0.7 0.15 0.45 6.86 0.42 8 4 2 0.45 0.5 0.25 0.45 0.7 0.4 0.45 0.7 0.3 0.35 0.65 0.35 0.25 0.35 0.4 0.35 0.55 0.15 0.35 0.55 0.45 0.45 0.6 0.5 0.25 0.45 0.3 0.5 0.45 0.4 0.55 0.4 0.55 0.3 0.5 0.45 0.7 0.45 0 0.55 0.8 0.65 0.3 0.3 0.45 0.1 0.6 0.45 0.45 0.65 0.2 0.25 0.25 0.3 6.83 0.43 9 5 1 0.8 0.5 0.6 0.75 0.55 0.45 0.6 0.65 0.5 0.65 0.7 0.4 0.7 0.45 0.45 0.75 0.65 0.35 0.5 0.2 0.65 0.65 0.3 0.5 0.45 0.4 0.9 0.25 0.4 0.5 0.8 0.85 0.7 0.4 0.4 0.2 0.95 0.35 0.6 0.55 0.05 0.85 0.7 0.45 0.45 0.3 0.95 0.4 0.5 0.45 0.45 0.9 0.4 0.65 0.4 0.5 0.15 4.84 0.54 10 5 2 0.55 0.75 0.5 0.3 0.65 0.05 0.45 0.35 0.55 0.25 0.6 0.65 0.8 0.3 0.35 0.6 0.65 0.35 0.5 0.35 0.4 0.55 0.3 0.1 0.55 0.15 0.7 0.1 0.1 0.2 0.65 0.7 0.5 0.3 0.3 0.2 0.65 0.6 0.2 0.25 0.2 0.45 0.65 0.15 0.35 0.05 0.45 0.5 0.45 0.35 0.05 0.65 0.5 0.45 0.2 0.1 0.15 6.96 0.40

表3中1號試驗(yàn)的SN比(η)計(jì)算如下:

SN比響應(yīng)表和平均值分別見表4和表5。

表4 響應(yīng)表(SN比)

在表4中，A1的SN比平均值計(jì)算如下:

表5 響應(yīng)表(平均值)

在表5中，A1的平均值計(jì)算如下:

根據(jù)響應(yīng)表中的結(jié)果，兩步優(yōu)化法可如下進(jìn)行:(1)減小圍繞平均值的波動(dòng)(最大化SN比)。觀察表5，因素A對數(shù)據(jù)結(jié)果有較大的影響，所以取A2以使SN比最大。(2)把平均值調(diào)整到目標(biāo)值上。從表5中可以看出，因素B對平均值有較大的影響，而對SN比的影響較小，因此，在B因素中選取較大的2水平。

(三)優(yōu)化組合結(jié)果分析

根據(jù)上節(jié)，優(yōu)化的組合結(jié)果為A2B2，在該組合下，可以達(dá)到波動(dòng)最小(即SN比最大)，而測試結(jié)果最佳的情況，在此情況下的SN比為7.08分貝，而平均成績可達(dá)到12.2分。

若初始條件為A1B1(即單人組合，且無語境學(xué)習(xí))，則獲得的收益為:

7.08－4.02=3.06(dB)

通過優(yōu)化條件與初始條件的比較，可知在兩人組合且有語境學(xué)習(xí)的情況下，可以獲得最佳的記憶效果，而且試驗(yàn)的再現(xiàn)性也最好。

六、穩(wěn)健性設(shè)計(jì)方法在外語教學(xué)中應(yīng)用的意義

在外語教學(xué)定量研究中引入穩(wěn)健性設(shè)計(jì)的方法，改變原有統(tǒng)計(jì)分析中一味追求最優(yōu)結(jié)果的思路，利用統(tǒng)計(jì)方法尋找最穩(wěn)定的結(jié)果，通過分析各種因素的離散程度對結(jié)果的影響，從中找到影響最小的控制條件，使結(jié)果的穩(wěn)定性大大提高，具有良好的理論價(jià)值和實(shí)踐意義。

(1)穩(wěn)健性設(shè)計(jì)方法具有通用性，小范圍的試驗(yàn)結(jié)果即可順利的推廣使用，很適宜外語教學(xué)中的定點(diǎn)試驗(yàn)和推廣。

(2)針對語言的模糊性質(zhì)，采用穩(wěn)健性設(shè)計(jì)，得到的結(jié)果再現(xiàn)性好，因而可以大大減少方法推廣過程出現(xiàn)的不確定性問題，減少研發(fā)過程的人力和物力成本。

(3)利用穩(wěn)健性設(shè)計(jì)提高研究結(jié)果的通用性、再現(xiàn)性是一套科學(xué)的參數(shù)設(shè)計(jì)方法和功能評價(jià)方法，對外語教學(xué)定量研究方法更是一種行之有效的補(bǔ)充。

［1］章禮霞.語言的模糊性質(zhì)對社會(huì)科學(xué)定量型研究的影響［J］.合肥工業(yè)大學(xué)學(xué)報(bào):社會(huì)科學(xué)版，2005，19(5):53－57.

［2］嚴(yán)辰松.定量型社會(huì)科學(xué)研究方法［M］.西安:西安交通大學(xué)出版社，2000.

［3］嚴(yán)辰松.談?wù)Z言學(xué)和應(yīng)用語言學(xué)中的定量型研究方法［J］.解放軍外國語學(xué)院學(xué)報(bào)，2001，24(5):4－6.

［4］趙蔚彬.十種外語類核心期刊(1995－2000)統(tǒng)計(jì)手段使用調(diào)查［J］.解放軍外國語學(xué)院學(xué)報(bào)，2002，25(5):62－66.

［5］黃自興.新產(chǎn)品開發(fā)的重要技術(shù)——穩(wěn)健性設(shè)計(jì)技術(shù)［J］.化工進(jìn)展，1990(1):49－54.

［6］曾鳳章.穩(wěn)健性設(shè)計(jì)［M］.北京:兵器工業(yè)出版社，1996.

［7］［日］田口玄一.開發(fā)、設(shè)計(jì)階段的質(zhì)量工程學(xué)［M］.北京:兵器工業(yè)出版社，1990.

［8］郭成芳.大學(xué)新生詞匯量及詞匯運(yùn)用能力調(diào)查探究［J］.安徽農(nóng)業(yè)大學(xué)學(xué)報(bào):社會(huì)科學(xué)版，2006，15(1):135－139.

［9］吳玉印，吳以晴.田口式的穩(wěn)健性設(shè)計(jì)［M］.北京:兵器工業(yè)出版社，1997.

Robust Design Methods in TEFL Quantitative Research

LIN Yan，XIAO An-feng
(Chengyi College，Jimei University，Xiamen 361021，China)

Although the application of quantitative methods in TEFL(teaching English as a foreign language)researches is more and more extensive，due attention has not been given to the negative impacts of ambiguous statistical results.In this study，a concept of robustness into TEFL quantitative research is introduced and an effective model to realize the robust design is presented accordingly.Instead of going after optimized results，robust design method aims at enhancing reliability of research results by analyzing the effects of statistical dispersion to detect controlled conditions with minimal negative feedback.Simulation results show that this model can effectively boost up the robustness of TEFL research，hence proving its theoretical and practical value.

TEFL;quantitative research;discrepancy between assumed and real data;robust design

G642.0

A

1674－8425(2012)04－0119－07

2012－03－04

福建省社會(huì)科學(xué)規(guī)劃項(xiàng)目(2010C022);集美大學(xué)誠毅學(xué)院教育教學(xué)改革項(xiàng)目(JY10015)。

林艷(1979—)，女，碩士，講師，研究方向:翻譯、大學(xué)英語教學(xué)。

(責(zé)任編輯 魏艷君)