大學(xué)英語四級考試翻譯平行卷難度研究

沈 云

(滁州學(xué)院 外國語學(xué)院，安徽 滁州 239000)

自2013年起，全國大學(xué)英語四級考試的翻譯測試采取平行試題模式。保證平行試題難度一致是保障考試公平性的前提?！胺g難度”這一概念在翻譯研究中經(jīng)常出現(xiàn)，其分為兩個研究模塊：譯者因素和翻譯因素。[1]從認(rèn)知角度來看，翻譯難度指的是譯者解決問題時所付出的努力程度。因此，譯者因素采用心理負(fù)荷測量量表量化。翻譯因素可用文本可讀性、翻譯相關(guān)難度界定。翻譯難度測量包括：原文的閱讀難度(文本可讀性公式)、原文的翻譯難點(定性分析)、譯者心理負(fù)荷(NASA任務(wù)負(fù)荷量表)。因此，研究采用以上翻譯難度測量方法的三個方面探討2019年6月大學(xué)英語四級翻譯測試平行試題的難度一致性。

一、研究設(shè)計

(一)研究問題

本研究旨在比較2019年6月大學(xué)英語四級翻譯測試三套平行試題的翻譯難度是否存在差別，包括：平行試題文本可讀性難度差異、平行試題翻譯難點差異分析、平行試題譯者心理負(fù)荷差異。因此，為實現(xiàn)以上目的，具體研究問題如下：1、就影響翻譯難度的翻譯因素而言，此次四級考試三套平行試題之前是否存在差異？2、就影響翻譯難度的譯者因素而言，此次四級考試三套平行試題之間是否存在差異？

(二)研究對象

本次研究受試者是56名來自普通高校的大一新生。高考英語平均分為91，基礎(chǔ)薄弱。被試即將參加大學(xué)英語四級考試。其中沒有任何人曾有過翻譯專業(yè)訓(xùn)練和相關(guān)工作經(jīng)歷。所有被試表示不了解本次考試具體內(nèi)容，且自愿配合本次研究。

(三)研究工具

1.四級翻譯測試三份平行試題和參考答案

本研究中選取的試題源自2019年6月四級考試真題。三段文本話題都是有關(guān)中國傳統(tǒng)文化，分別為：剪紙、舞獅、燈籠。翻譯段落文本長度相似，字?jǐn)?shù)分別為141，149，143，“舞獅”的字?jǐn)?shù)略多于另外兩個文本。三段文本均沒有注解。為了了解被試的翻譯成績，評分員要根據(jù)參考范文對其翻譯進(jìn)行評分。此次測試翻譯題目均出自真題，因此參考翻譯為四六級委員會公布的譯文。兩位評分員將對其他可能的合理答案進(jìn)行協(xié)商，根據(jù)評分標(biāo)準(zhǔn)突出要點，如：屬于、多義詞、復(fù)雜的句子結(jié)構(gòu)等。評分員根據(jù)樣本答案對被試的譯文進(jìn)行評分。將對每個被試的三段譯文的參考譯文進(jìn)行協(xié)商。

2.翻譯難度自測表

翻譯難度自測表為翻譯后評分表。這部分包含兩個調(diào)查表。第一張調(diào)查表由NASA-TLX表改編而來，包括心智需求心智需求(完成任務(wù)所耗費的腦力)、 努力程度、績效(對自己表現(xiàn)的打分)和挫敗感。由于考察生理需求和時間需求不現(xiàn)實，所以本研究不探討這兩個指標(biāo)。第二個調(diào)查表為選擇題和兩個開放性問題構(gòu)成的調(diào)查表，旨在探討被試完成每篇翻譯的感受。選擇題由9個多選題組成，用來探究翻譯過程中閱讀和復(fù)述兩個階段中翻譯困難的一些來源。理解層面包含的三個因素分別是背景信息、詞匯以及長句和復(fù)雜句。復(fù)述部分，詞匯、句子和風(fēng)格是不同的來源。本問卷可以為今后分析影響翻譯難度的因素提供描述性的解釋。

(四)數(shù)據(jù)收集與分析

本次考試模擬四級考試真實場景：被試不可以借助任何輔助工具進(jìn)行材料翻譯?？紤]到一次性讓學(xué)生翻譯三段文本腦力負(fù)荷影響較大，故選取了三個連續(xù)的日期，規(guī)定被試連著三天半小時以內(nèi)完成當(dāng)天要求的翻譯以及翻譯后問卷(NASA-TLX和翻譯后調(diào)查)。[2]主觀題評分員信度( rater reliability) 不同評分員對評分標(biāo)準(zhǔn)的把握也應(yīng)該具有一致性(2011)。兩位參與過四級閱卷的閱卷員根據(jù)四級翻譯評分標(biāo)準(zhǔn)做獨立評閱，用SPSS軟件計算出評分員信度，然后計算出57位被試在三段翻譯文本上的平均分。再次利用SPSS軟件計算三組數(shù)據(jù)間的差異情況。研究利用CRIE (Chinese Readability Index Explorer http://www.chinesereadability.net/CRIE/?LANG=SIM)可讀性公式計算出三段文本的可讀性數(shù)值并比較，公式如下：

文本可讀性=4.53+0.01*難詞數(shù)-0.86*簡單句比例-1.45*領(lǐng)域?qū)嵲~頻對數(shù)平均+0.02*人稱代詞數(shù)。

二、結(jié)果與討論

本研究從三段翻譯平行試題所得的實驗數(shù)據(jù)和被試反饋的問卷結(jié)果兩個方面討論2019年6月CET4三段翻譯試題的難度一致性，包括如下數(shù)據(jù)：1、三個文本的閱讀可讀性數(shù)據(jù)；2、評分員間信度；3、認(rèn)知負(fù)荷數(shù)據(jù)；4、翻譯質(zhì)量評分。

(一)三個文本的閱讀可讀性

分別將三段翻譯段落輸入至根據(jù)CRIE 3.0系統(tǒng)進(jìn)行文本屬性分析，得到以下相關(guān)CRIE文本可讀性的三篇段落文本的屬性數(shù)值。

從文本可讀性公式的指標(biāo)來看，三個段落的難詞數(shù)分別為：29，27，28；簡單句比例分別是：0.67，0.4，083，領(lǐng)域?qū)嵲~頻對數(shù)平均為1.74，1.65，1.56；人稱代詞數(shù)分別為：1，1，0。綜上，按照可讀性公式計算，三個段落的可讀性得分分別為：1.7408，2.0835，1.8342。可讀性數(shù)值越高，文本難度越大。因此，就可讀性來看，段落2(舞獅)的閱讀理解難度最大，然后到段落三(燈籠)，最后是段落1(剪紙)。

(二)評分員間信度

測量文本難度由兩部分構(gòu)成：測量文本可讀性以及翻譯的具體難度。為了測出翻譯文本難度，需要統(tǒng)計出被試的翻譯得分。[6]同時，測試信度包括試題本身信度和評分信度(肖維青, 2010)。在該研究中，只需測量評分員間信度即可。研究人員通常采用三種方法統(tǒng)計評分員間信度：相關(guān)系數(shù)、Kappa系數(shù)和Cronbach α。本研究采用了Cronbach α。由于本實驗有三個源文本，兩個評分員 評了三次，所以Cronbach α用SPSS處理了三次。Cronbachα的對應(yīng)值分別是0.794，0.809，0.847，均在0.7以上。這說明兩位評分員對于三篇段落的評分一致，評分信度較高。后面，計算出兩位評分員打分的平均值，用以體現(xiàn)翻譯的具體難度數(shù)值。

(三)翻譯難度及其影響因素分析

心理負(fù)荷是影響翻譯難度的一個重要因素，需分析了被試的腦負(fù)荷值以便檢測腦負(fù)荷對于翻譯難度的影響，用NASA-TLX評分量表作為檢測工具。NASA-TLX共有四道題組成。被試四道題打分的平均值作為NASA-TLX的得分。根據(jù)該量表性質(zhì)，打分越高，心理負(fù)荷越大，即對于被試而言的翻譯難度更高。由于被試參與打分的有三個文本段落，需用SPSS進(jìn)行單因素方差分析。

單因素方差分析(One-Way ANOVA)結(jié)果顯示，學(xué)生對于不同段落的認(rèn)知負(fù)荷感知有顯著差異(F[2,165]=10.953, p<0.05)。三個段落的NASA-TLX得分均值分別為5.431，6.071，4.725。說明第二個文本對于被試造成的困難最大，然后是第三段，第一段對于被試的造成的壓力最小。另外，從方差同質(zhì)性檢測來看，p值在0.05以上，這證明方差是同質(zhì)的。因此，Bonferroni事后檢測結(jié)果顯示，被試對第三篇的認(rèn)知負(fù)荷顯著高于第一篇(MD=0.705)，對第二篇的認(rèn)知負(fù)荷顯著高于第三篇(MD=1.346)。這一結(jié)果與文本可讀性結(jié)果一致，即無論從文本可讀性結(jié)果或是認(rèn)知負(fù)荷結(jié)果來看，三段文本的翻譯難度排序為：第二篇>第三篇>第一篇。

測量翻譯難度的第三個因素是識別原文的翻譯難點。在此之前，需要整理評分員對被試翻譯進(jìn)行打分情況。前面已分析了評分員間信度，兩者打分具有高度的相關(guān)性和一致性。因此，為了簡化程序并保證結(jié)果的可靠性，要選取評分員打分的均值作為被試的翻譯得分，接著采用單因素方差分析(One-Way ANOVA)探究不同被試在三段翻譯得分上有無顯著差異(p<0.05)。

另外，分析翻譯質(zhì)量評分和翻譯難度的關(guān)系對確定翻譯質(zhì)量得分是否能有效體現(xiàn)翻譯難度有重要意義。斯皮爾曼相關(guān)分析顯示，三個段落的翻譯質(zhì)量評分與認(rèn)知負(fù)荷之間都具有顯著的負(fù)相關(guān)關(guān)系，第一篇(rho=-.588, p<0.05)，第二篇(rho=-.527, p<0.05)，第三篇(rho=-.721, p<0.05)。

(四)翻譯錯誤類型

除了文本可讀性之外，原文的翻譯難點也是研究翻譯難度的一個重要內(nèi)容，學(xué)者常用整體評分和分析評分等方式。其中，分析評分的落實可以采用錯誤分析的方式?？紤]到四級翻譯文本的屬性特點，因此選取了以下幾個常見的方面作為錯誤分析的具體類別：用法、語法/句法、錯譯、增譯、漏譯、連貫、拼寫和標(biāo)點符號。其中一些錯誤類型可以間接反映出被試的翻譯能力(源語言能力、翻譯轉(zhuǎn)換能力以及目標(biāo)語能力)。有一點需要注意的是，兩位評分員在錯誤類型界定上會存在一些分歧，因此，在統(tǒng)計錯誤類型比例時綜合了兩位評分員結(jié)果的平均值。

錯誤分析結(jié)果表明，被試出現(xiàn)最多的四種錯誤依次是：錯譯、語法/句法、用法以及拼寫。首先，從表中反饋的信息就以上四種錯誤來看，第二篇的錯譯多于第三篇和第一篇，這可能是造成第二篇翻譯難度最大的直接原因。進(jìn)一步分析這三篇中的錯譯部分可知：在第一篇中，“民間”、“獨特形式”、“漢代”、“發(fā)明”、“普及”、“與...相連”等錯譯較多；第二篇中，“燈籠”、“東漢”、“照明”、“唐代”、“安定”、“流行”、“色彩鮮艷”、“薄紙”、“各異”、“傳統(tǒng)”，“象征”、“生活美滿”、“生意興隆”、“元宵節(jié)”、“國慶”、“懸掛”；第三篇中，“舞獅”、“民間”、“獅子服”、“熟練配合”、“模仿”、“獸中之王”、“象征”、“商店開業(yè)”、“觀賞”。其次，綜合文本可讀性分析中簡單句比例來看，第二篇簡單句最少，句法復(fù)雜度來看，第二篇>第三篇>第一篇。比較四級翻譯提供的參考譯文來看，第二篇和第三篇的譯文都是6句話，第一篇是5句話；第二篇中出現(xiàn)了非限制性定語從句的處理。這可能是造成被試感知句法難度較大的原因之一?！盁艋\通常用色彩鮮艷的薄紙制作，形狀和尺寸各異”，不少同學(xué)意識到該句可處理成獨立主格結(jié)構(gòu)，句法的正確使用對被試而言是一個難點。第三，就用法上看，被試對于第一篇覺得難度最大，其次是第三篇和第二篇。用法體現(xiàn)的是源語言能力、翻譯轉(zhuǎn)換能力以及目標(biāo)語能力，結(jié)合被試翻譯測試得分來看，的一個重要因素。比較來看，被試在第二篇中出現(xiàn)的用法錯誤最多，可能是第一篇源語言能力要求較第二、三篇較高。第四，拼寫也是導(dǎo)致翻譯難度的一個重要因素。被試在第二篇中出現(xiàn)的拼寫錯誤最多，如paper-cutting, probably, originate, dynasty等。

翻譯后調(diào)查結(jié)果顯示，絕大部分被試都認(rèn)為重述比理解難。后面三個問題都與理解相關(guān)。首先，被試認(rèn)為他們在理解中文背景信息沒什么難度。而生詞和難詞以及長難句會造成一定影響。但是相比之下，產(chǎn)出難度才是真正造成翻譯的難度的主要原因。6，7，8三個問題是相關(guān)產(chǎn)出譯文時的三個主要影響：詞匯、句子、文體。數(shù)據(jù)顯示，被試認(rèn)為詞匯是造成重述最大的因素，其次是句子，文體風(fēng)格對于復(fù)述的影響最小。

三、結(jié)論與建議

分別從文本可讀性、NASA-TLX量表、被試翻譯卷面反饋等方式對2019年6月CET-4三段平行翻譯試題的難度一致性進(jìn)行探究，可得出以下結(jié)論：2019年6月CET-4三段平行翻譯試題的翻譯難度不一致?？陀^上看，文本可讀性公式表明，“舞獅”為主題的第二篇可讀性最低，“剪紙”為主題的第三篇可讀性最高；這一結(jié)果與NASA-TLX量表結(jié)果一致，即從認(rèn)知符合角度來看，“舞獅”篇對被試造成的認(rèn)知負(fù)荷最大，而“剪紙”篇對被試造成的認(rèn)知負(fù)荷最小；從翻譯質(zhì)量評分看，被試的第二篇翻譯得分最低、第三篇得分最高。錯誤分析和翻譯后問卷結(jié)果表明，造成難度差異的因素主要是詞匯、句法、用法和拼寫。

結(jié)合分析結(jié)果，為CET-4翻譯試題的命制給出以下建議：首先，源語言文本的篩選。[3]命題是確保測試質(zhì)量的起始環(huán)節(jié)，同一套試題中多篇翻譯試題的文 本應(yīng)在題材、體裁、難易度和長度上盡量保持一致。衡量漢譯英試題優(yōu)劣的標(biāo)準(zhǔn)應(yīng)該是看該語篇是否在翻譯實踐中較集中反映漢英語言在語義、句法、語用、修辭在內(nèi)的各個方面的差異。[4]應(yīng)通過具體文本特征、如可讀性、詞頻、借代和隱喻等來衡量源語言文本的難度，以提高命題時判斷的客觀性。[5]另外，研究結(jié)果指出重述比理解難度要大。因此，除了源語言文本的句子長度、句法結(jié)構(gòu)以及詞匯等需要考慮外，目標(biāo)語的用法難度、句法復(fù)雜度以及拼寫難度也是重要的因素。

其次，對不同水平考生進(jìn)行試測。參與四級考試的考生眾多，水平層次不齊。不同水平考生對于翻譯測試難度的主觀感受影響較大。從翻譯錯誤分析常見指標(biāo)來看，不同被試對不同指標(biāo)反饋結(jié)果也不一樣。

最后，被試在此次實驗中的書面反饋對于翻譯教學(xué)也深有啟發(fā)。翻譯教師應(yīng)注重被試的翻譯能力水平挑選合適難度的翻譯試題。在日常教學(xué)中，應(yīng)強化對于科普性專業(yè)詞匯的輸入；提高學(xué)生的翻譯重述能力以及語法句法能力等。[6]同時，教師應(yīng)有適當(dāng)?shù)挠行дZ言的輸出，尤其是中國文化用英文表達(dá)的知識積累。只有語言積累達(dá)到一定量，學(xué)生才能實現(xiàn)有效的語言輸出。[6]