從需求分析到行業(yè)評分標準:LSP測試探討

李夢莉

(寧波大學外語學院,浙江寧波315211)

從需求分析到行業(yè)評分標準:LSP測試探討

李夢莉

(寧波大學外語學院,浙江寧波315211)

LSP(專門用途語言)測試是語言測試的一個分支,屬于交際語言測試和標準參照測試。LSP測試的特點是需求分析、專業(yè)針對性、真實性、行業(yè)評分標準。以澳大利亞日語導游測試的設計過程為例,說明LSP測試的設計過程和特點。

專門用途語言測試; 特點; 設計過程

一、引言

ESP測試的存在同ESP教學一樣,一開始就引起諸多爭議。一些觀點認為,專業(yè)英語與通用英語沒有明確界限,專業(yè)英語只是通用英語加技術詞匯,因此,不需要專業(yè)英語測試,通用英語測試可將專門用途英語包括其中。對ESP測試還有更多反對的聲音:因為測試中專業(yè)知識會影響語言能力的測評,所以ESP測試沒有信度和效度;ESP測試沒有理論依據(jù);ESP測試實施中存在實用性、可行性問題[1]。在此,筆者認為沒有必要再對ESP測試存在與否進行辯論,也不愿刻意找出ESP測試與EGP測試的區(qū)別。盡管ESP測試有其固有的屬性——專業(yè)針對性和知識性,但它本質(zhì)上屬于語言測試,不是專業(yè)知識測試。雖然ESP測試的存在理論上容易引起爭論,但實踐中有它存在的依據(jù)和生命力——現(xiàn)實需求。我們對ESP測試的注意力應該從爭論它是否有必要、是否可行,轉(zhuǎn)向怎樣完善ESP測試,怎樣為ESP測試設計和實施建立科學的理論框架[1]。若以一種開放的態(tài)度對專門用途英語測試的具體問題做更多的探索,會有益于對這一測試的進一步認識[2]。正是基于以上考慮,本文將客觀地描述LSP測試的諸多特征,盡管有的特征并非LSP測試所獨有。

二、LSP測試的本質(zhì)屬性

(一)屬于交際語言測試

在專門用途語言(LSP)測試中,測試內(nèi)容和方法來自于對專門用途目標語使用情景的分析,受試者完成測試任務既需要有語言能力和專業(yè)知識的交互,又需要語言能力與測試任務的交互[3]。LSP測試的定義決定了它的交際性特征。在理論上把LSP測試與交際語言測試分開是不可能的。在《交際語言測試》一書中,Weir這樣描述:在測試交際能力時,我們在特定語言使用語境(specific contexts of use)中,在一定測試條件限制下(particular test constraints)對行為抽樣進行評價,以推斷受試者的交際能力或語言能力[4]。在這個定義中,有一些關鍵詞——交際語言能力、特定的語言使用語境、測試限制條件。LSP測試涉及所有這些概念,我們將把它作為交際語言測試的特殊情況[3]。因此,交際語言測試所具有的特征,即重視需求分析、強調(diào)真實性、傾向于標準參照、接近行為測試等等,在LSP測試中均得到體現(xiàn)。所不同的是,交際語言測試中的交際能力轉(zhuǎn)換成了LSP測試中的專門用途語言能力。

(二)屬于標準參照測試

標準參照測試的目的根據(jù)受試者是否具有圓滿完成某個任務和一系列任務的能力來為考生分類,這就意味著鼓勵學生根據(jù)有意義的標準來評估他們的進步[5]。標準參照考試往往需要事先確定一系列標準和及格線。達標的人意味著達到目標要求,未達標的人意味著重修課程。標準參照分數(shù)解釋模式有以下優(yōu)點:標準具體化為“能做什么”,這樣對考試使用者和考生都有明確的解釋意義;標準不會因人而異,每次考試分數(shù)都以此為解釋依據(jù)[6]。

LSP測試很重要的一個概念就是標準參照測試。盡管常模參照和標準參照都與LSP測試有關,標準參照測試的設計過程需要對目標語使用情景進行詳細分析,所以與LSP測試有更直接關系。此外,還需要考慮到LSP測試的基本概念的真實性問題。標準參照測試為LSP測試提供了更重要的視角,即準確描述作為行為標準的能力水平和內(nèi)容范圍。設計標準參照測試不僅要對專門用途目標語使用情景的特征進行準確、詳細的描述,還要明確評價測試表現(xiàn)的標準。實際上,評價標準和評分等級的制定也許是LSP測試中最重要也最令人頭疼的問題[7]。評分標準的精確定義是LSP測試的必要部分,標準參照測試程序為確定這些標準提供了一個系統(tǒng)的方法。

三、LSP測試特征分析

(一)重視需求分析

測試界學者普遍認為,對某一專門用途英語的語言能力界定,應建立在對目標語實用情景(TargetLanguage Use)分析或需求分析的基礎之上。ESP測試設計最初的工作就是對考試目的、受考因素和行業(yè)需求進行分析。ESP測試設計者應事先了解某一專門用途英語的實際使用者在目標語使用情境中應具備什么樣的語言能力、什么樣的專業(yè)知識,完成什么樣的任務。這項工作可能需要測試人員去記錄真實語境中的話語,采集這一專業(yè)領域?qū)＜业囊庖?以確定這一專門用途語言的語域、語體、專業(yè)知識、語言技能等[2]。

分析目標語使用情景包括五個步驟:定義問題,初步調(diào)查,原始資料收集,二手資料收集,分析目標語情景下的語言特征和任務特征。LSP測試設計者通過需求分析,找出受試者可能碰到的交際情景,歸納語言和情景特征,以獲取測試設計所需要的材料。更有趣的是,在LSP測試中,測試方法也常常來自于需求分析。語言使用者在目標語情景下完成的典型任務也可通過參照任務特征轉(zhuǎn)換成測試任務。

總之,需求分析貫穿ESP測試的始末,從測試內(nèi)容、測試任務、測試方法的確定,到評分標準的制定,都離不開需求分析。

(二)具有專業(yè)針對性

專門用途語言能力包括語言能力、策略能力和背景知識[3]。其中背景知識就是指與特定專業(yè)和職業(yè)有關的專業(yè)知識。語言知識和內(nèi)容(或背景知識)的交互是LSP測試最關鍵的特征,因為在普通語言測試中,背景知識通常被看作意外的變量,容易導致測試誤差,所以應盡量減少其作用。在LSP測試中,背景知識是LSP能力必要的、不可分割的一部分。LSP測試的專業(yè)針對性來自LSP的固有特點[1]:需求上滿足特定的學習者;內(nèi)容上與特定專業(yè)和職業(yè)有關;詞匯、句法和語篇放在與特定專業(yè)、職業(yè)相關的活動的語言運用中;必須與通用英語有鮮明的對照。

EGP測試不能代替ESP測試原因在于:語言表現(xiàn)(language perfor mance)因語境不同而不同;專門用途語言更精確[3]。研究者們普遍贊同語言表現(xiàn)隨語境和測試任務的變化而不同。此外,任何專業(yè)領域的語言都有其詞匯、語義、句法甚至音系特征,因此行業(yè)內(nèi)的人能夠說或?qū)懸恍┰谕庑锌磥頍o法理解的東西。

在LSP測試中,語言知識與專門用途背景知識的關系體現(xiàn)在:(1)測試輸入應該具有專業(yè)性,以確保受試者調(diào)動合適的話語語域。(2)測試內(nèi)容專業(yè)性越強,交際行為中LSP背景知識與語言知識交互時,LSP背景知識所起作用越大。(3)在受試者充分利用他們的LSP背景知識前需要有一定的語言能力。(4)既然測試設計者不容易評估輸入材料的專業(yè)性,他們需要求助于學科專家。正如Rea-Dickins所說,與從業(yè)者在專業(yè)領域的合作似乎是設計專門用途語言測試的前提,因為專業(yè)領域所包含的語域已經(jīng)超出了語言學家所能獨立做判斷的范圍[8]。

最后，當出現(xiàn)生豬發(fā)病較重的情況，應當執(zhí)行聯(lián)合給藥治療。在進行藥物選擇時，應當規(guī)避有可能產(chǎn)生抗藥性的常用抗菌藥，著重選取青霉素、氯霉素、環(huán)丙沙星、特效米先等藥物進行治療，依據(jù)具體病癥選取適合藥物、堅持對癥下藥，并密切觀察病豬癥狀，以便針對突發(fā)問題進行及時有效治療。

綜上所述,LSP測試與普通語言測試具有共性,都屬于語言測試的范疇,最大的區(qū)別在于專業(yè)知識的介入,專業(yè)從業(yè)人員參與設計測試,參與評分。當然,LSP測試內(nèi)容的專業(yè)程度具有相對性。

(三)強調(diào)真實性

真實性是任何語言測試所具有的特征,而ESP測試的真實性有其獨特表現(xiàn):ESP測試中的受試者一般是實際工作中的目標語使用者;測試材料與受試者在現(xiàn)實生活中需要處理的材料在專業(yè)內(nèi)容和體裁風格上比較一致;受試者所要完成測試任務與目標語使用情景下的任務相似;ESP測試情景模擬目標語使用情景[1]。

真實性不止存在于對真實文本和任務的模擬中,即情景真實性,還存在于文本、任務特征與受試者語言能力的交互中。換句話說,真實性并不是口語文本和書面文本的固有特征,也不是不同職業(yè)、行業(yè)和學術領域的任務所具有的特征。只有當測試題目、提示和輸入材料所建立的交際情景足以讓受試者的專門用途語言能力得到參與時,真實性才得以實現(xiàn)[3]。LSP測試的目的決定了LSP測試對真實性的較高要求,真實性是LSP測試的效度保證。

(四)行業(yè)評分標準

對于交際目的明確的ESP測試來說,評分標準不僅要考慮語言本身,更應該考慮的是對交際任務的完成程度。要對ESP測試任務的完成程度進行判定,需要著眼于考試的目的、用途和測試使用者等各種因素[2]。在LSP測試中,測試內(nèi)容和方法總是來自于對目標語使用情景的分析,但測試表現(xiàn)評分標準卻并非出自同一來源。為此, Douglas認為,LSP測試評分標準也應該來自于對目標語使用情景的分析,并使用了行業(yè)評分標準(Indigenous Assessment Criteria)的概念,行業(yè)評分標準是指學術或職業(yè)領域的專家們評價新手及其同事的語言交際能力時所運用的標準[9]。

不管是普通用途還是專門用途測試,評分標準在傳統(tǒng)意義上都是源于語言知識和心理測量學的相同理論。但是,在LSP測試中,目標語使用情景可能提供從業(yè)者認為重要但語言測試人員卻視而不見的標準。因此,LSP評分標準不僅來源于對交際語言能力的理論理解,還應來源于對目標語使用情景的實證分析[9]。來自澳大利亞的行為測試職業(yè)英語測試(Occupational English Test,OET)一開始就使用了具有語言傾向的評分標準,有文件規(guī)定OET測試語言能力而非醫(yī)護能力,醫(yī)護能力放在第二階段由醫(yī)療專家負責。這種分離測試盡管從政策的角度具有一定意義,但是用基于語言理論的評分標準來評價醫(yī)療行業(yè)從業(yè)人員的語言能力,而不考慮測試內(nèi)容和方法及醫(yī)學語境,可能存在嚴重問題。在OET開展6

年后,測試設計者就收到了許多抱怨,一方面來自對海外學生進行臨床測試的醫(yī)生,另一方面來自有海外醫(yī)生的醫(yī)院負責人,原因在于那些通過OET測試的海外醫(yī)生所具有的英語能力不能勝任與病人和同事的交流。究其原因,可能是測試任務對真實世界任務不可避免的簡化(simplifica

四、LSP測試舉例

以上我們已經(jīng)談到LSP測試的各種特征,下面以墨爾本大學語言測試研究中心設計的Japanese Language Test for Tour Guides(JLTTG)為例,來具體說明LSP測試設計的過程。

(一)測試目的

JLTTG屬于日語導游高級口語考試,該測試不僅需要測試語言能力,還要測試受試者是否具有在導游—游客交互中得體的交際能力。JLTTG屬于行為測試,要求受試者在模擬的實際目標語任務和情景中進行展現(xiàn)。

(二)測試設計

測試設計的第一個階段是對日語旅游市場導游/游客交流中的重要言語行為和互動模式進行分析。通過兩個途徑實現(xiàn):第一,得到允許伴游(由日語本族語者和非本族語者導游),對交際行為做筆記或者錄音以便以后分析;第二,通過查閱有關旅游行業(yè)日語的文獻以及對行業(yè)代表(導游和雇主)進行系統(tǒng)的訪問來補充一手數(shù)據(jù)。通過所收集的信息,草擬出最典型的互動形式。這些互動形式再反饋給一組專家,專家由旅游行業(yè)的代表(雇主和導游培訓者)和有旅游日語專業(yè)知識的語言學家組成,他們將對列出的任務的合適性和代表性進行評論。這個階段實際上屬于需求分析階段。這一階段確定導游可能遇到的互動形式和這些互動形式可能出現(xiàn)的語境。通過這一階段的分析得出以下測試結(jié)構:第一部分:介紹,即介紹與個人有關的事情;第二部分:選擇旅游(幫助游客對自由安排日的旅游線路和景點做出選擇);第三部分:處理棘手問題,即能夠處理游客在旅游中可能碰到的問題;第四部分:文化陳述,即就文化有關的話題進行即興演講;第五部分:給出指示,即給游客提供詳細的知識和信息;第六部分:日程表和旅游景點介紹。

第二階段是為每一測試部分設計測試題目。在編寫任務時要確保每一個任務都代表了受試者可能遇到的情景。在這一階段確定成績報告程序?qū)⑹敲枋鲂缘?不僅包括對受試者語言能力的描述,還包括受試者成功完成任務要求所需總體能力的描述。這一決定是根據(jù)行業(yè)代表的一致意見,他們認為語言不能與其他方面的表現(xiàn)分開,在導游交流過程中,具有有限日語能力的導游可能通過其它特點彌補。這里的其它特點指能夠影響聽者對測試行為表現(xiàn)做出判斷的非語言交際技巧和特征。McNamara通過區(qū)別兩種不同的語言行為測試(strong andweak),指出這些特征的作用:第一,在真正意義上的行為測試中,語言能力只是評估測試表現(xiàn)的諸多標準之一。測試表現(xiàn)將通過真實世界標準(real-world criteria),即任務的完成程度來評判。這種測試需要語言作為測試表現(xiàn)的媒介,測試表現(xiàn)本身是評價的目標。一定的語言能力是成功完成任務的必要但不是充分條件。交際任務表現(xiàn)如勸說、安慰等將通過真實世界標準來評價(如我被說服了嗎?我感到安慰嗎?),同時還包括對一些非語言因素如受試者的個性和同情心等進行評價。第二,表面意義上的行為測試目的在于通過任務表現(xiàn)來獲取語言樣本,從而評價語言能力[7]。

因為JLTTG測試項目包括對語言和任務完成度的評估,屬于真正意義上的行為測試。在設計試測項目時,從以下方面收集反饋意見:(1)詢問行業(yè)代表的意見,包括測試題目和輸入以及給測試考官的信息和指令是否能有效地使受試者(不管有無導游經(jīng)驗)產(chǎn)生自然的交流;(2)進行有限制的試測前測,收集受試者的反饋,確認測試中的交際是否反映了真實情景中的交際;(3)向參加試測的受試者進一步收集關于測試效度的信息。

(三)制定評分標準

由日語教師、日語導游培訓師和旅游調(diào)解員組成的專家組通過反復分析試測錄像,從而制定評分標準和等級。

第一,語言標準。包括流利度,語法和表達,得體的禮貌(包括敬語的使用)、理解、詞匯的廣度、發(fā)音。不同階段測試中不同的標準會被強調(diào),如禮貌和理解在更具交際性的測試階段來評價,而流利度和語法等則在更獨白的測試階段進行評估。

第二,任務完成標準?？紤]到評分員在評估任務完成度(task-fulfillment)時所考慮的各種因素的平衡因人而異,評估任務完成度最有效的方法不是確定受試者表現(xiàn)出應該有什么和不應該有什么,更不用界定這些能力的等級,評分標準主要是列出一系列問題供評分員參考。這些問題反映了專家組的一致意見。下面是JLTTG第二部分的任務完成標準:

Phase 2:Task fulfillment

Is the advice helpful?

Is there adequate detail?

Does the guild give enough detail without extensive prompting?

Is the guide sympathetic to my indecision?

Does the guide help me make up my mind?

LSP測試通常涉及到對某一行業(yè)從業(yè)人員語言能力的評價,從測試目的來說與通用語言測試有區(qū)別。在LSP測試中,專業(yè)知識成為構念定義的一部分,而在通用語言測試中,需要找出所有受試者都熟悉的語言共核(common core)。LSP測試的另一特點是行業(yè)評分標準的引入,行業(yè)評分標準已經(jīng)超出了對語言能力的單一評價,而是用行業(yè)眼光來觀察受試者用特定語言從事某個行業(yè)的整體素質(zhì)。盡管如此,我們不得不承認LSP測試只是語言測試的一種分支,本質(zhì)上屬于語言測試。上述很多LSP測試的特征同時也被通用語言測試所共有,如交際測試、真實性、需求分析、標準參照等都不是LSP測試所特有的,因此有人認為LSP測試沒有自己的理論依據(jù),但它本質(zhì)上既然是語言測試,也應該符合語言測試有用性的評價標準,如具有信度、效度和可行性等。

[1] 黃大勇.ESP測試的特征、存在依據(jù)和設計原理[J].考試研究,2007,(3).

[2] 唐雄英.ESP能力測試問題再探索[J].外語與外語教學,2004,(6).

[3] Douglas D.Assessing Language for Specific Purposes[M]. Cambridge:Cambridge University Press,2000.

[4] Weir C.Communicative Language Testing[M].New York: Prentice Hall,1990.7.

[5] Hughes A.Testing for Language Teachers[M].Cambridge: Cambridge University Press,1989.18.

[6] 鄒申,楊任明.對標準參照考試的再認識——兼談其在考試反撥效應中的積極作用[J].外語電化教學, 2006,(10).

[7] McNamara T F.Assessing the second Language proficiency of health professional[D].PhD thesis,University of Melbourne,1990.

[8] Rea-Dickins P.Testing doctor's written communicative competence:an experimental technique in English for specialist purposes[J].Quantitative Linguistics,1987,34:185～218.

[9] Douglas D.Language for Specific Purposes assessment criteria:Where do they come from?[J].Language Testing, 2001,18(2):171～185.

[10] Jacoby S,McNamara T.Locating competence[J].English for Specific Purposes,1999,18(3):213～241.

From Needs Analysis to Indigenous Assessment Criteria:On LSP Test

LI Meng-li
(School of Foreign Languages,Ningbo University,Ningbo,Zhejiang 315211,China)

LSP(Language for Specific Purposes)test is a branch of language test,which often belongs to communicative language test and criterion-referenced test.The following characteristics of LSP test:needs analysis,specificity,authenticity,indigenous assessment criteria,are analyzed.Then Japanese Language Test for Tour Guides(JLTTG)in Australia is taken as an example to further elaborate the designing process of LSP test and its characteristics.

LSP test;characteristics;designing process

H319

A

1674-0297(2011)01-0141-04

(責任編輯:張 璠)

2010-09-18

李夢莉(1974-),女,四川隆昌人,寧波大學外語學院講師,碩士,主要從事語言教學和測試研究。