校本英語分級考試的構念效度研究
——以QDAU英語分級考試為例

鄒紹艷

(青島農業(yè)大學,青島,266109)

1.引言

英語分級考試的主要目的是通過對學生的英語水平進行測量,將他們分配到合適的英語學習環(huán)境中,最大限度地優(yōu)化他們的學習經歷,為之提供多元化的英語教學。自20世紀八十年代以來,根據教育部頒發(fā)的《大學英語教學大綱》(1985,1986)的要求,中國絕大部分高校都在分析本校教學需求和現狀的基礎上,實行了大學英語分級教學,部分高校還開發(fā)設計了新生英語分級考試,以便更準確地測量學生的英語學習起點(金艷2008:60)。

Westrick(2005)認為,開發(fā)一種有效的分級考試不僅包括設計與真實課程相關的題目、對題目進行試測、分析考試數據,更重要的是應該不斷地完善考試,以確?？荚嚪謹档目煽啃砸约皼Q策的合理性。盡管目前各高校自行開發(fā)設計的英語分級考試被廣泛用于制定重要的分級教學決策,但是關于這類校本考試的效度研究卻鮮有報道。本研究選取山東省某所高校開發(fā)設計的校本英語分級考試(以下簡稱QDAU英語分級考試)①為研究對象,檢驗校本英語分級考試的構念效度,以期進一步完善此類考試,保證分級教學決策的合理性。

2.構念效度概述以及分級考試的研究現狀

美國心理學會(American Psychological Associ-ation)等機構把“根據考試成績所做出的推論的恰當性、意義性和有用性”歸納為效度(1985:9),并且把效度認定為考試開發(fā)和考試評估中最基本的要素(1999:9)。傳統(tǒng)上,效度分為內容效度、效標關聯(lián)效度和構念效度等幾種不同類型,但是心理測量學家越來越把效度看作是一個整體概念(Bachman 1990)。在Bachman和Palmer(1996)提出的測試有用性的公式中,構念效度取代了傳統(tǒng)意義上的效度概念。Messick(1998:3)認為,“效度是一個統(tǒng)一的概念,即只有構念效度這一種效度,而并非傳統(tǒng)意義上的多種概念。統(tǒng)一概念的意思是蘊含在構念效度中的分數意義存在于所有基于分數的推斷之中。”簡而言之,構念效度指的是考試分數在多大程度上能夠代表我們想要測量的能力或構念。

國外針對英語作為外語或第二語言學習者(EFL,ESL)的分級考試的效度研究起步較早,成果也比較豐富。Wall等人(1994)研究了用于診斷學術英語環(huán)境中受試者語言能力弱點的Lancaster大學英語分班考試,并指出效度研究中最大的困難就是進行同期效度檢驗。Fulcher(1997)對Surrey大學的英語分級考試預試試卷進行了信度和效度驗證。Green和Weir(2004)用項目反應理論和因子分析法對全球語言學校通用的英語分級考試進行了研究,并對這種基于語法的測試能否為教學提供足夠的診斷性信息提出了質疑。國內學者對分級考試的研究起步較晚,而且研究方法主要以理論綜述和試卷結構描述分析為主(如王瑞2006；彭家海2007；劉立2009),并沒有對分級考試的效度進行深入全面的實證性研究。

Anderson等人(1991)認為對構念效度的研究是一個不斷收集各種證據,支持分數解釋的持續(xù)的過程。QDAU英語分級考試盡管已實施十年有余,但是其構念效度卻未曾受到關注與驗證。鑒于該考試在大學英語分級教學決策中的關鍵性作用,所以有必要開展相關研究,驗證考試的構念效度。

3.研究設計

3.1 研究問題

Messick(1989,1992)提出分數的解釋和相應的構念效度有兩種情況:1)構念表現不足,即構念中的某些重要特征被遺漏,測試分數不能通過該構念得到充分恰當地解釋；2)構念不相關,測試分數可能因為這些與測試目的不相關的構念而被曲解,從而影響效度。根據這一理論,本文擬定總體上研究的一個大問題是:校本英語分級考試的構念效度如何？具體而言,將探討以下三個小問題:

(1) QDAU分級考試的內部結構是否具有一致性？(2) QDAU分級考試的構念中包括幾個因子？是否存在構念表現不足或構念不相關的現象？(3) 受試對QDAU分級考試的態(tài)度如何？是否認可該考試的效度？

3.2 研究對象、工具和方法

QDAU分級考試的考試大綱、試卷是本文的主要研究對象?？荚嚧缶V主要規(guī)定考查學生的語言知識以及語言知識的應用能力,具體包括:詞匯語法知識、閱讀理解能力,以及語言知識的綜合應用能力。

QDAU分級考試的試卷包括五個測試任務:快速閱讀(Skimming and Scanning)、選錯(Error-selecting)、仔細閱讀(Careful Reading)、詞匯和語法(Vocabulary and Grammar)以及完形填空(Cloze),所占比例分別是10%、15%、50%、15%和10%,滿分為100。所有的測試任務都是客觀題,采用多項選擇題型(Multiple Choice Items)。根據開發(fā)該考試的主要負責教師介紹,考試試卷之所以不設計聽力、口語和寫作任務主要是考慮到施測的方便性和閱卷的客觀性。

問卷調查是本研究使用的主要研究工具。問卷設計采用里克特五級量表的形式:1代表非常不認同,2代表不太認同,3代表一般,4代表比較認同,5代表非常認同。問卷的內容涉及到考試試卷的整體效度和分項效度。

本文采用定量和定性分析相結合的方法,首先用SPSS14.0軟件對QDAU分級考試的分數分布進行正態(tài)分布檢驗,然后對五個測試任務的分數進行相關性分析和因子分析,檢驗試卷內部結構是否具有一致性,并探索試卷所要考核的構念,最后用問卷調查了解考生對試卷總體效度及對各分項效度的意見。

3.3 實驗對象和數據收集

本研究的受試是山東省一所普通高校分屬四個不同專業(yè)班級的128名大一新生。他們來自全國不同地區(qū),學習英語的背景存在一定的差異,但這并不影響基于考試分數所做出的決定的公平性。Eckes和Grotjahn(2006:291)認為,“在分級考試中,我們經常需要對受試者在多樣化的目標語使用情境中的能力進行快速有效地判斷,勿需考慮他們各自的語言學習歷史”。

受試于2011年9月參加了該校組織的QDAU分級考試,時長為2個小時。為確保收集到有效可靠的數據,本文的作者及其他五位外語教師單獨監(jiān)考?？荚嚱Y束后,監(jiān)考人員向128名受試發(fā)放了問卷,讓他們用15分鐘完成,然后全部收回。

4.結果與討論

由于參加該研究的樣本總量小于200人,因此,我們首先對受試的分數進行正態(tài)分布檢驗,看正態(tài)分布條件是否符合,然后再進一步開展其它的統(tǒng)計分析與研究。

圖1 受試者在QDAU分級考試中的成績分布圖

圖1是對受試在QDAU分級考試中的分數的正態(tài)分布檢驗圖。從圖中可以看出,該考試的分數基本呈現正態(tài)分布,但考試的分數比較趨中,也就是說分布在60分左右的人數最多。

表1 QDAU分級考試的描述性參數

表1是受試考試分數的描述性統(tǒng)計結果。從表1可知,測試的均值和標準差分別是63.92和14.77,說明分數的離散程度較高,能夠區(qū)分不同水平的受試者。研究者認為,圖1所反應的考試分數的趨中現象應該是由參與研究的樣本較小造成的結果。

4.1 QDAU分級考試項目內部一致性分析

QDAU分級考試各子項目之間以及子項目與總分之間的相關矩陣如表2所示。

表2 相關矩陣

注:**p<0.01， *p<0.05

從表2可知,所有子項目與總分的相關都在0.01水平上顯著?！案鶕浀錅y量理論,子項目和總分的相關可能被期望達到0.7或者更高,因為總分是對語言能力的綜合測量”(Aldersonetal.1995:184)。在所有子項目與總分的相關中,仔細閱讀與總分相關系數最大,相關性最為明顯。其余測試項目如快速閱讀、選錯、詞匯、完形填空與總分的相關關系雖然也在0.01的水平上顯著,但都低于0.7,表明這些測試項目對總分的影響雖然顯著,但并未達到經典測試理論所期望的指標。這一結果說明,在五個測試項目中,仔細閱讀對總分的解釋力最強。

Alderson等(1995)認為,測試中之所以設計不同項目是因為它們能夠考核不同的能力,因此我們預期的相關也比較低,可能在0.3～0.5之間。而在分級考試各子項目之間的相關中,閱讀理解與選錯、閱讀理解與詞匯語法、詞匯語法與完形填空之間的相關關系都在0.01的水平上顯著。但是快速閱讀與詞匯的相關系數非常低,僅為0.090,快速閱讀與完形填空之間竟然呈現負相關關系。這說明快速閱讀考查的語言能力與詞匯語法和完形填空是完全異質的。另外,選錯部分與完形填空部分的相關也非常低,只有0.153,說明這兩部分考核的語言能力也是異質的。而且值得注意的是,快速閱讀和仔細閱讀的相關系數為0.202,僅在0.05水平上顯著。

產生這種相關關系的原因可能有以下幾點:第一,仔細閱讀部分在整份試卷中所占的比例最大(50%),而相比之下,其它測試項目所占的比例較小,因此除了閱讀理解與總分的相關系數高于0.7以外,其他測試項目與總分的相關系數都未達到0.7。第二,快速閱讀這種測試任務目前盡管已在大規(guī)?？荚?如CET、TEM、TOEFL等)中被廣泛應用,但是對于大一新生而言,這是一種比較陌生的題型,他們不太了解完成這種任務所需要的策略和技巧,因此這一項目的分數與其他項目的分數相關性較差。第三,QDAU分級考試的選錯部分要求考生從15個所給句子中選出錯誤,但是并未提供充分的語篇信息,這與高考英語的改錯部分不太一樣,因此受試在這種題型上表現出的能力也較弱,導致這一項目的得分與其它項目得分的相關性不太明顯。

總之,在所有子項目之間的相關關系中,只有選錯與仔細閱讀、仔細閱讀與詞匯語法以及詞匯語法與完形填空之間的相關關系在0.01的水平上顯著,而其余子項目之間的相關關系都未達到0.01的顯著性水平,說明QDAU分級考試的試卷內部結構一致性不太理想,有待于進一步提高。

4.2 QDAU分級考試構念的因子分析

為了進一步探索QDAU分級考試所考核的構念,我們需要對表2中的相關矩陣進行因子分析。首先對相關矩陣進行KMO與Bartlett球形檢驗,結果顯示KMO檢驗系數為0.660,Bartlett球形檢驗的卡方值為49.240,p=0.01,滿足對表2中的相關矩陣進行因子分析的條件。表3和表4分別是利用主成份分析法提取的公因子方差以及被解釋的方差總計。

表3 公因子方差

從表3可以看出,在5個測試項目中,快速閱讀能夠解釋公因子中最大的方差,達0.714；其次是完形填空,達0.641；仔細閱讀、詞匯語法和選錯這三部分能夠解釋的公因子的方差值依次是0.553、0.536和0.441。這說明提取的公因子能夠較好地代表這5個變量。而5個測試項目所考核的構念在公因子中得到最大程度體現的是快速閱讀和完形填空。

表4 被解釋的方差總計

表4顯示,5個因子中特征值大于1的因子有兩個,它們的特征值分別是1.810和1.079。經過正交旋轉后,它們的特征值略有變化,分別是1.809和1.080,這兩個因子能夠解釋的方差百分比是36.185%和21.599%,也就是說這兩個因子總共能夠解釋五個變量中56.783%的方差。表5中顯示的是主成分分析法提取的兩個因子在五個項目中的負荷。

表5 被提取的因子負荷矩陣

a.兩個因子被提取

從表5可以看出,主成分分析法提取了兩個主要因子,其中因子1在詞匯語法和完形填空兩個部分的負荷都高于0.6,可以把它看作是詞匯語法知識及其在語篇中的運用能力。而因子2在快速閱讀部分的負荷最大,達到0.813。另外它在選錯和仔細閱讀部分的負荷也比較大,分別是0.567和0.573,因此應該把因子2確定為閱讀理解能力。

根據因子分析的結果,可以得出結論,QDAU分級考試的構念主要包括兩個因子:第一是詞匯語法知識及其在語篇中的運用能力；第二是閱讀理解能力。這與QDAU分級考試大綱規(guī)定考核的構念基本一致,但是大綱中擬考核的“語言知識的運用能力”并沒有在5個測試項目中得到充分體現,而且總分中仍然有大約43%的方差沒有被提取的公因子所解釋,也就是說考試的分數中仍然存在構念表現不足的現象。

4.4 問卷調查結果

回收的128份問卷中,剔除4份未作任何回答的問卷,剩下124份視為有效問卷。問卷共包含10道題目,其中1～9是選擇題,而最后1個題目則是開放式問題。前5個問題的調查結果如表6所示。

表6 Q1-Q5的調查結果

注:Q1=您在考前非常了解本次考試的目的和意義；Q2=試卷整體結構設計合理；Q3=試卷指令清晰,便于理解；Q4=試卷能夠準確測出您的英語水平；Q5=試卷能夠有效地區(qū)分不同水平的英語學習者。

表6顯示,受試對第1個問題的贊同比例較低,只有23%的受試考前對這次分級考試的目的和意義比較了解。但是,受試對考試目的和意義的了解會直接影響他們在考試中的表現或考試的分數。第2到第5個問題旨在調查受試者對試卷表面效度的態(tài)度,從表6中可以看出,他們對這幾個問題所涉及的內容的認同度都略高于50%,這4個問題的得分均值都在3.4以上,說明大多數受試者對試卷的整體效度比較肯定。

Q6～Q9旨在調查受試對5個測試項目的意見,調查結果如表7所示。

表7 第6-9個問題的調查結果

從表7可以看出,受試對五個測試項目的意見有較大差異。對于Q6即哪個測試任務最能準確地測量您的英語水平這一問題,42%的受試者選擇詞匯語法,31%的人則選擇仔細閱讀,這說明絕大多數受試者比較認同這兩個傳統(tǒng)測試任務的效度。對Q7即哪個測試任務最不能反映您目前的英語水平這一問題,受試的反應幾乎同他們對Q6的反應決然相反。選擇快速閱讀和選錯的人分別占了48%和22%,這說明大多數受試者不太認同這兩種測試任務的效度,尤其是快速閱讀的效度。Q8問的是哪個測試任務最難,58%的人的答案為快速閱讀。受試對這一問題的反應同第7個問題的調查結果恰好一致,說明對他們來說較難的測試任務,效度也難以得到認可。Q9問的是哪個測試任務最簡單,56%的受試者選擇詞匯語法,說明多數受試者認為傳統(tǒng)測試項目比較簡單,而且能夠測量出他們的實際水平。

最后1個開放式問題旨在了解學生對于QDAU分級考試的試卷設計是否還有別的意見或建議。對于這一問題,34%的受試者沒有回答,而其他的受試者則提出了各種各樣的意見,如:“全是選擇題,很枯燥”；“為什么不考寫作,我很擅長寫作啊”；“既然是分級考試,聽力和口語也很重要”；“Skimming and Scanning文章篇幅實在太長太難了”；“選錯題應該提供上下文,像高考一樣”；……

問卷的結果給了我們如下重要啟示:

一方面,考試的開發(fā)或施測部門應在考前向考生充分說明考試目的和意義,唯有如此,考生才會以一種積極的態(tài)度參加考試,發(fā)揮出最佳水平,考試的結果才具備可比性。受試對測試任務的態(tài)度很大程度上取決于自身水平的高低以及他們對測試任務的熟悉程度。仔細閱讀、詞匯語法和完形填空都是受試者在中學階段就已經比較熟悉的項目,而快速閱讀和選錯對于受試者來說則是比較陌生的題型。

另一方面,受試的意見反映出他們對考核口語、聽力和寫作的需求,即交際語言能力的需求。Bachman(1990)提出的交際語言能力(communicative language ability)框架認為,語言能力包括語言知識或能力,以及在具體的交際情景中對這種能力的恰當使用。QDAU分級考試的測試任務全部采用多項選擇題型,不能充分考核受試者的交際能力,尤其是產出性語言能力,這是此次考試最大的缺陷?？荚囬_發(fā)者也應該把受試的實際語言能力需求放在首位。

QDAU英語分級考試還存在以下幾個問題值得進一步探討:第一,既然分級考試目的是為了保障分級教學的順利進行,那么考試大綱的制定是否應該考慮到后續(xù)教學要求？第二,分級考試所考核的構念與考試大綱界定的構念應怎樣進行合理的銜接？第三,快速閱讀作為一種對閱讀策略和技巧要求較高的測試任務,是否應該在分級考試中使用？

5.結語

本研究以QDAU分級考試為例,嘗試驗證了校本英語分級考試的構念效度。研究結果表明,在校本英語分級考試的開發(fā)和設計中存在一定的問題,此類考試的構念效度有待于進一步提高。例如,QDAU分級考試大綱中界定的“語言知識的使用能力”這一構念比較籠統(tǒng),可能不利于命題者設計相關的測試任務。嚴明(2012)提出,對于測試設計者而言,首先要考慮的是如何把抽象的語言能力具體化,使其在實踐中指導測試開發(fā)和設計?？荚嚨拈_發(fā)和設計應該綜合考慮受試的實際語言需求和考試的可操作性,否則無法充分彰顯考試的有用性。

受限于研究條件,本文只分析了一所學校開發(fā)的分級考試的小樣本數據,雖在一定程度上體現此類考試的構念效度,但是鑒于分級考試是大學英語分級教學實施的重要依據,且對教學可能產生巨大的反撥作用,我們建議從多個角度在更多的規(guī)模上對這類考試進行更加全面的研究。

附注:

① QDAU英語分級考試是山東省某高校開發(fā)設計的校本英語分級考試。

Alderson, J.C.etal.1995.LanguageTestConstructionandEvaluation[M].Cambridge: Cambridge University Press.

American Psychological Association.1985.StandardsforEducationalandPsychologicalTesting[S].Washington, DC: American Psychological Association.

American Psychological Association, American Educational Research Association, and National Council on Measurement in Education.1999.StandardsforEducationalandPsychologicalTesting[S].Washington, D.C.: American Educational Research Association.

Bachman, L.F.1990.FundamentalConsiderationsinLanguageTesting[M].Oxford: Oxford University Press.

Bachman, L.F.& A.S.Palmer.1996.LanguageTestinginPractice:DesigningandDevelopingUsefulLanguageTests[M].Oxford: Oxford University Press.

Fulcher, G.1997.An English language placement test: Issues in reliability and validity[J].LanguageTesting14(2):113-38.

Green, A.B.& C.J.Weir.2004.Can placement tests inform instructional decisions[J].LanguageTesting21(4):467-94.

Messick, S.A.1989.Validity[A].In R.Linn (ed.).EducationalMeasurement[C].New York: Macmillan.13-103.

Messick, S.A.1992.Validity of test interpretation and use[A].In M.C.Alkin (ed.).EncyclopediaofEducationalResearch(6th edition)[C].New York: Macmillan.

Messick, S.A.1998.Consequences of test interpretation and use: the fusion of validity and values in psychological assessment (RR-98-48)[R].Princeton: ETS.

Nakamura, Y.2007.A Rasch-based analysis of an in-house English placement test[R].Sendai.

Wall, D.etal.1994.Evaluating a placement test[J].LanguageTesting11(3):321-44.

Westrick, P.2005.Score reliability and placement testing[J].JALT27(1):71-92.

金艷.2008.關于大學英語教學改革的思考:評價與教學[J].中國外語教育(3):57-66.

劉立.2009.完形填空考點效度分析及語篇教學——個案分析中央民族大學2008級新生入學英語分級測試試卷[J].廣西民族大學學報(哲學社會科學版)(S1):127-29.

彭家海.2007.提高大學英語分級測試信度和效度的途徑淺議[J].南方論刊(12):76-77.

王瑞.2006.大學英語入學分級水平交際能力測試研究[J].黑龍江高教研究(10):167-68.

嚴明.2012.商務英語能力構念界定和測試[J].當代外語研究(2):23-28.

鄒紹艷.2012.高等農業(yè)院校大學英語分級考試的校標關聯(lián)效度研究[J].中國農業(yè)教育(2):11-13.