影響普通話水平測(cè)試信度與效度的實(shí)證研究①

李海宏

（浙江傳媒學(xué)院 播音與主持藝術(shù)學(xué)院，浙江 杭州 310018）

影響普通話水平測(cè)試信度與效度的實(shí)證研究①

李海宏

（浙江傳媒學(xué)院 播音與主持藝術(shù)學(xué)院，浙江 杭州 310018）

普通話水平測(cè)試的信度與效度是影響普通話水平測(cè)試規(guī)范性和科學(xué)性的重要問(wèn)題。試卷的設(shè)計(jì)、普測(cè)員的水平、被試的心理素質(zhì)等都是影響普通話水平測(cè)試信度與效度不容忽視的因素，將這些影響降到最低能夠提高測(cè)試的信度與效度。

普通話水平測(cè)試；信度；效度；影響因素

推廣普通話是國(guó)家的一項(xiàng)重要的語(yǔ)言文字政策，越來(lái)越多的職業(yè)崗位已經(jīng)實(shí)行普通話持證上崗制度，普通話等級(jí)證書(shū)已經(jīng)成為影響某些人員職業(yè)發(fā)展的重要砝碼，普通話水平測(cè)試（以下簡(jiǎn)稱PSC）的重要性不言而喻，如何保證PSC的規(guī)范性和科學(xué)性就成為我們必須考慮的問(wèn)題。鑒于此，筆者以浙江省普通話培訓(xùn)測(cè)試中心2006～2009年期間送審國(guó)家語(yǔ)委普通話培訓(xùn)測(cè)試中心的8個(gè)批次206名一級(jí)甲等被測(cè)者的測(cè)試結(jié)果為例，分析影響現(xiàn)行PSC信度與效度的相關(guān)因素。

一、PSC的相關(guān)概念

《普通話水平測(cè)試大綱》（以下簡(jiǎn)稱《大綱》）中明確規(guī)定，PSC是“為進(jìn)一步提高推廣普通話工作的制度化、規(guī)范化、科學(xué)化水平，完善普通話水平測(cè)試系統(tǒng)”而制定的，它“不是普通話系統(tǒng)知識(shí)的考試，不是文化水平的考核，也不是口才的評(píng)估，是應(yīng)試人運(yùn)用普通話所達(dá)到的標(biāo)準(zhǔn)程度的檢測(cè)和評(píng)定?！薄洞缶V》中規(guī)定了測(cè)試的方式及內(nèi)容，浙江省PSC中心免測(cè)“選擇判斷”項(xiàng)；大綱中明確規(guī)定了各項(xiàng)的評(píng)分標(biāo)準(zhǔn)，并根據(jù)最終得分將PSC分為三級(jí)六等，最高級(jí)別為一級(jí)甲等（97分及其以上），最低為三級(jí)乙等（60分及其以上但不足70分）。所有的測(cè)試結(jié)果最終體現(xiàn)為一定的分?jǐn)?shù)及等級(jí)，因此成績(jī)?cè)u(píng)定直接反映并影響著PSC的信度和效度，體現(xiàn)著測(cè)試的科學(xué)性和規(guī)范性。

二、語(yǔ)言測(cè)試的信度與效度

信度（Reliability）是反映測(cè)驗(yàn)結(jié)果受到隨機(jī)誤差影響程度的指標(biāo)，是評(píng)價(jià)測(cè)驗(yàn)質(zhì)量的最基本的指標(biāo)，高信度是高效度的前提，沒(méi)有信度，效度也談不上［1］（P143）。PSC屬于主觀評(píng)分，根據(jù)目前的經(jīng)典測(cè)試信度理論，我們可以將主觀評(píng)分的信度理解為評(píng)分員的一致性，據(jù)此筆者認(rèn)為如果幾個(gè)測(cè)試員給出被測(cè)者的成績(jī)和等級(jí)是一致的，尤其是等級(jí)是一致的，就可以說(shuō)該測(cè)試具備高信度，反之，則不具備高信度。美國(guó)心理學(xué)學(xué)會(huì)認(rèn)為效度是“對(duì)測(cè)驗(yàn)分?jǐn)?shù)所作的特定推論在恰當(dāng)、有意義以及實(shí)際使用價(jià)值幾個(gè)方面的程度。”［1］（P203），正如張凱在《語(yǔ)言測(cè)試?yán)碚摷皾h語(yǔ)測(cè)試研究》中指出的，“信度和效度是測(cè)驗(yàn)的兩大質(zhì)量標(biāo)準(zhǔn)，是測(cè)驗(yàn)研究最為重要的問(wèn)題，而效度更是重中之重，已被公認(rèn)為語(yǔ)言測(cè)驗(yàn)的核心問(wèn)題?！保?］（P168）按照Deterich和Freeman的觀點(diǎn)，如果脫離了效度問(wèn)題，包括信度在內(nèi)的一切有關(guān)標(biāo)準(zhǔn)或質(zhì)量的討論都會(huì)顯得毫無(wú)意義。語(yǔ)言測(cè)試中效度的重要性由此可見(jiàn)一斑。同時(shí)，效度的定義中已經(jīng)明確表示出，目的性是效度的基本特征，即考查某個(gè)測(cè)驗(yàn)有效的程度一定要針對(duì)其測(cè)驗(yàn)?zāi)康亩?，否則討論效度也是無(wú)意義的，因此在考查PSC的效度問(wèn)題時(shí)必須緊緊圍繞PSC的目的——“PSC不是普通話系統(tǒng)知識(shí)的考試，不是文化水平的考核，也不是口才的評(píng)估，是應(yīng)試人運(yùn)用普通話所達(dá)到的標(biāo)準(zhǔn)程度的檢測(cè)和評(píng)定”。

三、影響PSC信度與效度的相關(guān)因素

通過(guò)對(duì)本次課題研究中所涉及的206份試卷及其考核結(jié)果來(lái)看，影響PSC信度與效度的主要因素如下。

首先是試卷的設(shè)計(jì)與測(cè)試目標(biāo)不盡一致。浙江省PSC試卷主要由四部分構(gòu)成：?jiǎn)我艄?jié)字詞朗讀、多音節(jié)字詞朗讀、短文朗讀、命題說(shuō)話四部分。從試卷構(gòu)成來(lái)看，字詞的朗讀毫無(wú)疑問(wèn)是考查學(xué)生語(yǔ)音是否標(biāo)準(zhǔn)的重要內(nèi)容，但不可否認(rèn)的是字詞的識(shí)記水平會(huì)影響到測(cè)試成績(jī)，而這與測(cè)試目標(biāo)無(wú)關(guān)；第三題為短文朗讀，從測(cè)試的實(shí)際情況來(lái)看，考生出現(xiàn)“錯(cuò)讀、漏讀和增讀”的情況往往是對(duì)短文不熟悉，而不是語(yǔ)音不標(biāo)準(zhǔn)、語(yǔ)言不規(guī)范。第四題的命題說(shuō)話評(píng)分標(biāo)準(zhǔn)中的“離題”雖然防止了測(cè)試者“以不變應(yīng)萬(wàn)變”的錯(cuò)誤應(yīng)試行為，但客觀來(lái)說(shuō)是否離題也與普通話測(cè)試的目標(biāo)無(wú)關(guān)。

試卷難易程度的差異也導(dǎo)致測(cè)試與目標(biāo)相違背。試卷的難易程度很大程度上影響了考試成績(jī)。如在考項(xiàng)“讀單音節(jié)字詞”中，有的試卷生僻字比較多，而有的就相對(duì)少些，如13號(hào)試卷中就出現(xiàn)了8個(gè)比較生僻的字詞（“幀、娑、幔、菖、溯、巋、疵、眩），學(xué)生在這8個(gè)字詞中得分率僅為42.9%，而52號(hào)試卷則只出現(xiàn)了3個(gè)相對(duì)比較生僻的字詞（“嫌、刪、庚”），兩者相比就是0.5分，而這個(gè)分?jǐn)?shù)對(duì)于想考取一級(jí)甲等的學(xué)生而言是至關(guān)重要的，而且學(xué)生反映生僻字多了對(duì)考生的情緒影響很大，后續(xù)的考試內(nèi)容也受到了影響?？柬?xiàng)“讀多音節(jié)詞語(yǔ)”中試題的難易程度也不一致，如20號(hào)試卷中幾乎沒(méi)有生僻詞語(yǔ)（只有“隧道”相對(duì)生僻些），而9號(hào)卷中則出現(xiàn)了7個(gè)較生僻的詞語(yǔ)（“拙劣、果脯、贅述、寒磣、攫取、渣滓、蔑視），后者的得分率僅為57.74%，也嚴(yán)重影響了考生的成績(jī)，并因此影響了PSC的效度和信度。第三題朗讀短文中，40篇文章形形色色，有的較口語(yǔ)化，如《二十美金的價(jià)值》《陶行知的“四塊糖果”》等，有的則書(shū)面色彩濃厚，如《站在歷史的枝頭微笑》《海洋與生命》等，由于語(yǔ)體色彩的不同導(dǎo)致學(xué)生在停連、朗讀熟練程度等方面扣分差別較大；有的同學(xué)兒化韻讀得不太標(biāo)準(zhǔn)，但作品4號(hào)《第一場(chǎng)雪》中有8個(gè)兒化韻，而更多的作品中根本沒(méi)有兒化韻，這也嚴(yán)重影響了測(cè)試的信度與效度?？柬?xiàng)“命題說(shuō)話”的難易程度也相差較大，如有21個(gè)題目側(cè)重?cái)⑹觯ㄈ纭拔业呐笥选薄拔易鹁吹娜恕钡龋?個(gè)題目側(cè)重議論（如“談?wù)劮棥薄皩W(xué)習(xí)普通話的體會(huì)”等），相對(duì)而言敘述要比議論容易得多，雖然抽簽時(shí)是兩個(gè)題目選擇一個(gè)，但有的學(xué)生恰恰選到了相對(duì)較難的兩個(gè)，在調(diào)查中我們就發(fā)現(xiàn)有4個(gè)同學(xué)選擇了議論性的題目，由于流暢程度各扣1分，與一級(jí)甲等失之交臂，的確可惜。上述由于試卷難易程度不一導(dǎo)致的扣分與《大綱》的測(cè)試目標(biāo)——“是應(yīng)試人運(yùn)用普通話所達(dá)到的標(biāo)準(zhǔn)程度的檢測(cè)和評(píng)定?！笔秋L(fēng)馬牛不相及的，這影響了測(cè)試的信度和效度，也影響了考試的公正性。

其次是測(cè)試員的水平參差不齊。雖然在本次課題調(diào)查中涉及到的測(cè)試員都是國(guó)家級(jí)普測(cè)員，但是其中表現(xiàn)出的水平差異依然是不容忽視的。在調(diào)查中我們發(fā)現(xiàn)普測(cè)員受自身語(yǔ)言條件的限制影響了評(píng)分的客觀性。有62人次的考生由于前后鼻韻發(fā)音不到位導(dǎo)致沒(méi)有通過(guò)一甲，而測(cè)試這62人次考生的普測(cè)員中有24人次是浙江籍（前后鼻韻發(fā)音不準(zhǔn)確是浙江方言的典型特點(diǎn)之一），占到所涉及測(cè)試員比例的67%，顯然測(cè)試員受本身方言的影響導(dǎo)致了誤判；還有方言詞匯和語(yǔ)調(diào)的問(wèn)題，在調(diào)查中我們發(fā)現(xiàn)有5人次比較明顯的方言詞匯和語(yǔ)調(diào)問(wèn)題沒(méi)有扣分，涉及到的9人次測(cè)試員全是跟考生方言區(qū)一致，由此可見(jiàn)由于測(cè)試員本身語(yǔ)言條件限制導(dǎo)致評(píng)分有失公正的現(xiàn)象是必須要重視的。

最后是應(yīng)試者的心理素質(zhì)。作為參加PSC的主體，應(yīng)試者的心理素質(zhì)至關(guān)重要，通過(guò)問(wèn)卷和調(diào)查統(tǒng)計(jì)我們發(fā)現(xiàn)，由于應(yīng)試者心理素質(zhì)原因?qū)е碌目鄯质潜容^多的。通過(guò)聽(tīng)評(píng)錄音我們發(fā)現(xiàn)，不少考生將平時(shí)認(rèn)識(shí)的字詞讀錯(cuò)，如把“典雅”讀成“雅典”，把“飯盒兒”讀成“盒飯兒”，甚至有的考生將短文《胡適的白話電報(bào)》中的“干不了”兩次錯(cuò)讀成“不干了”，有的考生在考試中緊張得透不過(guò)氣來(lái)，錄音里長(zhǎng)吁短嘆的聲音不時(shí)出現(xiàn)，有的考生說(shuō)話題時(shí)聲音直發(fā)顫，流暢度受影響，這些都影響了學(xué)生的成績(jī)。

四、提高PSC信度與效度的措施

在語(yǔ)言測(cè)試中我們要堅(jiān)持定量與定性相結(jié)合的原則，定量是定性的基礎(chǔ)，而定性是定量的概括和總結(jié)，同時(shí)還要注意以下幾點(diǎn)。

第一，編制試卷時(shí)要經(jīng)過(guò)充分的信度、區(qū)別度、難度分析，以保證PSC的信度與效度。PSC作為國(guó)家性的水平考試，試卷的題目類型、評(píng)分標(biāo)準(zhǔn)等必須經(jīng)過(guò)充分論證，以保證標(biāo)準(zhǔn)的信度與效度，如果標(biāo)準(zhǔn)有誤，后續(xù)的操作都是無(wú)稽之談；每一份試卷的信度、區(qū)別度、難度必須經(jīng)過(guò)充分分析，以保證試卷的平衡性和公平性。

第二，盡可能地避免與測(cè)試目標(biāo)無(wú)關(guān)的考查內(nèi)容。PSC“是應(yīng)試人運(yùn)用普通話所達(dá)到的標(biāo)準(zhǔn)程度的檢測(cè)和評(píng)定?！蹦敲锤四繕?biāo)無(wú)關(guān)的一些內(nèi)容要減少到最低限度。如測(cè)試想通過(guò)單雙音節(jié)字詞朗讀考查考生語(yǔ)音標(biāo)準(zhǔn)水平，就要將字詞識(shí)記水平對(duì)被試的影響控制到最小程度，盡量少用生僻字等?，F(xiàn)在的考項(xiàng)“命題說(shuō)話”是單向說(shuō)話，考生可以經(jīng)過(guò)精心準(zhǔn)備將錯(cuò)誤減少到最低限度，如盡量避免個(gè)人的語(yǔ)音弱點(diǎn)等，如果可能的話，采用真實(shí)的雙向?qū)υ捀芸疾槌隹忌恼鎸?shí)水平。

第三，將客觀影響因素控制到最少。如普測(cè)員的水平可以通過(guò)經(jīng)常性的培訓(xùn)不斷增強(qiáng)其聽(tīng)辨能力；普測(cè)員由于勞動(dòng)強(qiáng)度太大造成的失誤可以通過(guò)適當(dāng)減少工作量避免；考生由于心理緊張?jiān)斐傻氖д`可以通過(guò)考前培訓(xùn)、模擬等減少，這些措施都可以提高PSC的信度與效度。

PSC是國(guó)家推廣普通話的重要舉措之一，測(cè)試的最終目的是提高國(guó)民的普通話水平，通過(guò)不斷的改進(jìn)和完善提高PSC的信度與效度始終是保證測(cè)試公平、公正的前提。

［1］張凱.語(yǔ)言測(cè)試?yán)碚摷皾h語(yǔ)測(cè)試研究［M］.北京：商務(wù)印書(shū)館，2006.

H102

A

1673－1395（2011）12－0077－03

2011 10 29

李海宏（1976—），女，山東濰坊人，講師，碩士，主要從事播音主持專業(yè)教育研究。

① 本文屬浙江傳媒學(xué)院科研項(xiàng)目（KYKT0704423）產(chǎn)出論文。

責(zé)任編輯 胡號(hào)寰 E－mail：huhaohuan2＠126.com