國家出版專業(yè)職業(yè)資格考試效度研究

孔祥+孫瑞雪

全國出版專業(yè)職業(yè)資格考試自2002年首次開考以來，至今已成功舉辦了十二次，報名人數逐年增加，截至目前，全國已有近20萬人報名參加考試，出版專業(yè)職業(yè)資格考試已成為全國出版行業(yè)一種重要的人才選拔方式?？紫?孫瑞雪

2001年，人事部、新聞出版總署決定建立出版專業(yè)技術人員職業(yè)資格制度，2002年開始在全國進行第一次出版考試。出版專業(yè)職業(yè)資格考試（以下簡稱“出版考試”）由新聞出版總署委托中國新聞出版研究院組織國內出版界的頂尖專家開發(fā)研制，主要結合出版工作的實際需要，測查應試者從事出版工作的綜合能力?？荚嚪譃槌跫壓椭屑墐蓚€級別，每個級別有《出版專業(yè)基礎知識》和《出版專業(yè)理論與實務》兩個科目。在出版專業(yè)職業(yè)資格考試的開發(fā)過程中，一直堅持運用現代考試理論和方法對命題、審題、閱卷等各個考試環(huán)節(jié)進行監(jiān)測。

效度是考試質量最重要的指標，效度研究是一個關于考試有效性資料積累的過程，對于出版考試這樣一個國家級考試，效度究竟如何，需要效度證據來進行說明。本項研究以2012年出版考試初級和中級試卷為研究對象，從考生的學歷、性別、專業(yè)背景、年齡與成績的相關、考試誠信情況、出版單位調查等幾個方面對出版考試進行了初步的效度分析。根據人力資源和社會保障部人事考試中心制定的試卷質量標準，從表1可以看出，本次研究所采用的試卷難度適中，區(qū)分度等級為優(yōu)。

表1 2012年出版考試初級和中級試卷各項參數

一、考試成績與學歷的相關

為了考察出版考試的有效性，本研究計算了考生成績與學歷之間的相關。雖然學歷并不能完全反映一個人的真實能力，但是，就數量較大的一組人來說，學歷應該與能力具有正相關的關系。統(tǒng)計結果顯示，出版基礎知識（以下簡稱基礎）和出版理論與實務（以下簡稱實務）科目測驗總分都與學歷在0.01的水平上具有顯著的正相關，即學歷越高成績也越高。初級基礎與學歷的相關是0.446，初級實務與學歷的相關是0.372，中級基礎與學歷的相關是0.401，中級實務與學歷的相關是0.426。這一結果，為出版考試的效度提供了很好的證據。

表2 考試成績與學歷的相關（N=3000）

注：帶**者達到0.01的顯著性水平。

二、考生樣本與成績之間的相關

1.考生性別與成績之間的相關

2012年出版考試的考生中，初級男性考生832人，女性2537人，中級男性考生2823人，女性6106人。因男女人數相差較大，所以本研究對兩個級別女性考生的數據進行了多次隨機抽樣，最終抽取初級女性考生832人、中級女性考生2823人。對男性女性考試成績的基本分析結果見表3。

表3 男女考生成績對比

由表3可以看出，無論在初級還是中級考試中，女性考生在基礎和實務兩個科目上的平均分都比男性考生高5分以上，最高分一般也比男性考生高。除了這種直觀分析以外，本研究對男性和女性初中級兩個科目的成績分別作了獨立樣本T檢驗，以分析男性和女性考生的成績是否具有統(tǒng)計學意義上的顯著差異。分析結果見表4。

表4 男性和女性考生成績獨立樣本T檢驗結果

由表4可以看出，男性考生和女性考生在初中級基礎和實務兩個科目上的成績在0.01水平上具有顯著差異，即女性考生成績要顯著高于男性考生。

2.考生專業(yè)背景與成績之間的相關

本研究為了分析考生的專業(yè)背景與成就之間的相關，對初中級兩個科目的成績分別作了獨立樣本T檢驗，以分析不同專業(yè)背景的考生成績是否具有統(tǒng)計學意義上的顯著差異。顯著性概率臨界值設定為0.05。分析結果見表5。

表5 不同專業(yè)背景的考生成績獨立樣本T檢驗結果

由表5可以看出，在初中級基礎知識和理論與實務兩個科目的考試中，出版或相關專業(yè)考生成績與其他專業(yè)背景的考生成績之間存在顯著性差異，其中初級出版或相關專業(yè)考生成績平均分要高于其他專業(yè)考生，而在中級考試中，出版或相關專業(yè)考生成績平均分低于其他專業(yè)考生。

3.考生年齡與成績之間的相關

表6 成績和年齡的相關分析

注：**表示在0.01 alpha 水平上顯著相關 （雙尾）。

由表6可以看出，考生成績與年齡呈負相關，即年齡越大成績越低，但由于相關系數不是很高，應該是隨著年齡的增加，在某一個年齡段成績達到最高點，隨后開始隨著年齡的增加成績下降，表7也可以印證這一結論。

表7 2004-2012年總分前十名平均年齡

三、考試誠信情況

如果有作弊，無法保證考試的公平公正，對試卷質量的分析也會存在較大誤差。本研究采用美國教育考試服務中心（ETS）開發(fā)的K指數方法，對考試結束后的數據進行了答卷雷同分析檢測。經過對2004-2012年這9年考試數據的分析，未檢測出雷同答卷，說明出版考試考生素質較高，有效保證了考試的信度和效度。

四、出版單位調查

為了更好地分析出版考試的效度，本研究對考試的使用單位進行了調查。通過將某出版集團內部組織的編校知識競賽的成績與考生參加的出版考試成績進行相關分析，得到表8結果。

表8 編校知識大賽成績與資格考試成績的相關分析

注：*表示在0.05 alpha 水平上顯著相關 （雙尾）。

從表8可以看出，兩個考試的成績在0.05顯著性水平上相關，而且出版考試成績與平時部門領導所了解的情況基本吻合。本研究又隨機抽取了部分出版社進行調查，調查結果也驗證了出版考試在出版行業(yè)人才選拔上的權威性和有效性。

通過對出版考試考生學歷、性別、專業(yè)背景、年齡與成績的相關，考試誠信情況、出版單位調查等幾個方面的分析，所有結果都顯示，出版專業(yè)資格考試具有很好的考試評價指標，可以真實準確地反映出受測者的出版業(yè)務水平，考試本身體現出了出版工作的實際需要和綜合能力導向。

[作者單位：孔祥 北京語言大學語言科學院考試安全研究中心;孫瑞雪 人民教育出版社?；痦椖浚罕本┱Z言大學院級科研項目（中央高?；究蒲袠I(yè)務專項資金資助）“雷同答卷甄別中的顯著性水平alpha設定和甄別方法應用標準研究”（14YJ150005）]