試卷結(jié)構(gòu)的多維度研究：主成分分析的視角

宋吉祥 李付鵬 杜海燕

目前大多數(shù)測驗(yàn)分析集中在試題難度、區(qū)分度以及試卷信度等方面，對(duì)試卷結(jié)構(gòu)維度的分析相對(duì)較少。實(shí)際上，無論是在試題編制階段還是分?jǐn)?shù)統(tǒng)計(jì)階段，研究者都需要對(duì)測驗(yàn)結(jié)構(gòu)的維度進(jìn)行分析。試題編制階段的測驗(yàn)結(jié)構(gòu)分析主要探討試題是否達(dá)到預(yù)定的考試目標(biāo)，避免無關(guān)維度的考查；分?jǐn)?shù)統(tǒng)計(jì)階段的測驗(yàn)結(jié)構(gòu)分析主要探討試題的實(shí)測結(jié)果是否達(dá)到預(yù)定要求。利用主成分分析（Principal Component Analysis，PCA）技術(shù)可以實(shí)現(xiàn)測驗(yàn)結(jié)構(gòu)維度的檢驗(yàn)。本研究以一份綜合了數(shù)學(xué)和英語學(xué)科的分類考試試卷的實(shí)測數(shù)據(jù)為例，借助主成分分析技術(shù)，進(jìn)行試卷結(jié)構(gòu)的維度分析，抽取出試卷考查的主要維度。

一、主成分分析的基本思想

主成分分析是一種在損失少量信息的前提下，把數(shù)據(jù)的多個(gè)指標(biāo)轉(zhuǎn)換為幾個(gè)綜合指標(biāo)的多元統(tǒng)計(jì)分析方法，核心是數(shù)據(jù)降維，降維后的綜合指標(biāo)稱為主成分，每個(gè)主成分都是眾多原始變量的線性組合，且每個(gè)主成分之間互不相關(guān)。對(duì)于試卷結(jié)構(gòu)的主成分分析而言，通過考試數(shù)據(jù)降維分析，將一份試卷的考查維度減少到幾個(gè)主要的維度。本文以試卷結(jié)構(gòu)分析為例，對(duì)主成分分析的基本思想進(jìn)行介紹。

對(duì)于給定的某個(gè)考生i 在試題j 上的得分記為xij，假設(shè)共有n 個(gè)考生參加考試，試卷共有p個(gè)試題，那么得分矩陣可記為：

對(duì)上述矩陣進(jìn)行線性變換，形成p 個(gè)新變量F1，F(xiàn)2，…，F(xiàn)p，這些新變量可視為試卷所反映的各個(gè)成分，新變量可由原始變量線性表示為：

上述變換滿足以下條件：

（1）Fi和 Fj互不相關(guān)（i≠j；i，j=1，2，…，p）；

（2）F1的方差大于 F2的方差，F(xiàn)2的方差大于F3的方差，以此類推，F(xiàn)p-1的方差大于Fp的方差；

基于以上3 個(gè)條件，得到的新變量F1，F(xiàn)2，…，F(xiàn)p分別稱之為原始變量的第一、第二……第p個(gè)主成分。主成分分析的思想就是將n 維特征映射到k 維上（k

二、實(shí)驗(yàn)設(shè)計(jì)

1.研究數(shù)據(jù)基本情況

本研究以一份綜合了數(shù)學(xué)和英語學(xué)科的分類考試試卷的考生成績作為分析對(duì)象，探討主成分分析方法是否能夠檢驗(yàn)出兩個(gè)不同的學(xué)科試卷維度。每個(gè)學(xué)科各30 道試題，均為四選一的單項(xiàng)選擇題。從考生成績總樣本中抽取了2000 個(gè)樣本。試題正確作答記1 分，錯(cuò)誤作答記0 分。

2.分析工具

本研究選擇了近年來發(fā)展較為迅速的R 語言[1]統(tǒng)計(jì)軟件包作為分析工具。由于R 語言是一種開源軟件，其中的統(tǒng)計(jì)分析工具基本上由世界各地的軟件開發(fā)人員自行以“Package”的形式發(fā)布，不同的開發(fā)人員可以開發(fā)出相同功能的多個(gè)工具，也就是說，實(shí)現(xiàn)主成分分析的R 語言軟件包非常多，這里使用了“Psych”“FactoMineR”和“Factoextra”等軟件包。

3.主成分個(gè)數(shù)確定

主成分的判斷方法比較多，最常用的是基于特征值的方法。[1]每個(gè)主成分都與相關(guān)系數(shù)矩陣的特征值相關(guān)，第一主成分與最大的特征值相關(guān)，第二主成分與第二大的特征值相關(guān)，依此類推。Kaiser-Harris 準(zhǔn)則建議保留特征值大于1 的主成分。Cattell 碎石檢驗(yàn)繪制了特征值與主成分的關(guān)系圖形，在圖形變化最大處之上的主成分都保留。平行分析則依據(jù)與初始矩陣相同大小的隨機(jī)數(shù)據(jù)矩陣來判斷要提取的特征值，若基于真實(shí)數(shù)據(jù)的某個(gè)特征值大于一組隨機(jī)數(shù)據(jù)矩陣相應(yīng)的平均特征值，則該主成分可以保留。[1]

圖1 給出了反映特征值和主成分對(duì)應(yīng)關(guān)系的碎石圖，同時(shí)圖中也給出了平行分析的結(jié)果。從圖1 可知，試卷存在兩個(gè)明顯的主成分，此外，還存在兩個(gè)特征值略大于1 的主成分。從各維度特征值和方差占比來看：前兩個(gè)成分分別解釋了22.20%和6.60%的方差，所有特征值大于1 的成分累積方差僅占41%；除了前兩個(gè)成分，其他的成分可解釋的方差幾乎相當(dāng)，只有前兩個(gè)成分與其他成分有明顯的區(qū)別。基于這一結(jié)果，同時(shí)結(jié)合碎石圖、平行分析和Kaiser-Harris 準(zhǔn)則，我們確定前兩個(gè)成分為主成分。需要指出的是，主成分分析提取主成分的方差占比一般要達(dá)到80%以上。

4.主成分分析

根據(jù)上述確定的兩個(gè)主成分，表1 和表2 分別給出了未旋轉(zhuǎn)和正交旋轉(zhuǎn)后的主成分分析數(shù)據(jù)，表1 給出了主成分方差解釋的相關(guān)數(shù)據(jù)，表2給出了主成分與因子（試題）的載荷情況。

由表1 可知，旋轉(zhuǎn)前后的兩個(gè)主成分的特征值之和沒有發(fā)生變化，兩個(gè)主成分在所有成分中的方差占比也沒有發(fā)生變化。從表2 可知：未旋轉(zhuǎn)前第一主成分PC1 與所有試題的相關(guān)均為正相關(guān)，相比于第二主成分PC2，第一主成分PC1的載荷較大；第二主成分PC2 與t31～t60 負(fù)相關(guān)，與 t61～t90 正相關(guān)。從試卷結(jié)構(gòu)可知，t31～t60 全部是數(shù)學(xué)試題，t61～t90 全部是英語試題。上述未旋轉(zhuǎn)的主成分表明，試卷存在一個(gè)較大的主成分，以及一個(gè)相對(duì)較小但不可忽視的主成分，其中第二個(gè)主成分完全把數(shù)學(xué)和英語學(xué)科的試題分成兩個(gè)部分，該主成分表現(xiàn)出明顯的學(xué)科特征。正交旋轉(zhuǎn)后，主成分RC1 與數(shù)學(xué)試題的相關(guān)度較高，主成分RC2 與數(shù)學(xué)試題的相關(guān)度較低，主成分RC2 與英語試題的相關(guān)度較高，主成分RC1 與英語試題的相關(guān)度較低，即正交旋轉(zhuǎn)后的主成分分析給出了較為明顯的兩個(gè)主成分。因此，旋轉(zhuǎn)的主成分分析把兩個(gè)學(xué)科的試題幾乎完全分離開，進(jìn)一步驗(yàn)證了未旋轉(zhuǎn)主成分分析所給出的結(jié)果，即兩個(gè)學(xué)科呈現(xiàn)出不同的維度。

圖1 碎石圖

表1 主成分描述性統(tǒng)計(jì)

由上述分析可知，對(duì)主成分進(jìn)行旋轉(zhuǎn)可以使結(jié)果更具解釋意義，其目的是去除數(shù)據(jù)中與主成分相關(guān)性較弱的其他成分。這里采用的是方差極大正交旋轉(zhuǎn)，對(duì)兩個(gè)主成分的每一列盡量只有一組有限的變量來解釋。

5.變量相關(guān)分析

圖2 變量相關(guān)圓圖顯示了變量（試題）間的關(guān)系，圖中試題坐標(biāo)與圓心的距離顯示了該試題與主成分的相關(guān)性，與相關(guān)圓的圓心距離較遠(yuǎn)的試題對(duì)主成分的貢獻(xiàn)更大一些。圖2 中，相關(guān)圓圖把試題分在了兩個(gè)不同的象限，同一學(xué)科試題分布在同一個(gè)象限，并呈對(duì)稱關(guān)系。由于同一學(xué)科試題的分布相對(duì)集中，為了不使圖中試題標(biāo)簽重疊，從而更加清晰地觀察試題在相關(guān)圓中的分布，筆者在繪圖時(shí)采用技術(shù)處理，將題目標(biāo)簽做了相對(duì)移動(dòng)，試題標(biāo)簽原位置在該試題標(biāo)簽所屬直線的另一端點(diǎn)處。圖2 顯示：英語學(xué)科的試題分布在第一象限，數(shù)學(xué)學(xué)科的試題分布在第四象限；數(shù)學(xué)t34、英語t69 與相關(guān)圓的圓心距離，相比于其他試題更遠(yuǎn)一些，因此，這兩道試題對(duì)前兩個(gè)主成分的貢獻(xiàn)更大。

表2 主成分載荷

圖2 變量相關(guān)圓圖

6.變量貢獻(xiàn)分析

主成分是從變量（試題）中提取出來的，找出對(duì)兩個(gè)主成分影響最大的變量（試題），是主成分分析最為重要的問題之一。圖3 和圖4 分別給出了對(duì)兩個(gè)主成分最具影響力的前10 個(gè)試題的直方圖：對(duì)第一個(gè)主成分影響最大的前10 個(gè)試題依次是 t34、t41、t79、t45、t72、t36、t88、t78、t33、t69，數(shù)學(xué)和英語試題各占5 題；對(duì)第二個(gè)主成分影響最大的前 10 個(gè)試題依次是 t69、t66、t65、t80、t41、t77、t34、t68、t75、t72，英語試題稍多一些。對(duì)影響兩個(gè)主成分的變量（試題）進(jìn)行對(duì)比發(fā)現(xiàn)，部分試題對(duì)兩個(gè)主成分都產(chǎn)生了較大的影響（t34、t41、t72、t69）。圖3 和圖4 中的虛線表示所有試題預(yù)期的平均貢獻(xiàn)。圖3 和圖4 分別顯示了數(shù)學(xué)t34 對(duì)第一個(gè)主成分的貢獻(xiàn)最大，英語t69 對(duì)第二個(gè)主成分的貢獻(xiàn)最大。這與圖2 相關(guān)圓圖中的分析結(jié)果具有一致性。試題對(duì)兩個(gè)主成分（如RC1 和RC2）的總貢獻(xiàn)可按照下列公式[2]計(jì)算：

其中，C1和 C2分別是變量對(duì)RC1 和 RC2 的貢獻(xiàn)，Eig1和 Eig2分別是RC1 和RC2 的特征值。按此計(jì)算，對(duì)第一個(gè)和第二個(gè)主成分總貢獻(xiàn)最大的前10 個(gè)試題依次分別是t34、t69、t41、t45、t79、t72、t80、t36、t78、t33，數(shù)學(xué)和英語試題各占5 題。試題對(duì)兩個(gè)主成分的貢獻(xiàn)如圖5 所示：對(duì)于前兩個(gè)主成分，數(shù)學(xué)t34 和英語t69 分別是數(shù)學(xué)和英語學(xué)科中貢獻(xiàn)最大的試題。

圖3 第一主成分變量貢獻(xiàn)圖

圖4 第二主成分變量貢獻(xiàn)圖

圖5 第一和第二主成分變量貢獻(xiàn)圖

為確保上述檢驗(yàn)結(jié)果的穩(wěn)定性，筆者從實(shí)驗(yàn)樣本所在的總樣本中采取無放回方式，分別抽取10 組樣本，每組樣本量均為2000，按照完全相同的方法進(jìn)行驗(yàn)證性實(shí)驗(yàn)分析，若這10 組實(shí)驗(yàn)結(jié)果與上述實(shí)驗(yàn)結(jié)果基本一致，則說明實(shí)驗(yàn)結(jié)果具有一定的穩(wěn)定性。

7.與其他方法的比較分析

試卷結(jié)構(gòu)多維度的研究方法比較多，除了主成分方法，常見的方法還包括驗(yàn)證性因素分析（CFA）[3]、探索性因素分析（EFA）[4]等。為驗(yàn)證本文所使用的主成分分析結(jié)果的有效性，筆者采用探索性因素分析對(duì)上述數(shù)據(jù)進(jìn)行實(shí)驗(yàn)?zāi)M。主成分分析和因素分析具有本質(zhì)的區(qū)別，是兩類不同的分析方法，但分析流程基本類似，都可以進(jìn)行試卷維度的因素分析。探索性因素分析是探究一組觀察變量的變異能否由少數(shù)潛在變量的線性組合來表示的分析方法，通過求解共同因素部分中的因素載荷和因素得分，來探索由這些因素組成的數(shù)據(jù)結(jié)構(gòu)。

表3 未旋轉(zhuǎn)公共因子載荷及其占比

圖6 斜交因素分析圖

表3 列出了探索性因素分析前4 個(gè)未旋轉(zhuǎn)公共因子載荷及其占比。其中，前2 個(gè)公共因子（MR1 和 MR2）的載荷明顯大于第 3 個(gè)因子（MR3）和第4 個(gè)因子（MR4）。從所有因子載荷方差占比來看，前 2 個(gè)因子（MR1 和 MR2）的累積方差占比僅為27%左右，不能解釋試卷主要的或大部分的信息。但從表3 也可以看出的是：選擇前4 個(gè)因子，累積方差占比僅為29%左右，并沒有提供更多的信息；如果選擇4 個(gè)因子，前2 個(gè)公共因子（MR1 和MR2）的累積方差占比達(dá)90%左右，而第 3 個(gè)因子（MR3）和第 4 個(gè)因子（MR4）的方差占比僅為10%左右，從測驗(yàn)結(jié)構(gòu)維度的簡單性來考慮，選擇2 個(gè)因子較為適宜。

圖6 為公共因子的探索性因素分析的斜交因素分析圖，直觀地呈現(xiàn)出兩個(gè)學(xué)科試題的分離：同一學(xué)科的試題基本上聚集在一起；數(shù)學(xué)學(xué)科的試題主要聚集于公共因子ML1，說明數(shù)學(xué)試題受公共因子ML1 的影響較大；英語學(xué)科試題主要聚集于公共因子ML2，說明英語試題受公共因子ML2 的影響較大。旋轉(zhuǎn)之后的幾個(gè)擬合度指標(biāo)如下：RMSR=0.03，TLI =0.928，RMSEA =0.025。以上擬合指標(biāo)表明試卷兩個(gè)維度的模型較好地?cái)M合了測驗(yàn)數(shù)據(jù)。

三、實(shí)驗(yàn)結(jié)論

實(shí)驗(yàn)結(jié)果表明，主成分分析可以將兩個(gè)學(xué)科的試題相互分離，從而確定試卷具有兩個(gè)主要維度。探索性因素分析與主成分分析結(jié)果具有一致性，驗(yàn)證了主成分分析方法對(duì)試卷結(jié)構(gòu)多維度分析的有效性。需要指出的是，由于數(shù)據(jù)所提取的兩個(gè)主成分占總體可解釋的方差較低，主成分難以有效反映試卷結(jié)構(gòu)的信息，說明試卷的效度需要進(jìn)一步提高。這可能對(duì)本研究的結(jié)果具有一定影響。

測驗(yàn)的多維度是客觀存在的，目前基于單維結(jié)構(gòu)的分析方法難以滿足實(shí)際需要，利用現(xiàn)有的考試測量技術(shù)進(jìn)行試卷結(jié)構(gòu)的多維度分析具有重要意義。本文利用簡單易行的主成分分析技術(shù)對(duì)一份試卷的結(jié)構(gòu)進(jìn)行多維分析，表明主成分分析是一種較為有效地分析試卷結(jié)構(gòu)多維度的方法。