基于譜聚類的網(wǎng)上閱卷質(zhì)量控制研究

摘 要：在網(wǎng)上評(píng)分過程中，存在著評(píng)分員給分偏高、偏低和趨中等問題。對(duì)于評(píng)分員的評(píng)分結(jié)果，可從用平均分、標(biāo)準(zhǔn)差、離差、閱卷量、問題卷等維度進(jìn)行評(píng)價(jià)。給出了評(píng)分員的評(píng)分測(cè)量對(duì)象、距離和相似度的定義。結(jié)合評(píng)分員的評(píng)分結(jié)果度量維度參數(shù)，利用譜聚類算法可以有效地檢測(cè)出評(píng)分員在主觀評(píng)分過程中存在的一些問題。以維吾爾語水平測(cè)試中口試的評(píng)分結(jié)果，進(jìn)行了網(wǎng)上閱卷質(zhì)量檢測(cè)的研究。實(shí)驗(yàn)表明，檢測(cè)方法有效。

關(guān)鍵詞：網(wǎng)上閱卷；閱卷質(zhì)量控制；譜聚類

中圖分類號(hào)：TP301.6 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2163（2014）05-

Research on Quality Control of Online Marking based on Spectral Clustering

JIA Zhixian

（Network and Experimental Teaching Center， Xinjiang University of Finance and Economics， Urumqi 830012， China）

Abstract：In the online marking process， there are some problems that the scores given by exam markers may be too high， too low， or too trending to the central， overall. For these marking results， the researchers can evaluate it from some dimensions as average， standard deviation， deviation， quantity of marking and quantity of error marking. This article has given the definition of the marking measurement object， the distance and the similarity of that. Using the spectral clustering algorithm， the paper can effectively estimate some problems existing in marking of subjective. According to the marking results of oral examination in Uyghur proficiency test， the paper also has done some research on quality control of online marking. The experimental results show that the method is effective.

Key words：Online Marking； Quality Control of Online Marking； Spectral Clustering

0 引 言

主觀題的評(píng)分依賴于評(píng)分員的主觀判斷，容易受到評(píng)分員的知識(shí)水平、綜合能力、愛好、情緒、疲勞等主觀因素的影響。不同評(píng)分員之間存在著主觀差異，同一個(gè)評(píng)分員在不同的時(shí)間也具有主觀不穩(wěn)定性。這將導(dǎo)致評(píng)分員自身信度（intra-judge reliability）和評(píng)分員之間信度（inter-judge reliability）的降低，從而降低評(píng)分結(jié)果的信度[1]。

在評(píng)分的準(zhǔn)確性（Accuracy/Inaccuracy）、嚴(yán)厲度（Harshness/Leniency）和集中度（Centrality/Extremism）等三個(gè)方面，評(píng)分員自身在多次評(píng)分時(shí)難以保持一致，不同評(píng)分員對(duì)于相同被試的評(píng)分也難以相同[1]。評(píng)分員在評(píng)分過程中存在的主要問題有：1）給分偏高；2）給分偏低；3）給分趨中，呈現(xiàn)“趨中評(píng)分”現(xiàn)象[2]，即評(píng)分員較少給高分、低分，分?jǐn)?shù)集中在中間段。在大多數(shù)考試的主觀題評(píng)分中，普遍存在著這種現(xiàn)象。

在評(píng)卷過程中，有效地檢測(cè)出評(píng)分員網(wǎng)上閱卷的質(zhì)量問題，對(duì)于改進(jìn)評(píng)分員的評(píng)卷水平，消除各個(gè)方面的因素作用于評(píng)分結(jié)果的影響，并且提高評(píng)分結(jié)果的信度，均有著難以估量的重要意義。

在維吾爾語水平測(cè)試口試網(wǎng)上閱卷過程中，利用譜聚類算法，可以有效地求解主觀評(píng)分中存在的一些問題。下面即展開具體論述與分析。

1 評(píng)分員的評(píng)分結(jié)果評(píng)價(jià)維度

評(píng)分員給分偏高、偏低或趨中，在一定程度上與人格特質(zhì)、思維風(fēng)格以及思維定勢(shì)等都有關(guān)系[3]。

設(shè)被試S的真分?jǐn)?shù)為T。對(duì)于被試S，評(píng)分員X給出的分?jǐn)?shù)為x，評(píng)分員Y給出的分?jǐn)?shù)為y。分?jǐn)?shù)x、y和T之間的關(guān)系可能有：1）T≤x

對(duì)于被試S，評(píng)分員X和Y理想的評(píng)分結(jié)果是T=x=y。實(shí)際上，被試S的真分?jǐn)?shù)T是未知的，評(píng)分員的閱卷水平之間存在著一定的差異，評(píng)分過程中存在的問題是難以確定的。

可以從下面幾個(gè)不同的維度，對(duì)評(píng)分員的閱卷水平進(jìn)行度量[3-5]。具體表述為：

1）離差（deviation） 指一個(gè)觀測(cè)值或測(cè)驗(yàn)分?jǐn)?shù)與特定的參照點(diǎn)（如平均數(shù)、中數(shù)等）之間的差距。一個(gè)評(píng)分員評(píng)分分值的正離差值偏大，說明該評(píng)分員對(duì)評(píng)分標(biāo)準(zhǔn)的把握可能過寬。反之，一個(gè)評(píng)分員評(píng)分分值的負(fù)離差值偏大，則說明該評(píng)分員對(duì)評(píng)分標(biāo)準(zhǔn)的把握可能過嚴(yán)。

2）平均分 依據(jù)平均分可以從整體上估計(jì)評(píng)分員評(píng)分的寬嚴(yán)程度。

3）標(biāo)準(zhǔn)差（或方差） 評(píng)分員評(píng)分的標(biāo)準(zhǔn)差（或方差）偏小，有可能出現(xiàn)“趨中評(píng)分”現(xiàn)象。評(píng)分員評(píng)分的標(biāo)準(zhǔn)差（或方差）過大，其評(píng)分結(jié)果可能不夠穩(wěn)定。

4）峰度 可以用峰度（Kurtosis）來衡量數(shù)據(jù)在中心聚集的程度[2]。利用峰度值，即可確定評(píng)分員的“趨中評(píng)分”情況。

5）評(píng)分速度 評(píng)分員的評(píng)分速度過快，超出了正常值范圍，就有可能出現(xiàn)“趨中評(píng)分”現(xiàn)象。

以上每一個(gè)維度，都很難真實(shí)地反映出評(píng)分員的評(píng)卷水平，為此需要從多個(gè)維度來綜合評(píng)價(jià)一個(gè)評(píng)分員的評(píng)卷水平。例如，對(duì)于同一個(gè)被試，如果兩個(gè)評(píng)分員在評(píng)分上出現(xiàn)了離差，則其中一個(gè)評(píng)分員為正離差，另一個(gè)評(píng)分員為負(fù)離差。評(píng)分的結(jié)果可能是其中一個(gè)評(píng)分員偏離了被試的得分真值，也可能是兩個(gè)評(píng)分員都偏離了被試的得分真值。因此，不能完全根據(jù)離差來判別一個(gè)評(píng)分員的評(píng)卷水平。

基于此，將引入評(píng)分員的評(píng)分測(cè)量對(duì)象的概念，并利用譜聚類算法對(duì)評(píng)分測(cè)量對(duì)象進(jìn)行聚類分析，從而區(qū)分出存在給分偏高、偏低和趨中等問題的評(píng)分員。

2 評(píng)分員的評(píng)分測(cè)量對(duì)象

定義1：評(píng)分員的評(píng)分測(cè)量對(duì)象a為一個(gè)l維數(shù)組：

a=（a1，a2，a3，…，al）

其中，l為評(píng)分員的評(píng)分結(jié)果評(píng)價(jià)維度的個(gè)數(shù)，ai為評(píng)分結(jié)果中第i個(gè)評(píng)價(jià)維度的值[6]。

定義2：評(píng)分員的評(píng)分測(cè)量對(duì)象x和y之間的距離d為：

（1）

其中，系數(shù) 。

定義3：評(píng)分員的評(píng)分測(cè)量對(duì)象x和y之間的相似度（similarity） s為：

（2）

其中， 為高斯核函數(shù)[14]， 為高斯核參數(shù)。一般情況下， 。

3 譜聚類

聚類是把含有n個(gè)對(duì)象的集合劃分成k個(gè)不相交的部分，稱之為聚類塊或聚類簇。即給定一個(gè)數(shù)據(jù)集X={x1，x2，…，xn}，將其劃分為k個(gè)子集類C1，C2，…，Ck， ，且滿足條件[8]：

（3）

與傳統(tǒng)的聚類算法相比，譜聚類能夠在任意形狀的樣本空間上實(shí)現(xiàn)聚類，并且均可收斂于全局最優(yōu)解[9-10]。

3.1 譜聚類算法

譜聚類算法有許多不同的實(shí)現(xiàn)算法[10-12]，算法描述為：

給定一個(gè)數(shù)據(jù)集X={x1，x2，…，xn}， 。根據(jù)數(shù)據(jù)集X建立加權(quán)圖G=（V，E）。其中V={vi，i=1，2，…，n}是頂點(diǎn)的集合，E={eij}是連接頂點(diǎn)（vi， vj）的邊。圖中每一個(gè)節(jié)點(diǎn)vi與數(shù)據(jù)集X中的xi相關(guān)。采用一個(gè)相似度準(zhǔn)則構(gòu)造圖G的頂點(diǎn)之間的相似度矩陣（similarity matrix）W， 。其實(shí)現(xiàn)的主要步驟為：

步驟1 根據(jù)式（2）中的相似度定義，建立數(shù)據(jù)集X={x1，x2，…，xn}， 的相似度矩陣W；

步驟2 計(jì)算拉普拉斯矩陣L的特征值和特征向量，并選擇前k個(gè)特征向量u1，u2，…，uk；

步驟3 對(duì)特征向量u1，u2，…，uk，應(yīng)用k均值聚類算法進(jìn)行聚類；

步驟4 根據(jù)xi和特征向量之間的對(duì)應(yīng)關(guān)系，確定數(shù)據(jù)集X的聚類結(jié)果。

在譜聚類算法中，為了使特征值大于等于0，需對(duì)相似度矩陣進(jìn)行拉普拉斯變換，由此而使得拉普拉斯矩陣L成為半正定的。

n階矩陣W的非規(guī)格化拉普拉斯矩陣L可由

L=D-W （4）

定義，其中D是元素為 的對(duì)角矩陣[12]。

3.2 譜聚類算法的復(fù)雜度

在譜聚類算法中，還需要計(jì)算圖G的頂點(diǎn)之間的相似度矩陣以及拉普拉斯矩陣的特征值和特征向量，并且其空間復(fù)雜度為O（n2），而時(shí)間復(fù)雜度則為O（n3）。

譜聚類算法的空間復(fù)雜度和時(shí)間復(fù)雜度均呈現(xiàn)較高量級(jí)，這是實(shí)際應(yīng)用中的一個(gè)瓶頸問題。當(dāng)數(shù)據(jù)集較大時(shí)，相應(yīng)地會(huì)出現(xiàn)內(nèi)存不足和運(yùn)行時(shí)間過長的問題。

4 譜聚類在閱卷質(zhì)量控制中的應(yīng)用

下面以維吾爾語水平測(cè)試中口試的評(píng)分結(jié)果為例，利用譜聚類算法對(duì)評(píng)分員的閱卷水平進(jìn)行聚類分析。

維吾爾語水平測(cè)試口試試題包括：朗讀題、回答問題1和回答問題2。每部分試題滿分為100分，評(píng)分等級(jí)分為5、5-、4+、4、4-、3+、3、3-、2+、2、2-、1和0，共有13個(gè)級(jí)別，每道小題由兩位評(píng)分員（隨機(jī)）進(jìn)行評(píng)分。如果兩位評(píng)分員的評(píng)分結(jié)果在兩個(gè)級(jí)差范圍內(nèi)，取其平均值作為被試的成績(jī)。如果兩位評(píng)分員的評(píng)分結(jié)果在兩個(gè)級(jí)差以上，則由第三位評(píng)分員進(jìn)行評(píng)分。在三個(gè)評(píng)分結(jié)果中，取相近的兩個(gè)評(píng)分結(jié)果的平均值作為被試的成績(jī)。

以下研究數(shù)據(jù)為2014年在新疆舉行的維吾爾語水平測(cè)試中口試的評(píng)分結(jié)果。參加這次考試的評(píng)分員共59人，主要來自高校的教師和研究生。評(píng)分員的評(píng)分參數(shù)如表1所示。

評(píng)分員的評(píng)分結(jié)果評(píng)價(jià)維度選定為8種，分別是：平均分、標(biāo)準(zhǔn)差、正離差、負(fù)離差、離差、閱卷量、問題卷和問題卷離差。

評(píng)分員的評(píng)分測(cè)量對(duì)象x和y之間的距離d為

（5）

其中，系數(shù)ki（i=1，2，...，8）分別為：1/max（：，1）、3/max（：，2）、1/max（：，3）、1/max（：，4）、1/max（：，5）、2/max（：，6）、2/max（：，7）、1/max（：，8）。max（：，i）表示第i維度的絕對(duì)值的最大值。

在式（5）中，標(biāo)準(zhǔn)差的權(quán)重最大，其次是閱卷量和問題卷的權(quán)重。

經(jīng)過仿真計(jì)算，將各位評(píng)分員的評(píng)分參數(shù)列于表1。但由于篇幅所限，在表1中略去了問題卷離差評(píng)價(jià)維度和部分評(píng)分員的評(píng)分參數(shù)。

利用譜聚類算法，對(duì)59個(gè)評(píng)分員的評(píng)分測(cè)量對(duì)象進(jìn)行聚類，聚類個(gè)數(shù)為4，聚類的結(jié)果如表2所示。

為了確定各聚類中的評(píng)分員閱卷水平的類型，計(jì)算出與表2相對(duì)應(yīng)的，各聚類中評(píng)分員的評(píng)分測(cè)量對(duì)象與其他評(píng)分員的評(píng)分測(cè)量對(duì)象之間距離的平均值和標(biāo)準(zhǔn)差，其結(jié)果如表3和表4所示。

假定在評(píng)分過程中，少數(shù)評(píng)分員存在著評(píng)卷質(zhì)量問題。在這一假定條件下，存在評(píng)卷質(zhì)量問題的評(píng)分員的評(píng)分測(cè)量對(duì)象，可將其看作評(píng)分員的評(píng)分測(cè)量對(duì)象中的孤立點(diǎn)（outlier） [13]，這些評(píng)分測(cè)量對(duì)象則遠(yuǎn)離其他評(píng)分測(cè)量對(duì)象 [14]。利用評(píng)分員的評(píng)分測(cè)量對(duì)象與其他評(píng)分員的評(píng)分測(cè)量對(duì)象之間距離的平均值和標(biāo)準(zhǔn)差，可以確定得到存在評(píng)分質(zhì)量問題的評(píng)分員的所在類。

評(píng)分員閱卷水平的譜聚類結(jié)果類型可以用四值邏輯真值[15]來表示，即t表示很穩(wěn)定，?表示穩(wěn)定，f表示不穩(wěn)定，⊥表示不確定。將其列成表格，具體如表5所示。

在聚類1中，評(píng)分員評(píng)卷結(jié)果的平均分在3到3.5之間，標(biāo)準(zhǔn)差在3.5～8之間，離差小于0.6，問題卷率小于0.1，這些評(píng)分員的評(píng)卷結(jié)果可識(shí)別為是很穩(wěn)定（t）的。

在聚類2中，評(píng)分員評(píng)卷結(jié)果的平均分在2.7～3.8之間，標(biāo)準(zhǔn)差在3～10之間，離差小于0.8，問題卷率小平0.12，這些評(píng)分員的評(píng)卷結(jié)果則識(shí)別為是穩(wěn)定（?）的。

從表4和表5可以看出，聚類3中大部分評(píng)分員的評(píng)分測(cè)量對(duì)象與其他評(píng)分員的評(píng)分測(cè)量對(duì)象之間距離的平均值和標(biāo)準(zhǔn)差較其它類大，由此可知這些評(píng)分員的評(píng)卷結(jié)果即是不穩(wěn)定（f）的。

從表1評(píng)分員評(píng)分參數(shù)表中，可以看出這些評(píng)分員的評(píng)卷問題：

N_06、 N_17 和 N_45三位評(píng)分員的評(píng)分速度快，評(píng)分結(jié)果標(biāo)準(zhǔn)差小、問題卷多，具有明顯的“趨中評(píng)分”特征。

N_23評(píng)分員的評(píng)分結(jié)果中，負(fù)離差大，平均分低，具有評(píng)分過嚴(yán)的特征。

N_39、 N_49、 N_50、 N_51、 N_54和 N_57六位評(píng)分員的評(píng)分結(jié)果的標(biāo)準(zhǔn)差偏大，評(píng)分結(jié)果不夠穩(wěn)定。

N_56 和 N_59二位評(píng)分員的問題卷較多，評(píng)分結(jié)果不穩(wěn)定。

在聚類4中，評(píng)分員評(píng)卷量較小，這些評(píng)分員的評(píng)卷結(jié)果即識(shí)別為是不確定（⊥）的。

因此，在譜聚類結(jié)果中，可以得出評(píng)分員的閱卷水平情況，具體如表6所示。

5 結(jié)束語

利用譜聚類算法，對(duì)所有評(píng)分員的評(píng)分測(cè)量對(duì)象進(jìn)行聚類后，可以對(duì)評(píng)分員的評(píng)分結(jié)果進(jìn)行分類，從而為分析評(píng)分員的評(píng)分質(zhì)量提供了一種可行的方法和手段，同時(shí)又結(jié)合評(píng)分員的評(píng)分結(jié)果度量維度參數(shù)，可以進(jìn)一步有效地檢測(cè)出主觀題評(píng)分中存在的一些問題。

參考文獻(xiàn)：

[1] 田清源.主觀評(píng)分中多面Rasch模型的應(yīng)用[J].心理學(xué)探新，2006，26（1）：70-73.

[2] 俞韞燁，謝小慶.基于多面Rasch模型的作文網(wǎng)上評(píng)分“趨中評(píng)分”判定研究[J].中國考試，2012（1）：6-13.

[3] 趙海燕，芮南.雙評(píng)作文題網(wǎng)上閱卷評(píng)卷教師評(píng)卷水平評(píng)價(jià)維度的確定[J].中國考試，2009（2）：12-17.

[4] 顧海根.心理與教育測(cè)量[M].北京：北京大學(xué)出版社，2008.

[5] 雷新勇.考試數(shù)據(jù)的統(tǒng)計(jì)分析和解釋[M].上海：華東師范大學(xué)出版社，2007.

[6]賈志先.基于聚類分析的錨測(cè)驗(yàn)等值樣本選取方法研究[J].控制工程，2012，19（6）：1015-1018.

[7]Taylor J S， Cristianini N. Kernel Methods for Pattern Analysis [M]. Cambridge University Press， Cambridge， England， 2004.

[8]史忠植.知識(shí)發(fā)現(xiàn)（第二版）[M].北京：清華大學(xué)出版社，2011.

[9]孫吉貴，劉杰，趙連宇.聚類算法研究[J].軟件學(xué)報(bào)，2008，19（1）：48-61.

[10]蔡曉妍，戴冠中，楊黎斌.譜聚類算法綜述[J].計(jì)算機(jī)科學(xué)，2008，35（7）：14-l8.

[11]D J Higham，M Kibble.A Unified View of Spectral Clustering [M]. England： Department of Mathematics， University of Strathclyde， 2004.

[12]von LUXBURG U. A tutorial on spectral clustering [J]. Statistics and Computing， 2007， （17）4：395-416.

[13]S. Theodoridis， K. Koutroumbas. Pattern Recognition， 4th edition [M]. Elsevier Publishers， 2009.

[14]賈志先.考試數(shù)據(jù)分析及孤立點(diǎn)檢測(cè)的譜聚類方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（1）：103-106.

[15]BELNAP N D. A useful four-valued logic [A].// EPSTEIN G， DUMM J， editors， Modern Uses of Multiple-Valued Logic [M]. D. Reidel Publishing Company， Boston， 1977： 8-37.