中國(guó)大學(xué)評(píng)價(jià)體系相關(guān)性和穩(wěn)定性的統(tǒng)計(jì)學(xué)檢驗(yàn)

李興國(guó)，趙曉冬

（燕山大學(xué)a.經(jīng)濟(jì)管理學(xué)院；b.高等教育發(fā)展研究中心，河北 秦皇島 066004）

0 引言

大學(xué)排名作為高等教育發(fā)展過程中的一種全球性現(xiàn)象，近年來(lái)引起了人們的廣泛關(guān)注。自1987年《科技日?qǐng)?bào)》刊載了由中國(guó)管理科學(xué)研究院對(duì)國(guó)內(nèi)87所重點(diǎn)大學(xué)的排名后，對(duì)我國(guó)大學(xué)排行的研究開始興起。此后20年間，先后有20余家機(jī)構(gòu)發(fā)布了近百個(gè)大學(xué)排行榜[1]。當(dāng)前國(guó)內(nèi)影響力較大的大學(xué)排行榜主要有三個(gè)：武書連大學(xué)評(píng)價(jià)課題組發(fā)布的《中國(guó)大學(xué)綜合評(píng)價(jià)》（簡(jiǎn)稱“武書連榜”）、中國(guó)校友會(huì)網(wǎng)發(fā)布的《中國(guó)大學(xué)學(xué)科專業(yè)評(píng)價(jià)報(bào)告》（簡(jiǎn)稱“校友會(huì)榜”）、武漢大學(xué)中國(guó)科學(xué)評(píng)價(jià)研究中心邱均平課題組發(fā)布的《中國(guó)大學(xué)競(jìng)爭(zhēng)力排行榜》（簡(jiǎn)稱“邱均平榜”）。這三個(gè)大學(xué)排行榜的排名結(jié)果之間是否具有一定的相關(guān)性，三大排行榜歷年排名數(shù)據(jù)的穩(wěn)定性如何？這是本文所要研究的問題。

1 中國(guó)大學(xué)評(píng)價(jià)體系簡(jiǎn)介

武書連榜是由廣東管理科學(xué)研究院發(fā)布的，該課題組從1993年成立至今共發(fā)布25個(gè)大學(xué)排行榜。自1997年開始，該課題組在《科學(xué)學(xué)與科學(xué)技術(shù)管理》雜志按年度發(fā)表《中國(guó)大學(xué)評(píng)價(jià)》，并于2010年4月首次將排行榜評(píng)價(jià)指標(biāo)體系公開發(fā)表。中國(guó)校友會(huì)網(wǎng)大學(xué)研究團(tuán)隊(duì)自2003年起至今已連續(xù)15年開展中國(guó)大學(xué)評(píng)價(jià)研究，每年發(fā)布《中國(guó)大學(xué)評(píng)價(jià)研究報(bào)告》，是國(guó)內(nèi)唯一以校友、質(zhì)量、影響為主題特色的中國(guó)大學(xué)排行榜。武漢大學(xué)中國(guó)科學(xué)評(píng)價(jià)研究中心2004年首次發(fā)布中國(guó)大學(xué)競(jìng)爭(zhēng)力排行榜一直延續(xù)至今，影響力日益增強(qiáng)[2]。國(guó)內(nèi)三個(gè)大學(xué)排行榜指標(biāo)構(gòu)成如表1所示。

2 研究方法

2.1 Pearson相關(guān)檢驗(yàn)

相關(guān)關(guān)系是不完全確定的隨機(jī)關(guān)系，連續(xù)變量之間的相關(guān)系數(shù)常用Pearson相關(guān)系數(shù)來(lái)測(cè)定，兩個(gè)連續(xù)變量X和Y之間Pearson相關(guān)系數(shù)的計(jì)算公式為：

r的取值在-1和1之間，r值與變量相關(guān)程度之間的關(guān)系如表2所示。

表2 |r|的取值與相關(guān)程度

2.2 Kendall秩檢驗(yàn)

Kendall秩相關(guān)系數(shù)是利用變量的秩進(jìn)行變量之間的一致性趨勢(shì)檢驗(yàn)。假設(shè)有容量為n的由x和y兩個(gè)變量構(gòu)成的隨機(jī)樣本，首先計(jì)算每個(gè)觀測(cè)變量關(guān)于變量x和y的秩變量u和v，將n個(gè)觀測(cè)變量按變量x升序排列。則n個(gè)觀測(cè)關(guān)于變量x和y的秩為[3]：x的秩變量u：1,2，…，n；y的秩變量v：v1，v2，…，vn。

設(shè)在v1的后面有R1個(gè)秩大于v1，在v2的后面有R2個(gè)秩大于v2，…，在vn-1后面有Rn-1個(gè)秩大于vn-1，令：R=R1+R2+…+Rn-1，顯然，變量x和y相關(guān)性越強(qiáng)，則R越大。

Kendall秩相關(guān)系數(shù)的計(jì)算公式如下：

Kendall秩相關(guān)系數(shù)的絕對(duì)值不超過1。

2.3 Wilcoxon符號(hào)秩檢驗(yàn)

定序變量配對(duì)樣本間的相關(guān)性常用Wilcoxon符號(hào)秩檢驗(yàn)，Wilcoxon檢驗(yàn)利用兩個(gè)配對(duì)組的數(shù)值之差進(jìn)行檢驗(yàn)。求出數(shù)值差之后，按照絕對(duì)值由小到大對(duì)這些差值排序。計(jì)算最小的秩和，記為T。如果樣本配對(duì)數(shù)目n≤15，則直接將T值與查表得到的臨界值比較[3]。如果n＞15，則T值近似服從正態(tài)分布，可以用z分?jǐn)?shù)作為檢驗(yàn)統(tǒng)計(jì)量。檢驗(yàn)統(tǒng)計(jì)量為：為配對(duì)數(shù)目，T為正值差的秩或負(fù)值差的秩中的較小者[3]。

2.4 Friedman檢驗(yàn)

Friedman檢驗(yàn)是M.Friedman于1937年提出的，它是隨機(jī)化區(qū)組設(shè)計(jì)的非參數(shù)替代技術(shù)。隨機(jī)化區(qū)組設(shè)計(jì)的假定與其他ANOVA分析的假定一樣，即觀察值是從正態(tài)總體中隨機(jī)抽取的。如果不滿足這個(gè)假定，或研究對(duì)象是排序數(shù)據(jù)，則應(yīng)采用Friedman檢驗(yàn)。Friedman檢驗(yàn)有三個(gè)基本假定：一是區(qū)組相互獨(dú)立；二是區(qū)組與處理之間沒有交互效應(yīng)；三是各區(qū)組內(nèi)的觀察值可以進(jìn)行排序[4]。

待檢驗(yàn)的假設(shè)如下：H0為處理總體相同；H1為至少有一個(gè)處理總體不同。

進(jìn)行Friedman檢驗(yàn)時(shí)，首先把原始數(shù)據(jù)轉(zhuǎn)換為排名。Friedman檢驗(yàn)是在每個(gè)區(qū)組內(nèi)分別從1到c進(jìn)行排序。每個(gè)區(qū)組都有c個(gè)排名，其中c是處理水平數(shù)。利用這些排名，F(xiàn)riedman檢驗(yàn)可以判斷不同的處理水平（列）是否來(lái)自同一個(gè)總體。Friedman檢驗(yàn)所用的檢驗(yàn)統(tǒng)計(jì)量見公式（1），該統(tǒng)計(jì)量近似服從卡方分布，如果c＞4，或c=3且b＞9，或c=4且b＞4，則自由度為df=c-1。

Friedman檢驗(yàn)的統(tǒng)計(jì)量為：

其中，c為處理水平（列數(shù)），b為區(qū)組（行）數(shù)，j為特定處理水平，≈χ2，df=c-1，Rj為特定處理水平（列）的秩和。

3 實(shí)證分析

本文選取2010—2017年38所“985工程”高校（不含國(guó)防科技大學(xué)）在武書連榜、校友會(huì)榜和邱均平榜中的排名數(shù)據(jù)[5-7]，對(duì)三個(gè)中國(guó)大學(xué)排行榜的數(shù)據(jù)進(jìn)行相關(guān)性和穩(wěn)定性檢驗(yàn)。

3.1 大學(xué)排行榜自身穩(wěn)定性檢驗(yàn)

分別計(jì)算38所“985工程”高校在三個(gè)大學(xué)排行榜中2017年的排名與之前七年排名的Pearson相關(guān)系數(shù)，結(jié)果如表3所示。可見，三個(gè)大學(xué)排行榜2017年排名與前七年排名數(shù)據(jù)具有較強(qiáng)的相關(guān)性，相關(guān)系數(shù)的均值都在0.8以上，屬于高度相關(guān)，且顯著性檢驗(yàn)的P值均近似為零，在0.01的水平上顯著相關(guān)，這表明三個(gè)排行榜歷年排名數(shù)據(jù)具有較高的穩(wěn)定性。其中，武書連榜的相關(guān)系數(shù)均值最高，為0.8974；其次為邱均平榜，相關(guān)系數(shù)均值為0.8587；校友會(huì)榜相關(guān)系數(shù)的均值相對(duì)最低，為0.8199。

表3 國(guó)內(nèi)三個(gè)大學(xué)排行榜數(shù)據(jù)的相關(guān)性檢驗(yàn)

根據(jù)三個(gè)大學(xué)排行榜近八年排名數(shù)據(jù)之間的相關(guān)系數(shù)值，繪制出三個(gè)排行榜2017年數(shù)據(jù)與2010—2016年數(shù)據(jù)的相關(guān)趨勢(shì)圖，如圖1所示?？梢?，歷年來(lái)武書連榜的相關(guān)系數(shù)值最高，每年均在0.85以上，且呈現(xiàn)出逐年上升的趨勢(shì)。邱均平榜歷年來(lái)的相關(guān)系數(shù)值變化幅度最大，尤其是2013年相關(guān)系數(shù)驟降，2014年又大幅回升，之后逐年上升；校友會(huì)榜歷年的相關(guān)系數(shù)基本上在0.8～0.85之間。值得注意的是，校友會(huì)榜相關(guān)系數(shù)的變化趨勢(shì)曲線與武書連榜高度一致，而多數(shù)年份邱均平榜相關(guān)系數(shù)的變化趨勢(shì)與其他兩個(gè)排行榜則相反?？傮w上，三個(gè)排行榜近八年排名數(shù)據(jù)的相關(guān)系數(shù)均呈現(xiàn)逐年上升的趨勢(shì)。

圖1 三個(gè)中國(guó)大學(xué)排行榜2017年數(shù)據(jù)與2010—2016年數(shù)據(jù)的相關(guān)趨勢(shì)圖

3.2 三個(gè)排行榜之間的相關(guān)性檢驗(yàn)

為了檢驗(yàn)三個(gè)大學(xué)排行榜彼此排名數(shù)據(jù)之間的相關(guān)性和一致性，首先計(jì)算“武書連榜-校友會(huì)榜（W-X）”、“武書連榜-邱均平榜（W-Q）”、“校友會(huì)榜-邱均平榜（X-Q）”2010）—2017年間各年排名數(shù)據(jù)的Pearson系數(shù)和Kendell系數(shù)值，結(jié)果見下頁(yè)表4。可見，三個(gè)大學(xué)排行榜之間的數(shù)據(jù)呈現(xiàn)出較高的相關(guān)性，且在0.01的水平上顯著相關(guān)。其中，校友會(huì)榜和邱均平榜排名數(shù)據(jù)之間的相關(guān)性最強(qiáng)，相關(guān)系數(shù)的均值高達(dá)0.95，為極高相關(guān)；其次為校友會(huì)榜和武書連榜之間的相關(guān)系數(shù)，也高達(dá)0.89；武書連榜和邱均平榜之間的相關(guān)系數(shù)相對(duì)而言最低，但也達(dá)到了0.85，屬于高度相關(guān)。

其次，根據(jù)下頁(yè)表4中的Pearson相關(guān)系數(shù)，繪制出三個(gè)大學(xué)排行榜2010—2017年排名數(shù)據(jù)彼此之間相關(guān)性趨勢(shì)圖，如圖2所示。由圖2可知，“校友會(huì)榜-邱均平榜（X-Q）”和“武書連榜-邱均平榜（W-Q）”呈現(xiàn)出高度一致的變化趨勢(shì)：2012年前相關(guān)性趨強(qiáng)，2013年相關(guān)性驟降，2014年降至谷底后反彈，2015年后相關(guān)性又逐年趨強(qiáng)?！拔鋾B榜-校友會(huì)榜（W-X）”的相關(guān)性則始終保持平穩(wěn)增長(zhǎng)的趨勢(shì)。從相關(guān)系數(shù)的振幅看，“W-X”之間的振幅最小，“X-Q”之間的振幅居中，“W-Q”之間的振幅最大。

表4 國(guó)內(nèi)三個(gè)大學(xué)排行榜之間數(shù)據(jù)的相關(guān)性與一致性檢驗(yàn)

圖2 2010—2017年三個(gè)中國(guó)大學(xué)排行榜排名數(shù)據(jù)相關(guān)性趨勢(shì)圖

最后，根據(jù)表4中不同排行榜歷年來(lái)的Kendell一致性系數(shù)，繪制出三個(gè)大學(xué)排行榜2010—2017年數(shù)據(jù)彼此之間一致性趨勢(shì)圖，如圖3所示?！靶Ｓ褧?huì)榜-邱均平榜（X-Q）”和“武書連榜-校友會(huì)榜（W-X）”的一致性趨勢(shì)圖形狀高度吻合，“武書連榜-邱均平榜（W-Q）”的一致性曲線圖呈現(xiàn)出不同于另外兩條曲線的特征。三條曲線在2013年的一致性系數(shù)最為接近，之后則差異越來(lái)越大。

圖3 2010—2017年三個(gè)中國(guó)大學(xué)排行榜排名數(shù)據(jù)一致性趨勢(shì)圖

3.3 三個(gè)排行榜之間的穩(wěn)定性檢驗(yàn)

首先，應(yīng)用Wilcoxon符號(hào)秩檢驗(yàn)方法，對(duì)三個(gè)大學(xué)排行榜數(shù)據(jù)進(jìn)行兩兩之間的差異性檢驗(yàn)，結(jié)果如表5所示。檢驗(yàn)的P值均大于0.05，沒有充分證據(jù)表明三個(gè)大學(xué)排行榜數(shù)據(jù)之間存在顯著差異，即三個(gè)大學(xué)排行榜的排名數(shù)據(jù)具有較高的一致性。

然后，分別對(duì)三個(gè)不同大學(xué)排行榜八年的數(shù)據(jù)做Friedman檢驗(yàn)，結(jié)果如表6所示。武書連榜的P值高達(dá)0.981，邱均平榜的P值為0.607，校友會(huì)榜的P值最低，為0.037。P值越高，表明歷年大學(xué)排名數(shù)據(jù)變動(dòng)越小，即排行榜的穩(wěn)定性越強(qiáng)?？梢姡鋾B榜的穩(wěn)定性最強(qiáng)（數(shù)據(jù)具有較強(qiáng)的粘性），其次為邱均平榜，再次為校友會(huì)榜。

表5 國(guó)內(nèi)三個(gè)大學(xué)排行榜之間數(shù)據(jù)的差異性檢驗(yàn)

表6 國(guó)內(nèi)三個(gè)大學(xué)排行榜數(shù)據(jù)的Friedman檢驗(yàn)

4 結(jié)論

（1）武書連、校友會(huì)和邱均平三個(gè)中國(guó)大學(xué)排行榜數(shù)據(jù)自身具有較強(qiáng)的穩(wěn)定性。T年的大學(xué)排名數(shù)據(jù)與T-1年數(shù)據(jù)的相關(guān)性最強(qiáng)，與T-2年數(shù)據(jù)的相關(guān)性次之。依次類推，隨著時(shí)間的前移，排名數(shù)據(jù)之間的相關(guān)性越來(lái)越弱。應(yīng)當(dāng)說(shuō)這種數(shù)據(jù)特征符合客觀事物的發(fā)展規(guī)律，是中國(guó)大學(xué)評(píng)價(jià)體系科學(xué)性的體現(xiàn)之一。

（2）三個(gè)中國(guó)大學(xué)排行榜排名數(shù)據(jù)在0.01的水平上顯著相關(guān)，兩兩之間數(shù)據(jù)的相關(guān)系數(shù)高達(dá)0.85以上。其中，“校友會(huì)榜-邱均平榜”之間的相關(guān)性最高，“武書連榜-校友會(huì)榜”之間的相關(guān)性次之，“武書連榜-邱均平榜”之間的相關(guān)性相對(duì)而言最低。

（3）三個(gè)中國(guó)大學(xué)排行榜排名數(shù)據(jù)均具有較高的穩(wěn)定性。其中，武書連榜的穩(wěn)定性最強(qiáng)，其次為邱均平榜，再次為校友會(huì)榜。且沒有充分證據(jù)表明三個(gè)大學(xué)排行榜之間存在顯著差異，即三個(gè)大學(xué)排行榜的排名數(shù)據(jù)具有較高的一致性。