賦權(quán)類非線性學(xué)術(shù)評(píng)價(jià)方法偽權(quán)重及權(quán)重失靈研究
——以TOPSIS評(píng)價(jià)方法為例

俞立平 何慶光 韓 鈺

(1.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018；2. 廣西財(cái)經(jīng)學(xué)院 信息與統(tǒng)計(jì)學(xué)院 南寧 530007；3.滄州師范學(xué)院 經(jīng)濟(jì)管理學(xué)院 滄州 061001)

0 引 言

在學(xué)術(shù)評(píng)價(jià)中多屬性評(píng)價(jià)方法得到廣泛應(yīng)用。多屬性評(píng)價(jià)方法采用指標(biāo)體系進(jìn)行評(píng)價(jià)，可以從多個(gè)視角如影響力、創(chuàng)新性、貢獻(xiàn)、績(jī)效等角度對(duì)學(xué)科、團(tuán)隊(duì)、大學(xué)、期刊等進(jìn)行評(píng)價(jià)，從而全面反映學(xué)術(shù)評(píng)價(jià)對(duì)象現(xiàn)狀與發(fā)展水平[1-4]。目前較有影響力的學(xué)術(shù)評(píng)價(jià)均采用多屬性評(píng)價(jià)方法，如教育部學(xué)科評(píng)價(jià)、北大核心期刊評(píng)價(jià)、各類大學(xué)排名等。

學(xué)術(shù)評(píng)價(jià)工作越來(lái)越得到各界的關(guān)注。目前研究的焦點(diǎn)包括破“五唯”背景下的學(xué)術(shù)評(píng)價(jià)，基于創(chuàng)新能力/質(zhì)量/實(shí)效/貢獻(xiàn)的學(xué)術(shù)評(píng)價(jià)、代表作評(píng)價(jià)等等，更多集中在評(píng)價(jià)導(dǎo)向、評(píng)價(jià)對(duì)象與評(píng)價(jià)內(nèi)容上，但是對(duì)學(xué)術(shù)評(píng)價(jià)方法卻極少關(guān)注，如果學(xué)術(shù)評(píng)價(jià)方法中的一些基本問(wèn)題不加以解決，同樣對(duì)學(xué)術(shù)評(píng)價(jià)成果會(huì)產(chǎn)生較大的影響，并且這種影響是隱藏的，必須加以重視。

多屬性評(píng)價(jià)方法大致可以分為線性評(píng)價(jià)方法與非線性評(píng)價(jià)方法兩類(見圖1)。所有的線性評(píng)價(jià)方法均涉及權(quán)重，而非線性評(píng)價(jià)方法中，僅有一部分評(píng)價(jià)方法涉及權(quán)重，如TOPSIS、VIKOR、灰色關(guān)聯(lián)等，稱為賦權(quán)類非線性評(píng)價(jià)方法；還有一些非線性評(píng)價(jià)方法不涉及權(quán)重，如主成分分析、因子分析等，稱為非賦權(quán)類非線性評(píng)價(jià)方法，當(dāng)然還有一種分析視角是將其視為等權(quán)重。至于權(quán)重確定方法，包括主觀權(quán)重、客觀權(quán)重、主客觀權(quán)重三大類。主觀賦權(quán)方法包括層次分析、專家會(huì)議法、德爾菲法等，客觀賦權(quán)方法包括熵權(quán)法、變異系數(shù)法、概率權(quán)法等，主客觀賦權(quán)法則是前兩者方法的綜合。目前多屬性評(píng)價(jià)方法已經(jīng)有幾十種，以非線性評(píng)價(jià)方法為主。

圖1 多屬性評(píng)價(jià)與權(quán)重關(guān)系

鑒于多屬性評(píng)價(jià)方法分類比較復(fù)雜，本文重點(diǎn)研究賦權(quán)類非線性評(píng)價(jià)方法的偽權(quán)重與權(quán)重失靈問(wèn)題，其他相關(guān)問(wèn)題另外進(jìn)行研究。TOPSIS評(píng)價(jià)方法是一種典型的賦權(quán)類非線性多屬性評(píng)價(jià)方法，因此本文以TOPSIS為例開展相關(guān)研究，其研究范式可推廣到其他賦權(quán)類非線性多屬性評(píng)價(jià)方法。

TOPSIS是一種影響力較廣的評(píng)價(jià)方法。TOPSIS又稱為理想解法，最早由Huang[5]提出，它在考慮專家權(quán)重的基礎(chǔ)上，兼顧評(píng)價(jià)對(duì)象到理想解與負(fù)理想解的相對(duì)距離來(lái)進(jìn)行評(píng)價(jià)，是非線性評(píng)價(jià)方法的重要代表。2021年2月17日，在中國(guó)知網(wǎng)查詢篇名、關(guān)鍵詞、摘要中包含“TOPSIS”的核心期刊論文就有4 458篇，全部期刊論文高達(dá)15 927篇，可見TOPSIS評(píng)價(jià)方法應(yīng)用的廣泛性與影響力。

TOPSIS在學(xué)術(shù)評(píng)價(jià)中也得到了廣泛的應(yīng)用，目前已經(jīng)有數(shù)百篇學(xué)術(shù)評(píng)價(jià)論文涉及TOPSIS評(píng)價(jià)。王蘿娜、李端明[6]采用加權(quán)TOPSIS評(píng)價(jià)了學(xué)術(shù)圖書的影響力。奉國(guó)和、周榕鑫等[7]采用熵權(quán)法和因子分析計(jì)算權(quán)重，然后通過(guò)加權(quán)TOPSIS對(duì)學(xué)術(shù)期刊進(jìn)行評(píng)價(jià)。張發(fā)明、庾凡等[8]在學(xué)術(shù)期刊評(píng)價(jià)中分別采用GRA和TOPSIS法進(jìn)行評(píng)價(jià)，然后采用組合評(píng)價(jià)法得到最終評(píng)價(jià)結(jié)果。熊國(guó)經(jīng)、熊玲玲等[9]首先采用因子分析法提取公共因子，然后采用熵權(quán)法修正公共因子的權(quán)重，最后采用TOPSIS法對(duì)學(xué)術(shù)期刊評(píng)價(jià)。俞立平、潘云濤等[10]則比較了TOPSIS中距離函數(shù)冪次對(duì)學(xué)術(shù)期刊評(píng)價(jià)的影響。王穎、藍(lán)云飛等[11]運(yùn)用TOPSIS分析法對(duì)中部6省科技服務(wù)業(yè)發(fā)展水平進(jìn)行評(píng)價(jià)。楊秀玉[12]運(yùn)用熵權(quán)TOPSIS對(duì)我國(guó)30個(gè)省市農(nóng)業(yè)科技創(chuàng)新能力進(jìn)行評(píng)價(jià)。

在以TOPSIS為典型代表的非線性學(xué)術(shù)評(píng)價(jià)中，偽權(quán)重問(wèn)題是其中一個(gè)重要的系統(tǒng)誤差。所謂偽權(quán)重，就是指TOPSIS評(píng)價(jià)中評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致，這里評(píng)價(jià)賦權(quán)包括主觀賦權(quán)、客觀賦權(quán)和主客觀賦權(quán)。實(shí)際權(quán)重概念由俞立平、潘云濤等[13]提出，其基本原理是將非線性評(píng)價(jià)方法的評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，然后將各指標(biāo)的回歸系數(shù)進(jìn)行歸一化處理，就得到各指標(biāo)在評(píng)價(jià)中的重要性大小即實(shí)際權(quán)重，很明顯評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重并不一致，這就是偽權(quán)重問(wèn)題，該問(wèn)題是非線性評(píng)價(jià)中的隱含問(wèn)題，無(wú)疑對(duì)評(píng)價(jià)會(huì)產(chǎn)生較大的影響。

權(quán)重失靈是非線性評(píng)價(jià)中另一重要系統(tǒng)誤差，在TOPSIS中當(dāng)然也同樣存在。所謂權(quán)重失靈，就是指當(dāng)不同評(píng)價(jià)指標(biāo)數(shù)據(jù)出現(xiàn)“同增同減”現(xiàn)象時(shí)，此時(shí)無(wú)論評(píng)價(jià)賦權(quán)組合如何變化，評(píng)價(jià)值的排序基本不變，相當(dāng)于權(quán)重在評(píng)價(jià)中沒(méi)有發(fā)揮作用。權(quán)重失靈現(xiàn)象同樣是個(gè)隱含問(wèn)題，對(duì)非線性評(píng)價(jià)的影響尚處于探索之中。

偽權(quán)重與權(quán)重失靈問(wèn)題的研究尚處于起步階段。其形成的原因，產(chǎn)生的影響，以及兩者關(guān)系有待進(jìn)一步研究。

研究偽權(quán)重與權(quán)重失靈對(duì)TOPSIS評(píng)價(jià)的影響機(jī)制具有重要意義。兩者均與權(quán)重相關(guān)，而權(quán)重在整個(gè)學(xué)術(shù)評(píng)價(jià)中具有非常重要的地位。兩者均屬于隱含問(wèn)題，而且其影響是系統(tǒng)性的，其產(chǎn)生與影響機(jī)制有待進(jìn)一步探索。對(duì)于兩者之間的關(guān)系也有待探討，比如說(shuō)偽權(quán)重的存在會(huì)增加誤差，但權(quán)重失靈一定程度上似乎會(huì)減小誤差，這是個(gè)十分有趣的問(wèn)題。相關(guān)問(wèn)題的研究不僅對(duì)于情報(bào)學(xué)與科學(xué)學(xué)方法論具有重要意義，也推進(jìn)了多元統(tǒng)計(jì)理論的研究，在實(shí)踐中，對(duì)于保障學(xué)術(shù)評(píng)價(jià)方法的科學(xué)性，加強(qiáng)學(xué)術(shù)評(píng)價(jià)質(zhì)量，提高學(xué)術(shù)評(píng)價(jià)的公平與公正。

1 理論分析與研究方法

1.1TOPSIS評(píng)價(jià)方法的原理TOPSIS計(jì)算公式為

Cij=

(1)

公式(1)中，Cij表示TOPSIS的評(píng)價(jià)值，Xij為標(biāo)準(zhǔn)化后的評(píng)價(jià)指標(biāo)，ωj表示評(píng)價(jià)指標(biāo)權(quán)重，Xj+為標(biāo)準(zhǔn)化后的指標(biāo)極大值(稱為理想解)，Xj-為標(biāo)準(zhǔn)化后的指標(biāo)極小值(稱為負(fù)理想解)，i、j分別為評(píng)價(jià)對(duì)象和評(píng)價(jià)指標(biāo)序號(hào)；n為評(píng)價(jià)指標(biāo)數(shù)量。分子表示評(píng)價(jià)對(duì)象到負(fù)理想解的距離，分母為評(píng)價(jià)對(duì)象到正負(fù)理想解的距離之和。

TOPSIS是賦權(quán)類非線性評(píng)價(jià)方法的一個(gè)代表，盡管各種賦權(quán)類非線性評(píng)價(jià)方法原理不同，但總體上存在以下共同特征：

第一，評(píng)價(jià)指標(biāo)與評(píng)價(jià)結(jié)果之間存在非線性關(guān)系，這種非線性關(guān)系的在不同評(píng)價(jià)方法中表現(xiàn)不同。

第二，評(píng)價(jià)中會(huì)用到權(quán)重，但權(quán)重與評(píng)價(jià)結(jié)果之間的關(guān)系一般也是非線性的。

第三，很難評(píng)價(jià)權(quán)重在評(píng)價(jià)中的作用，因?yàn)椴煌蔷€性評(píng)價(jià)方法對(duì)權(quán)重的利用原理不同。

1.2TOPSIS評(píng)價(jià)方法的線性轉(zhuǎn)換線性評(píng)價(jià)是傳統(tǒng)學(xué)術(shù)評(píng)價(jià)中應(yīng)用最多的方法之一，通常情況下，線性學(xué)術(shù)評(píng)價(jià)的計(jì)算公式如下：

Cij=ω1Xi1+ω2Xi2+...+ωnXin

(2)

線性評(píng)價(jià)原理簡(jiǎn)單，權(quán)重作用清晰，分析容易，克服了非線性評(píng)價(jià)深度分析的一些困難。如果能將非線性評(píng)價(jià)方法轉(zhuǎn)化為線性評(píng)價(jià)方法，這將非常有利于后續(xù)的進(jìn)一步分析。俞立平、潘云濤等[9]提出可以將非線性評(píng)價(jià)值作為因變量，評(píng)價(jià)指標(biāo)作為自變量進(jìn)行回歸，回歸系數(shù)大小就反映了各評(píng)價(jià)指標(biāo)對(duì)評(píng)價(jià)值的相對(duì)重要性，將其進(jìn)行歸一化處理就是非線性評(píng)價(jià)指標(biāo)的模擬權(quán)重，也稱為實(shí)際權(quán)重。

通過(guò)實(shí)際權(quán)重的計(jì)算，不僅將復(fù)雜的非線性評(píng)價(jià)方法轉(zhuǎn)化為相對(duì)簡(jiǎn)單的線性評(píng)價(jià)方法，有利于后續(xù)深度分析，而且也暴露了非線性評(píng)價(jià)的偽權(quán)重問(wèn)題。

1.3TOPSIS的偽權(quán)重問(wèn)題及其產(chǎn)生機(jī)制偽權(quán)重問(wèn)題是指評(píng)價(jià)賦權(quán)與實(shí)際權(quán)重不一致的現(xiàn)象。在TOPSIS評(píng)價(jià)中，其實(shí)有兩種權(quán)重，第一種權(quán)重是評(píng)價(jià)賦權(quán)，一般采用專家賦權(quán)法，當(dāng)然也可以采用其他方法賦權(quán)。另一種權(quán)重是隱含的，即將TOPSIS轉(zhuǎn)化為線性評(píng)價(jià)時(shí)的實(shí)際權(quán)重，很明顯這兩種權(quán)重不一致，這對(duì)評(píng)價(jià)賦權(quán)是一種扭曲，真正重要的指標(biāo)可能變得不重要，而不重要的指標(biāo)變得重要。所以偽權(quán)重是TOPSIS方法存在的一個(gè)重要問(wèn)題，必須引起足夠的重視。

賦權(quán)類非線性評(píng)價(jià)方法偽權(quán)重問(wèn)題產(chǎn)生的原因主要包括以下幾個(gè)方面：

第一，評(píng)價(jià)方法算法。不同非線性評(píng)價(jià)方法的算法和原理各不相同，對(duì)評(píng)價(jià)賦權(quán)的利用大小也各不相同，其特征一般難以掌握。

第二，評(píng)價(jià)指標(biāo)數(shù)據(jù)分布。在學(xué)術(shù)評(píng)價(jià)中，評(píng)價(jià)指標(biāo)數(shù)據(jù)分布往往相差較大，有的服從正態(tài)分布，有的服從冪律分布，有的服從其他分布，而這一切對(duì)實(shí)際權(quán)重計(jì)算會(huì)產(chǎn)生較大影響。

第三，模擬權(quán)重?cái)M合算法。對(duì)于非線性評(píng)價(jià)方法而言，實(shí)際權(quán)重是通過(guò)回歸擬合計(jì)算得到的，是一種模擬權(quán)重，擬合方法可采用嶺回歸或偏最小二乘法等，當(dāng)然擬合方法不同，對(duì)實(shí)際權(quán)重也會(huì)產(chǎn)生一定的影響。

綜上所述，對(duì)于TOPSIS評(píng)價(jià)方法而言，偽權(quán)重問(wèn)題是客觀存在的，可以分析計(jì)算其大小，但要消除幾乎是不可能的。

偽權(quán)重的測(cè)度可以根據(jù)實(shí)際權(quán)重與專家權(quán)重的平均偏離度來(lái)進(jìn)行測(cè)度，即每個(gè)指標(biāo)權(quán)重偏離程度的平均值表示。計(jì)算公式如下：

(3)

式(3)中，Wj為實(shí)際權(quán)重，ωj為專家權(quán)重，B為偽權(quán)重水平，該值越大，說(shuō)明偽權(quán)重問(wèn)題越嚴(yán)重。

1.4TOPSIS的權(quán)重失靈及產(chǎn)生機(jī)制前文已經(jīng)將TOPSIS轉(zhuǎn)換為線性評(píng)價(jià)，因此暫且將TOPSIS評(píng)價(jià)視為線性評(píng)價(jià)，來(lái)討論其權(quán)重失靈問(wèn)題。

對(duì)于k個(gè)評(píng)價(jià)指標(biāo)，P和Q兩個(gè)評(píng)價(jià)對(duì)象的指標(biāo)值分別為P1、P2…Pk和Q1、Q2…Qk，評(píng)價(jià)指標(biāo)的權(quán)重為ω1、ω2…ωk?？紤]一種極端情況，當(dāng)評(píng)P和Q“同增同減”時(shí)，比如對(duì)每個(gè)評(píng)價(jià)指標(biāo)，均有Pi>Qi，CP和CQ分別為P和Q評(píng)價(jià)值。

(4)

下面比較P和Q評(píng)價(jià)值之差：

CP-CQ=ω1(P1-Q1)+ω2(P2-Q2)+…

+ωn(Pn-Qn)>0

(5)

也就是說(shuō)，權(quán)重組合ω1、ω2…ωk無(wú)論如何變化，CP永遠(yuǎn)大于CQ，這就是權(quán)重失靈。

評(píng)價(jià)指標(biāo)“同增同減”的本質(zhì)就是評(píng)價(jià)指標(biāo)之間高度相關(guān)，鑒于TOPSIS評(píng)價(jià)方法已經(jīng)轉(zhuǎn)化為線性評(píng)價(jià)方法，所以當(dāng)評(píng)價(jià)指標(biāo)高度相關(guān)時(shí)，TOPSIS也會(huì)出現(xiàn)權(quán)重失靈。

關(guān)于權(quán)重失靈的測(cè)度，可以比較不同權(quán)重組合評(píng)價(jià)結(jié)果之間的平均排序變化，假設(shè)權(quán)重組合A的評(píng)價(jià)值排序?yàn)镽A，權(quán)重組合B的評(píng)價(jià)值排序?yàn)镽B，m為評(píng)價(jià)對(duì)象數(shù)量，則AB之間的權(quán)重失靈度VR為

(6)

VR越小，說(shuō)明權(quán)重失靈度越高。當(dāng)權(quán)重組合為k個(gè)時(shí)，權(quán)重組合的兩兩失靈度共有Ck2個(gè)，取其平均值，就可以得到總體權(quán)重失靈度：

(7)

1.5偽權(quán)重與權(quán)重失靈的關(guān)系對(duì)于TOPSIS評(píng)價(jià)而言，通過(guò)將其轉(zhuǎn)化為線性評(píng)價(jià)方法，這樣就可以進(jìn)一步研究偽權(quán)重與權(quán)重失靈的關(guān)系了(見圖2)。

圖2 TOPSIS偽權(quán)重與權(quán)重失靈的關(guān)系

TOPSIS評(píng)價(jià)存在兩種權(quán)重，一種是評(píng)價(jià)賦權(quán)(專家權(quán)重)，另一種是實(shí)際權(quán)重，兩者并不一致，也就是說(shuō)存在偽權(quán)重問(wèn)題。對(duì)于高相關(guān)指標(biāo)而言，由于存在權(quán)重失靈，不管權(quán)重組合如何變化，評(píng)價(jià)結(jié)果的排序大致不變。也就是說(shuō)，盡管專家權(quán)重與實(shí)際權(quán)重并不一致，但對(duì)評(píng)價(jià)結(jié)果排序影響甚微，結(jié)論就是由于權(quán)重失靈的存在，使得高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重負(fù)作用大大降低，或者說(shuō)，權(quán)重失靈一定程度上解決了高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)的偽權(quán)重問(wèn)題。

對(duì)于低相關(guān)指標(biāo)而言，由于并不存在權(quán)重失靈問(wèn)題，因此也不能有效解決偽權(quán)重問(wèn)題。

2 研究框架與研究數(shù)據(jù)

2.1研究框架本文以JCR管理學(xué)期刊為例來(lái)研究相關(guān)問(wèn)題。根據(jù)上文分析，將評(píng)價(jià)指標(biāo)分為三組分別計(jì)算權(quán)重失靈程度并進(jìn)行比較，三組分別是高相關(guān)系數(shù)指標(biāo)、低相關(guān)系數(shù)指標(biāo)、全部評(píng)價(jià)指標(biāo)。每組均采用專家賦權(quán)線性評(píng)價(jià)以及TOPSIS評(píng)價(jià)，并比較兩者的權(quán)重失靈度，本質(zhì)上TOPSIS評(píng)價(jià)相當(dāng)于采用實(shí)際權(quán)重線性評(píng)價(jià)，與專家賦權(quán)線性評(píng)價(jià)相當(dāng)于是兩種權(quán)重組合進(jìn)行評(píng)價(jià)。

圖3 研究框架

根據(jù)前文分析，可以大致估計(jì)實(shí)證結(jié)果，即高相關(guān)系數(shù)指標(biāo)評(píng)價(jià)會(huì)出現(xiàn)權(quán)重失靈，低相關(guān)系數(shù)指標(biāo)不會(huì)出現(xiàn)權(quán)重失靈，而全部指標(biāo)評(píng)價(jià)由于相關(guān)系數(shù)介于兩者之間，因此權(quán)重失靈水平處于中等水平。

2.2研究數(shù)據(jù)本文研究數(shù)據(jù)為JCR2019管理學(xué)期刊的文獻(xiàn)計(jì)量指標(biāo)，作為一個(gè)算例，以管理學(xué)期刊影響力評(píng)價(jià)為例，選取7個(gè)評(píng)價(jià)指標(biāo)，分別是：影響因子IF、5年影響因子IF5、他引影響因子IFW、即年指標(biāo)II、總被引頻次TC、特征因子ES、論文與影響分值A(chǔ)IS。至于評(píng)價(jià)賦權(quán)，采用專家賦權(quán)，充分征求學(xué)術(shù)期刊評(píng)價(jià)領(lǐng)域的6位專家，最終權(quán)重如表1所示。

表1 評(píng)價(jià)指標(biāo)及權(quán)重

管理學(xué)JCR2019共有期刊225種，部分指標(biāo)存在數(shù)據(jù)缺失，必須進(jìn)行必要的清洗，經(jīng)整理后還有193種期刊。原始數(shù)據(jù)的描述統(tǒng)計(jì)如表2所示。從Jarque-Bera檢驗(yàn)值和對(duì)應(yīng)的p值看，所有評(píng)價(jià)指標(biāo)均不服從正態(tài)分布。

表2 評(píng)價(jià)指標(biāo)描述統(tǒng)計(jì)

3 實(shí)證結(jié)果

3.1評(píng)價(jià)指標(biāo)相關(guān)系數(shù)首先要計(jì)算評(píng)價(jià)指標(biāo)相關(guān)系數(shù)，以篩選出高相關(guān)指標(biāo)、低相關(guān)指標(biāo)供進(jìn)一步研究。相關(guān)系數(shù)如表3所示，經(jīng)分析發(fā)現(xiàn)影響因子、5年

表3 相關(guān)系數(shù)表

影響因子、他引影響因子之間的相關(guān)指數(shù)較高，平均相關(guān)系數(shù)0.962，因此將這三個(gè)指標(biāo)作為高相關(guān)指標(biāo)用于TOPSIS評(píng)價(jià)比較。剩下的4個(gè)指標(biāo)包括即年指標(biāo)、總被引頻次、特征因子、論文影響分值，其平均相關(guān)系數(shù)為0.577。全部7個(gè)指標(biāo)的平均相關(guān)系數(shù)為0.663，介于高相關(guān)指標(biāo)與低相關(guān)指標(biāo)之間。

3.2高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析影響因子、5年影響因子、他引影響因子三個(gè)高相關(guān)指標(biāo)評(píng)價(jià)賦權(quán)分別為0.10、0.20、0.15，將其等比例轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重，使其總和為1 ，權(quán)重分別為0.22、0.44、0.34，采用TOPSIS進(jìn)行評(píng)價(jià)，同時(shí)采用專家權(quán)重進(jìn)行線性評(píng)價(jià)，結(jié)果如表4所示，由于篇幅所限，本文僅公布評(píng)價(jià)賦權(quán)線性評(píng)價(jià)前30的期刊。

表4 高相關(guān)指標(biāo)評(píng)價(jià)排序比較

下面計(jì)算實(shí)際權(quán)重，為了降低評(píng)價(jià)指標(biāo)多重共線性的影響，采用嶺回歸對(duì)高相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí)，模型趨于穩(wěn)定，擬合優(yōu)度為0.942，具有很好的擬合效果，因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理，得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重，如表5和圖4所示。TOPSIS的實(shí)際權(quán)重最大的為5年影響因子0.440，其次是影響因子0.329，最后是他引影響因子0.327，而專家權(quán)重最大的為5年影響因子0.440，其次是他引影響因子0.340，最后是影響因子0.220，專家權(quán)重與實(shí)際權(quán)重存在較大差異。三個(gè)指標(biāo)的權(quán)重差異分別為49.55%、21.82%、3.82%，平均差異為25.06%。

表5 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

圖4 高相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

進(jìn)一步計(jì)算權(quán)重失靈度，發(fā)現(xiàn)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為86，權(quán)重失靈度為0.45，即對(duì)于高相關(guān)指標(biāo)而言，由于權(quán)重失靈的存在，導(dǎo)致專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異僅為0.45位次，說(shuō)明每個(gè)評(píng)價(jià)對(duì)象的排序誤差只有不到1個(gè)位次，不同評(píng)價(jià)方法的評(píng)價(jià)結(jié)果排序具有較好的穩(wěn)定性，應(yīng)該說(shuō)處于較高的權(quán)重失靈水平。

3.3低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)分析即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)屬于低相關(guān)指標(biāo)，為了檢驗(yàn)這4個(gè)指標(biāo)單獨(dú)評(píng)價(jià)對(duì)權(quán)重失靈的影響，采用這4個(gè)指標(biāo)進(jìn)行TOPSIS評(píng)價(jià)，并比較其與專家權(quán)重線性評(píng)價(jià)排序差異。即年指標(biāo)、總被引頻次、特征因子、論文影響分值4個(gè)指標(biāo)的專家權(quán)重分別為0.05、0.15、0.25、0.10，轉(zhuǎn)化為標(biāo)準(zhǔn)權(quán)重分別是0.09、0.27、0.45、0.18。采用專家權(quán)重線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的結(jié)果如表6所示，由于篇幅所限，這里僅公布專家賦權(quán)線性評(píng)價(jià)前30的期刊。

表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

續(xù)表6 低相關(guān)指標(biāo)評(píng)價(jià)排序比較

下面計(jì)算實(shí)際權(quán)重，為了降低評(píng)價(jià)指標(biāo)多重共線性的影響，采用嶺回歸對(duì)低相關(guān)指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.7時(shí)，模型趨于穩(wěn)定，擬合優(yōu)度為0.921，具有很好的擬合效果，因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理，得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重，如表7所示。TOPSIS低相關(guān)指標(biāo)的實(shí)際權(quán)重最大的為特征因子0.284，其次是總被引頻次0.282，再次是論文影響分值0.263，最后是即年指標(biāo)0.171。這個(gè)排序與專家權(quán)重大小排序基本相同，應(yīng)該說(shuō)這是一種偶然。此外，盡管權(quán)重排序相同，但權(quán)重依然有較大的差距，4個(gè)指標(biāo)權(quán)重的平均差異為90.00%、4.44%、36.89%、46.11%，平均差異為44.36%。

表7 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

圖5 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

進(jìn)一步計(jì)算權(quán)重失靈度，發(fā)現(xiàn)低相關(guān)指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為1896，權(quán)重失靈度為9.82，即對(duì)于低相關(guān)指標(biāo)而言，專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為9.82位次，應(yīng)該說(shuō)排序相差非常大，說(shuō)明基本不存在權(quán)重失靈。

3.4全部指標(biāo)TOPSIS評(píng)價(jià)分析根據(jù)表1中的專家權(quán)重，采用全部指標(biāo)進(jìn)行評(píng)價(jià)，專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)結(jié)果如表8所示。同樣為了節(jié)省篇幅，僅公布按線性評(píng)價(jià)排序前30位的結(jié)果。

下面計(jì)算實(shí)際權(quán)重，為了降低評(píng)價(jià)指標(biāo)多重共線性的影響，采用嶺回歸對(duì)全部指標(biāo)評(píng)價(jià)值與評(píng)價(jià)指標(biāo)進(jìn)行回歸，當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.74時(shí)，模型趨于穩(wěn)定，擬合優(yōu)度為0.942，具有很好的擬合效果，因此取此時(shí)的回歸系數(shù)作為最終結(jié)果。

進(jìn)一步將回歸系數(shù)進(jìn)行歸一化處理，得到評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重，如表9所示。TOPSIS全部指標(biāo)評(píng)價(jià)的實(shí)際權(quán)重最大的是5年影響因子0.177，其次為影響因子0.172，最小的是即年指標(biāo)0.101。專家權(quán)重最大的為特征因子0.25，其次是5年影響因子0.20。權(quán)重排序相差較大，平均權(quán)重相差為45.70%，也處于較高水平。

進(jìn)一步計(jì)算權(quán)重失靈度，發(fā)現(xiàn)全部指標(biāo)專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序絕對(duì)總誤差為738，權(quán)重失靈度為3.82，即對(duì)于全部指標(biāo)而言，專家賦權(quán)線性評(píng)價(jià)與TOPSIS評(píng)價(jià)的排序差異為3.82位次，相對(duì)于高相關(guān)指標(biāo)和低相關(guān)指標(biāo)，權(quán)重失靈水平處于中等，說(shuō)明存在輕度的權(quán)重失靈。

表8 全部指標(biāo)評(píng)價(jià)排序結(jié)果比較

表9 低相關(guān)指標(biāo)TOPSIS評(píng)價(jià)實(shí)際權(quán)重

4 結(jié)論與討論

a.賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象。本文提出賦權(quán)類非線性評(píng)價(jià)存在偽權(quán)重與權(quán)重失靈現(xiàn)象，其研究方法是通過(guò)嶺回歸等方法計(jì)算出賦權(quán)類非線性評(píng)價(jià)中各評(píng)價(jià)指標(biāo)的實(shí)際權(quán)重，將其轉(zhuǎn)化為線性評(píng)價(jià)，并與專家賦權(quán)評(píng)價(jià)進(jìn)行進(jìn)一步比較。偽權(quán)重削弱了評(píng)價(jià)賦權(quán)(專家權(quán)重)的作用，使得評(píng)價(jià)產(chǎn)生較大的系統(tǒng)誤差。偽權(quán)重受評(píng)價(jià)方法算法、評(píng)價(jià)指標(biāo)數(shù)據(jù)分布、模擬權(quán)重計(jì)算算法的影響。

權(quán)重失靈是由高相關(guān)指標(biāo)引起的，它的存在使得不管權(quán)重組合如何變化，評(píng)價(jià)結(jié)果排序維持大致不變。權(quán)重失靈的存在使得評(píng)價(jià)在一定條件下存在某種“惰性”，使得評(píng)價(jià)結(jié)果穩(wěn)定性增強(qiáng)。

b.權(quán)重失靈有利于降低高相關(guān)指標(biāo)的偽權(quán)重問(wèn)題。對(duì)于賦權(quán)類非線性評(píng)價(jià)而言，通過(guò)實(shí)際權(quán)重的計(jì)算將其轉(zhuǎn)化為線性評(píng)價(jià)，這為權(quán)重失靈和偽權(quán)重研究提供了一種新的分析框架。實(shí)證研究結(jié)果表明，對(duì)于高相關(guān)指標(biāo)而言，由于權(quán)重失靈的存在，使得盡管存在偽權(quán)重問(wèn)題，但評(píng)價(jià)結(jié)果的排序和專家賦權(quán)線性評(píng)價(jià)高度一致，從而有效降低了偽權(quán)重的危害。

c.對(duì)低相關(guān)指標(biāo)的偽權(quán)重問(wèn)題必須引起足夠的重視。對(duì)于低相關(guān)指標(biāo)而言，由于并不存在權(quán)重失靈問(wèn)題，這樣偽權(quán)重的負(fù)面作用更大，表現(xiàn)為實(shí)際權(quán)重與評(píng)價(jià)賦權(quán)相差較大，使得評(píng)價(jià)結(jié)果難以體現(xiàn)評(píng)價(jià)賦權(quán)，從而偏離了評(píng)價(jià)目的。在學(xué)術(shù)評(píng)價(jià)中，評(píng)價(jià)目的的實(shí)現(xiàn)非常重要，涉及科研成果評(píng)價(jià)、科技資源分配、調(diào)動(dòng)廣大科技人員積極性等諸多問(wèn)題，因此這是要重點(diǎn)解決的問(wèn)題。

d.權(quán)重失靈弱化了高相關(guān)指標(biāo)非線性評(píng)價(jià)方法的選擇。對(duì)于高相關(guān)指標(biāo)而言，由于權(quán)重失靈的存在，使得在非線性評(píng)價(jià)方法選擇的時(shí)候，不同的評(píng)價(jià)方法相當(dāng)于其實(shí)際權(quán)重組合不同，但這些實(shí)際權(quán)重組合盡管不同，但評(píng)價(jià)結(jié)果的排序是大致不變的，換句話說(shuō)，由于權(quán)重失靈的存在，使得對(duì)不同非線性評(píng)價(jià)方法的選取有較好的耐受性，這對(duì)評(píng)價(jià)總體是有利的。

e.在學(xué)術(shù)評(píng)價(jià)中應(yīng)充分采取多種方法進(jìn)行評(píng)價(jià)。學(xué)術(shù)評(píng)價(jià)往往是多視角的，一級(jí)指標(biāo)之間往往相關(guān)性不高，此時(shí)采用賦權(quán)類非線性評(píng)價(jià)方法評(píng)價(jià)是不合適的，因?yàn)閭螜?quán)重問(wèn)題無(wú)法消除，因此對(duì)于不同屬性指標(biāo)的評(píng)價(jià)建議采用線性評(píng)價(jià)方法。而對(duì)于一級(jí)指標(biāo)內(nèi)部，或者二級(jí)指標(biāo)內(nèi)部，由于這些指標(biāo)之間往往高度相關(guān)，會(huì)存在權(quán)重失靈問(wèn)題，對(duì)評(píng)價(jià)方法選擇不敏感，此時(shí)可以選取一些經(jīng)典的賦權(quán)類非線性評(píng)價(jià)方法或其他方法進(jìn)行評(píng)價(jià)。

需要說(shuō)明的是，由于非線性評(píng)價(jià)方法較多，大多數(shù)非線性評(píng)價(jià)方法可以用本文的研究框架來(lái)進(jìn)行分析，但也有少數(shù)非線性評(píng)價(jià)方法，如支持向量機(jī)、隨機(jī)森林等，由于其評(píng)價(jià)原理比較特殊，對(duì)偽權(quán)重與權(quán)重失靈問(wèn)題的研究還有待進(jìn)一步探索。