多屬性學(xué)術(shù)評價方法魯棒性及產(chǎn)生機制研究

俞立平 張再杰

摘 要：[目的/意義]本文提出多屬性學(xué)術(shù)評價方法魯棒性問題，即盡管評價方法不同，但評價結(jié)果排序卻大致不變，評價方法選擇似乎變得不那么重要，研究其產(chǎn)生機制具有重要意義。[方法/過程]本文在理論分析的基礎(chǔ)上，以JCR2019管理學(xué)期刊評價和線性評價、TOPSIS、因子分析3種評價方法為例，通過計算不同評價方法的實際權(quán)重，將其放在同一框架下進行比較。[結(jié)果/結(jié)論]研究發(fā)現(xiàn)，指標(biāo)高度相關(guān)是多屬性評價方法魯棒性的根本原因，本質(zhì)上是不同評價方法的實際權(quán)重組合對高相關(guān)指標(biāo)評價不敏感;評價指標(biāo)相關(guān)度越高，評價方法魯棒性越嚴重;評價方法魯棒性還受高相關(guān)指標(biāo)數(shù)量、評價對象數(shù)量的影響;實際權(quán)重對于評價方法的選擇具有重要的指導(dǎo)意義;一定要重視多屬性學(xué)術(shù)評價方法魯棒性現(xiàn)象。

關(guān)鍵詞：學(xué)術(shù)評價;權(quán)重魯棒性;評價方法魯棒性;學(xué)術(shù)期刊

DOI：10.3969/j.issn.1008-0821.2022.02.014

〔中圖分類號〕G302 〔文獻標(biāo)識碼〕A 〔文章編號〕1008-0821（2022）02-0152-11

Research on the Failure of Multi-attribute Academic

Evaluation Method and Its Generation Mechanism

Yu Liping1，2 Zhang Zaijie3

（1.School of Statistics and Mathematics，Zhejiang Gongshang University，Hangzhou 310018，China;

2.Collaborative Innovation Center of Statistical Data Engineering，Technology & Application，

Zhejiang Gongshang University，Hangzhou 310018，China;

3.Guizhou Green Development Strategy High End Think Tank，Guizhou University of Finance and

Economics，Guiyang 550025，China）

Abstract：[Purpose/Significance]This paper proposes the failure of multi-attribute academic evaluation methods，that is，although the evaluation methods are different，the ranking of evaluation results has a certain degree of acceptability.The choice of evaluation methods seems to become less important.It is of great significance to study its generation mechanism.[Method/Process]Based on theoretical analysis，JCR2019 management journal evaluation was taken as example and linear evaluation，TOPSIS，and factor analysis were used.By calculating the actual weights of different evaluation methods，they were compared under the same framework.[Result/Conclusion]The study found that the high correlation of indicators is the root cause of the failure of the multi-attribute evaluation method.In essence，the actual weight combination of different evaluation methods is not sensitive to the evaluation of high correlation indicators;the higher the correlation of the evaluation indicators，the more serious the failure of the evaluation method;the failure of the evaluation method is also affected by the number of high correlation indicators and the number of evaluation objects;actual weights have important guiding significance for the choice of evaluation methods;we must pay attention to the failure of multi-attribute academic evaluation methods.

Key words：academic evaluation;weight failure;evaluation method failure;academic journals

在科技評價中，針對同一評價對象的評價結(jié)果必然存在差異。以世界大學(xué)評價為例，目前主流的世界大學(xué)排名包括英國泰晤士報、英國QS、美國新聞與世界報道、中國軟科等，由于評價機構(gòu)不同、評價數(shù)據(jù)不同、評價方法不同等原因，評價結(jié)果存在較大差異，導(dǎo)致同一所高校在不同的大學(xué)評價中排序并不一致。盡管對于不同評價機構(gòu)的評價方法抱有不同看法，爭鳴一直存在，但對于這種現(xiàn)象的存在，無論是學(xué)術(shù)界還是公眾，均采取容忍態(tài)度。

一種現(xiàn)象是，對同一評價對象采用不同評價方法已經(jīng)越來越普遍。為了更加全面地進行學(xué)術(shù)評價，采用指標(biāo)體系進行多屬性評價已經(jīng)成為主流的方法。以學(xué)術(shù)期刊評價為例，目前采用的多屬性評價方法包括因子—BP人工神經(jīng)網(wǎng)絡(luò)[1]、灰色關(guān)聯(lián)分析[2]、主成分分析[3]、套索方法[4]、自由處置殼（FDH）[5]、結(jié)構(gòu)方程模型[6]等。關(guān)于多屬性評價方法的選擇依據(jù)目前尚沒有形成共識，這樣就產(chǎn)生了不同評價方法不同評價結(jié)果問題，這似乎并沒有影響學(xué)術(shù)評價的發(fā)展。

另一種現(xiàn)象是，不同評價方法評價結(jié)果存在高度相關(guān)。以大學(xué)評價為例，雖然評價體系和評價方法不同，但排在各大排行榜前列的中國大學(xué)基本上是一致的。此外，有研究表明，不同評價方法的大學(xué)評價結(jié)果之間存在高度的相關(guān)性[7]。這就促成人們思考一個問題，從宏觀視角出發(fā)，評價體系與評價方法的重要性似乎也沒有那么大，任何一種評價方法的結(jié)果似乎總體上可以接受，只要是不太挑剔。

兩種現(xiàn)象說明不同評價方法之間存在著某種穩(wěn)定機制。本文將這種現(xiàn)象稱為評價方法魯棒性，其表現(xiàn)主要體現(xiàn)在兩個方面，第一是不同評價方法的評價結(jié)果存在一定的共識，使得評價方法的選擇變得不那么重要了。第二是從多屬性評價方法角度，沒有一種方法有充分依據(jù)證明其是唯一合理的，也沒有一種評價方法得到公認是學(xué)術(shù)評價中不宜采用的。如果借用靈敏度分析的視角，這其實也是評價方法某種情況下失靈的一種體現(xiàn)，即評價方法不同對評價結(jié)果表現(xiàn)出某種不敏感。

研究學(xué)術(shù)評價方法魯棒性問題具有重要意義。首先，從理論上分析學(xué)術(shù)評價中多屬性評價方法魯棒性的原因和形成機制，有利于豐富情報學(xué)與科學(xué)計量學(xué)理論;其次，從應(yīng)用角度，也為多屬性評價方法的選擇、提高學(xué)術(shù)評價的質(zhì)量提供重要參考，從而降低學(xué)術(shù)評價的系統(tǒng)誤差，提高學(xué)術(shù)評價的公信力與公平性。

1 文獻綜述

評價方法魯棒性是本文提出的新的現(xiàn)象，相關(guān)領(lǐng)域缺乏研究。關(guān)于不同評價方法的穩(wěn)定性、魯棒性或靈敏度研究，李星明等[8]從評價指標(biāo)角度分析了投資環(huán)境評價的靈敏度。張立軍等[9]從無量綱化方法和樣本容量兩個方面分析度量綜合評價模型的魯棒性。李偉偉等[10]引入異常數(shù)據(jù)，比較不同賦權(quán)評價方法排序結(jié)果的變化程度。高曉紅等[11]從信息提取視角對多屬性評價方法進行分析，發(fā)現(xiàn)可組合出若干新的多屬性評價方法，可用系統(tǒng)方差度量其穩(wěn)定性，當(dāng)無量綱化處理恰當(dāng)時，復(fù)合信息提取有助于提高結(jié)果的穩(wěn)定性。

關(guān)于不同多屬性評價方法的比較研究，劉建昌等[12]比較了高?？萍紕?chuàng)新能力評價的幾種方法，包括主成分分析、DEA、因子分析、層次分析、模糊綜合評價、灰色關(guān)聯(lián)等。吳忠謙[13]選取4個國際典型的國家科技競爭力評價方法，比較其理論基礎(chǔ)、評價對象和具體指標(biāo)。楊瑞仙等[14]從評價機構(gòu)、評價目的、評價指標(biāo)、評價角度等方面對國內(nèi)外主要大學(xué)排名方法進行了比較。雷佳麗等[15]則比較了國內(nèi)外智庫評價方法，發(fā)現(xiàn)國內(nèi)智庫與國外智庫評價相差較大。俞立平等[16]對科技評價中的加法合成、乘法合成、對數(shù)合成、代換合成方法進行比較，發(fā)現(xiàn)評價結(jié)果差距較大。俞立平等[17]還研究發(fā)現(xiàn)，除了線性評價方法，非線性評價方法之間難以進行比較。

從現(xiàn)有的研究看，關(guān)于多屬性評價方法的穩(wěn)定性研究有一些進展，研究視角包括評價指標(biāo)、無量綱化方法、樣本容量、異常數(shù)據(jù)、信息提取等。關(guān)于多屬性評價方法比較研究，視角包括多屬性評價方法、理論基礎(chǔ)、指標(biāo)體系、評價對象、可比性等?？傮w上，關(guān)于多屬性評價方法魯棒性的相關(guān)研究，在以下方面有待進一步深入：

第一，缺乏從多屬性評價方法本身視角出發(fā)研究其魯棒性，這方面的研究極為缺乏。多屬性評價方法有幾十種，找到一個分析框架比較困難，迫切需要從理論上加以推進。

第二，關(guān)于評價方法魯棒性的表現(xiàn)、測度、產(chǎn)生機理缺乏深入系統(tǒng)的研究，加上學(xué)術(shù)評價目的不同、對象不同、指標(biāo)體系不同、評價方法不同，這一切增加了研究的復(fù)雜性。

本文在理論分析的基礎(chǔ)上，提出通過實際權(quán)重建立線性學(xué)術(shù)評價與非線性學(xué)術(shù)評價的比較框架，并以JCR2019管理學(xué)期刊為例，評價方法以線性評價、TOPSIS、因子分析3種有代表性的方法為例，通過嶺回歸與偏最小二乘法計算實際權(quán)重，并提出評價方法魯棒性的測度方法，對高相關(guān)指標(biāo)與全部指標(biāo)評價方法魯棒性程度進行比較，以分析學(xué)術(shù)評價方法魯棒性的產(chǎn)生機制，最終得出結(jié)論。

2 理論分析與研究方法

2.1 多屬性評價方法魯棒性的理論分析

1）多屬性學(xué)術(shù)評價方法的分類

從指標(biāo)體系合并為評價得分的方法角度，多屬性學(xué)術(shù)評價可以分為兩大類，一類是線性評價方法，即通過一定方法賦權(quán)，然后對指標(biāo)體系標(biāo)準(zhǔn)化后進行加權(quán)匯總，得到評價得分。另一類是采用某種數(shù)學(xué)原理進行合成，得到評價值，稱為非線性評價方法，如圖1所示。對于線性評價方法，普遍涉及權(quán)重，賦權(quán)方法包括主觀賦權(quán)、客觀賦權(quán)，或者結(jié)合主客觀進行賦權(quán)，而對于非線性評價方法，有的涉及權(quán)重，如加權(quán)TOPSIS、灰色關(guān)聯(lián)評價等，有的則不涉及權(quán)重，如主成分分析、因子分析等。

2）不同多屬性評價方法的比較框架——實際權(quán)重

多屬性評價方法目前已經(jīng)有幾十種，之所以存在評價方法魯棒性，是因為這些評價方法之間可能存在某種潛在的共性。權(quán)重其實正是多屬性評價方法共性的具體體現(xiàn)，對于線性評價方法與部分非線性評價方法，它們直接與權(quán)重相關(guān)，對于不涉及權(quán)重的非線性評價方法，其實也可以通過一定的方法得到模擬權(quán)重或?qū)嶋H權(quán)重，這樣就建立了不同多屬性評價方法的比較機制。

對于線性多屬性評價方法，俞立平[18]提出評價賦權(quán)并不是真正的權(quán)重，因為不同評價指標(biāo)標(biāo)準(zhǔn)化后均值并不相等，應(yīng)該用評價賦權(quán)乘以標(biāo)準(zhǔn)化后指標(biāo)的均值占整個評價值的比重表示權(quán)重，這就是線性評價方法的實際權(quán)重。

對于大多數(shù)非線性評價方法，俞立平等[19]提出可以通過對評價值與評價指標(biāo)進行回歸，然后根據(jù)回歸系數(shù)大小進行歸一化處理，得到各評價指標(biāo)的模擬權(quán)重，或者實際權(quán)重。為了防止多重共線性，回歸方法可以采用嶺回歸或偏最小二乘法。但是對于評價結(jié)果是排序的評價方法不能直接回歸，需要經(jīng)過特定的處理，如采用排序因變量模型進行回歸。

通過以上兩種方法的預(yù)處理，使得所有的多屬性評價方法之間可以橫向進行某種比較，或者說由于模擬權(quán)重或?qū)嶋H權(quán)重概念的引入，將所有非線性評價方法已經(jīng)轉(zhuǎn)換成線性評價方法，即評價值基本上可以視為評價指標(biāo)按實際權(quán)重進行加權(quán)匯總的結(jié)果。

3）權(quán)重魯棒性與評價方法魯棒性的關(guān)系

權(quán)重魯棒性是指不同評價指標(biāo)大小排序如果基本一致時，即不同指標(biāo)表現(xiàn)為“同增同減”時，無論權(quán)重組合如何變化，評價值的排序也會保持不變的一種現(xiàn)象，其根源主要是評價指標(biāo)之間高度相關(guān)。

下面以k個高相關(guān)指標(biāo)為例進行進一步說明，假設(shè)兩個評價對象標(biāo)準(zhǔn)化后的評價指標(biāo)值分別為P1，P2，…，Pk和Q1，Q2，…，Qk，指標(biāo)權(quán)重為ω1，ω2，…，ωk，k為“同增同減”指標(biāo)個數(shù)，則C為評價值，P和Q的評價結(jié)果為：

CP=ω1P1+ω2P2+…+ωkPk

CQ=ω1Q1+ω2Q2+…+ωkQk（1）

P和Q評價值之差為：

CP-CQ=ω1（P1-Q1）+ω2（P2-Q2）+…+ωk（Pk-Qk）（2）

假設(shè)P比Q優(yōu)秀，由于評價指標(biāo)存在“同增同減”現(xiàn)象，則有Pi′-Qi>0，此時權(quán)重組合ω?zé)o論如何變化，CP永遠大于CQ。即權(quán)重組合對評價結(jié)果沒有任何影響，這就是權(quán)重魯棒性。

在多屬性評價中，無論是線性評價還是非線性評價，均已經(jīng)計算得到模擬權(quán)重即實際權(quán)重，那么權(quán)重魯棒性在線性與非線性評價中同樣存在。也就是說，當(dāng)評價指標(biāo)高度相關(guān)時，盡管多屬性評價方法不同，即評價指標(biāo)的實際權(quán)重組合不同，但對多屬性評價方法的評價結(jié)果排序也不會產(chǎn)生太大影響，這就是多屬性評價方法魯棒性的根源，如圖2所示。

4）評價方法魯棒性的進一步分析

第一，高相關(guān)指標(biāo)產(chǎn)生的權(quán)重魯棒性是一種局部魯棒性。即這種權(quán)重魯棒性只會發(fā)生在高相關(guān)指標(biāo)之間，當(dāng)這些指標(biāo)的實際權(quán)重總計較大時，容易造成評價方法魯棒性。而當(dāng)這些指標(biāo)的實際權(quán)重總計較小時，不一定會產(chǎn)生評價方法魯棒性。根本原因是其他低相關(guān)指標(biāo)對整個評價值也會產(chǎn)生影響，這種影響大小在不同的多屬性評價中相差較大。

第二，同一多屬性評價可能存在多組互不相關(guān)的局部權(quán)重魯棒性現(xiàn)象。比如X1、X2、X3指標(biāo)之間高度相關(guān)，X7、X8之間也高度相關(guān)，但X1、X2、X3與X7、X8之間相關(guān)度較低。在這種情況下，評價方法魯棒性與否取決于兩組評價指標(biāo)的實際權(quán)重總和，其越接近1，越可能存在評價方法魯棒性。

第三，評價對象數(shù)量多少會影響評價方法魯棒性。當(dāng)評價對象較少時，由于各評價指標(biāo)區(qū)分度較大，因此可能不管采用什么評價方法，評價結(jié)果的排序基本一致。但是這并沒有破壞評價方法魯棒性的理論基礎(chǔ)，本質(zhì)上還是評價指標(biāo)之間高度相關(guān)。由于多屬性決策方案往往只有幾種，從這個角度，在多屬性決策中，更容易出現(xiàn)評價（決策）方法魯棒性。

第四，評價方法魯棒性是一把雙刃劍。一方面，評價方法魯棒性使得采用高相關(guān)指標(biāo)評價時，評價結(jié)果對評價方法的選擇不太敏感，表面看似乎降低了評價的科學(xué)性、嚴肅性。但是另一方面，正因為評價方法的不敏感，也使得評價結(jié)果容易得到公眾的承認。所以必須加強對評價方法魯棒性的研究，評估其影響，讓其從黑箱走向白箱。

2.2 研究方法

1）線性評價實際權(quán)重的計算

Wj=∑mi=1ωjXij∑mi=1∑nj=1C′ij=∑mi=1ωjXij∑mi=1∑mj=1ωjXij=ωjXijC′ij（3）

式（3）中C′為線性評價結(jié)果，Xij為標(biāo)準(zhǔn)化后的評價指標(biāo)，ωj為評價賦權(quán)，Wj表示模擬權(quán)重或?qū)嶋H權(quán)重，傅蓉[20]稱其為結(jié)果權(quán)重。實際權(quán)重是指標(biāo)加權(quán)匯總值占所有指標(biāo)評價得分總值的比重，也可以用該指標(biāo)加權(quán)均值占評價得分均值的比重表示。

2）非線性評價實際權(quán)重的計算

對評價值與評價指標(biāo)進行回歸，此時的回歸系數(shù)大小本質(zhì)上就是評價指標(biāo)重要性的體現(xiàn)，將其歸一化處理就是權(quán)重。需要注意的是，所有變量必須取對數(shù)，否則不同評價指標(biāo)的回歸系數(shù)之間是不可比的。

由于學(xué)術(shù)評價指標(biāo)之間往往高度相關(guān)，存在多重共線性，此時傳統(tǒng)的回歸方法會失效，為了克服這個問題，可以采用嶺回歸與偏最小二乘法回歸，它們均具有一定的克服多重共線性的功效。本文從提高研究的穩(wěn)健性出發(fā)，同時采用這兩種方法估計非線性評價方法的實際權(quán)重，取兩種方法的平均值作為最終結(jié)果。

嶺回歸由Hoerl A E等[21]提出，是一種改進的最小二乘法回歸，主要應(yīng)用在自變量高度相關(guān)容易出現(xiàn)多重共線性的回歸中。嶺回歸過放棄OLS的無偏性，以降低部分精度和犧牲部分信息為代價，從而獲得更好的回歸效果。

偏最小二乘法由Wold S等[22]提出，它綜合主成分分析、典型相關(guān)分析、多元回歸3種方法，在存在多重共線性、樣本數(shù)量較少、數(shù)據(jù)分布偏倚的情況下，估計效果較好。

3）權(quán)重魯棒性測度

多屬性評價方法魯棒性的產(chǎn)生的主要原因是評價指標(biāo)之間高度相關(guān)，因此，首先通過指標(biāo)之間的相關(guān)性大小來測度評價指標(biāo)的魯棒性度，稱為相關(guān)系數(shù)法。對于k個相關(guān)度較高的評價指標(biāo)而言，指標(biāo)之間的兩兩相關(guān)系數(shù)Rij共有C2k個，用1減去相關(guān)系數(shù)的均值就得到評價指標(biāo)相關(guān)系數(shù)權(quán)重魯棒性度WR：

WR=1-∑RijC2k（4）

相關(guān)系數(shù)權(quán)重魯棒性度WR越小，說明其權(quán)重魯棒性度越大。在統(tǒng)計學(xué)中，根據(jù)相關(guān)系數(shù)高低大致可以判斷相關(guān)性大小，WR是1減去相關(guān)系數(shù)的均值，因此相應(yīng)地可以將權(quán)重魯棒性等級分為高度魯棒性（WR<0.1）、中度魯棒性（0.1

4）多屬性評價方法魯棒性測度

對于給定的評價指標(biāo)體系，采用不同的多屬性評價方法評價，可以得到不同的評價結(jié)果排序，計算不同多屬性評價方法評價結(jié)果的排序差異，就是多屬性評價方法魯棒性度。對于不同的多屬性評價方法，本質(zhì)上相當(dāng)于實際權(quán)重組合不同，分別進行評價，然后比較不同評價方法的平均排序變化程度，假設(shè)評價方法A的評價值排序為RA，評價方法B的評價值排序為RB，m為評價對象數(shù)量，則評價方法排序魯棒性度VR為：

VR=∑mi=1RBi-RAim（5）

評價方法排序魯棒性度VR越小，說明評價方法魯棒性度越高。對于k種評價方法而言，評價方法的兩兩魯棒性度共有C2k個，取其平均值，就可以得到不同評價方法的排序魯棒性度：

RR=∑VRC2k（6）

2.3 研究框架

本文的研究框架如圖3所示。以JCR2019管理學(xué)期刊為例開展相關(guān)研究，研究目的主要包括3個部分：

第一，在管理學(xué)期刊評價指標(biāo)體系中，篩選其中相關(guān)系數(shù)較高的評價指標(biāo)組合，以此來檢驗高相關(guān)指標(biāo)的權(quán)重魯棒性度，以及權(quán)重魯棒性對線性評價、TOPSIS評價、因子分析評價的方法魯棒性度的影響。

選取線性評價、TOPSIS、因子分析3種方法的理由是，線性評價作為一大類代表性的方法在學(xué)術(shù)評價中應(yīng)用很廣，TOPSIS與因子分析都是非線性評價方法，TOPSIS涉及評價指標(biāo)權(quán)重，而因子分析不涉及評價指標(biāo)權(quán)重，這樣所有多屬性評價方法的種類均大致涉及。由于這3種方法相對成熟，為節(jié)省篇幅，其技術(shù)細節(jié)不再一一贅述。

第二，選取管理學(xué)期刊的全部評價指標(biāo)進行評價，并測度其權(quán)重魯棒性度，以及權(quán)重魯棒性對線性評價、TOPSIS評價、因子分析評價的方法魯棒性度的影響。由于全部指標(biāo)之間的相關(guān)系數(shù)相對較低，因此評價方法魯棒性度相對較小，這樣可以和高相關(guān)指標(biāo)評價進行鮮明的對照。

第三，在以上過程中計算每種評價方法的實際權(quán)重，并比較實際權(quán)重組合，從而進一步闡述將所有評價方法放在同一權(quán)重框架下進行比較的意義。如果沒有這個框架，就無法進行權(quán)重魯棒性與評價方法魯棒性的進一步分析。

3 研究數(shù)據(jù)與實證結(jié)果

3.1 研究數(shù)據(jù)

本文以管理學(xué)期刊影響力評價為例進行相關(guān)實證研究，作為一種算例，本文的研究重點是評價方法魯棒性的形成機制，并不是具體的學(xué)術(shù)期刊影響力評價。研究對象和數(shù)據(jù)選擇JCR2019管理學(xué)期刊，選取的評價指標(biāo)包括影響因子JIF、5年影響因子IF5、他引影響因子IFW、即年指標(biāo)II、總被引頻次TC、特征因子ES、論文影響分值A(chǔ)IS共7個指標(biāo)。本文并沒有選取被引半衰期與引用半衰期兩個表現(xiàn)學(xué)術(shù)期刊時效性的指標(biāo)。JCR2019共有管理學(xué)期刊225種，由于存在數(shù)據(jù)缺失，清洗后還有193種期刊。

本文采用線性評價、TOPSIS、因子分析3種方法進行評價，以分析評價方法魯棒性的形成機制。在線性評價與TOPSIS評價中，均涉及權(quán)重，因此采用專家賦權(quán)法確定權(quán)重，邀請學(xué)術(shù)期刊評價領(lǐng)域7位知名專家，評價指標(biāo)和權(quán)重賦值如表1所示。需要說明的是，本文重點研究評價方法魯棒性，相關(guān)方法選取及權(quán)重賦值僅僅作為算例，主要是為了說明問題。

3.2 評價指標(biāo)相關(guān)系數(shù)

為了篩選出幾個高相關(guān)指標(biāo)組合研究其評價方法魯棒性問題，首先計算7個評價指標(biāo)的相關(guān)系數(shù)，結(jié)果如表2所示。影響因子、5年影響因子、他引影響因子之間的相關(guān)系數(shù)較高，影響因子與他引影響因子的相關(guān)系數(shù)為0.987，5年影響因子與他引影響因子的相關(guān)系數(shù)為0.951，影響因子與5年影響因子的相關(guān)系數(shù)為0.948。3個指標(biāo)組合的評價指標(biāo)魯棒性度WR為0.038，小于0.1，處于高權(quán)重魯棒性水平。

由于還要對所有7個評價指標(biāo)組合研究其評價方法魯棒性問題，進一步計算7個評價指標(biāo)組合的權(quán)重魯棒性水平，計算結(jié)果WR為0.337，說明基本不存在權(quán)重魯棒性。

3.3 高相關(guān)指標(biāo)評價分析

1）不同評價方法高相關(guān)指標(biāo)評價結(jié)果比較及評價方法魯棒性測度

首先基于影響因子、5年影響因子、他引影響因子3個指標(biāo)組合，分別采用線性、TOPSIS、因子分析3種方法進行評價。在線性評價中，這3個指標(biāo)的權(quán)重仍然采取專家權(quán)重的歸一化處理結(jié)果，即權(quán)重由原來的0.11、0.20、0.15轉(zhuǎn)換為0.24、0.44、0.32，目的是在保證權(quán)重比例不變的情況下使得權(quán)重之和為1。

采用TOPSIS評價時，影響因子、5年影響因子、他引影響因子的權(quán)重同樣分別是0.24、0.44、0.32。

采用因子分析評價，KMO檢驗值為0.759，Bartlett檢驗值為1 146.544，p值為0.000，符合采用因子分析法的前提條件。結(jié)果發(fā)現(xiàn)只有1個公共因子，方差貢獻率高達97.45%，因此采用單因子分析進行評價。

以上3種評價方法的評價結(jié)果如表3所示，由于篇幅所限，這里僅公布按線性評價排名前30位的期刊評價結(jié)果。

從前30名的評價結(jié)果看，盡管評價方法不同，但評價結(jié)果排序總體上一致。進一步計算評價方法排序魯棒性度，線性評價與TOPSIS之間的排序魯棒性度為0.383，線性評價與因子分析的排序魯棒性度為1.358，TOPSIS與因子分析的排序魯棒性度為1.161，三者平均的總體排序魯棒性度RR為0.967，也就是說，盡管評價方法不同，但評價結(jié)果的排序差異僅有0.967個位次，這種差異應(yīng)該說很小，說明對于高相關(guān)指標(biāo)而言，評價方法存在魯棒性現(xiàn)象。

2）不同評價方法高相關(guān)指標(biāo)實際權(quán)重計算結(jié)果

下面同時采用嶺回歸與偏最小二乘法，對TOPSIS和因子分析的評價值與評價指標(biāo)分別進行回歸，將回歸系數(shù)進行歸一化處理得到模擬權(quán)重，然后將嶺回歸模擬權(quán)重與偏最小二乘法模擬權(quán)重進行平均，得到實際權(quán)重，以進一步分析評價方法魯棒性的形成機制。

首先計算TOPSIS評價的實際權(quán)重，在進行嶺回歸時，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.6時，模型趨于穩(wěn)定，因此取此時的回歸系數(shù)組合作為最終結(jié)果，影響因子、5年影響因子、他引影響因子的回歸系數(shù)分別為0.274、0.289、0.272。

繼續(xù)采用偏最小二乘法進行回歸，當(dāng)隱含成分為1時，擬合優(yōu)度為0.999，具有極高的擬合度，因此取隱含成分為1的回歸系數(shù)組合作為最終評價結(jié)果，回歸系數(shù)分別為1.000、0.997、1.003。

高相關(guān)指標(biāo)TOPSIS評價的實際權(quán)重如表4所示，最終影響因子的實際權(quán)重為0.331，5年影響因子的實際權(quán)重為0.339，他引影響因子的實際權(quán)重為0.330。

繼續(xù)計算高相關(guān)指標(biāo)因子分析的實際權(quán)重，在嶺回歸時發(fā)現(xiàn)當(dāng)標(biāo)準(zhǔn)系數(shù)之和為0.6時，模型趨于穩(wěn)定，影響因子、5年影響因子、他引影響因子的回歸系數(shù)分別為0.278、0.280、0.278。

繼續(xù)采用偏最小二乘法進行回歸，當(dāng)隱含成分為1時，擬合優(yōu)度為1，回歸系數(shù)分別為1.004、0.991、1.005。

高相關(guān)指標(biāo)因子評價的實際權(quán)重如表5所示，最終影響因子的實際權(quán)重為0.334，5年影響因子的實際權(quán)重為0.332，他引影響因子的實際權(quán)重為0.334。

3）不同評價方法高相關(guān)指標(biāo)實際權(quán)重比較

對于線性評價，基于式（3）計算出實際權(quán)重，這樣，3種評價方法的實際權(quán)重均已經(jīng)計算出來，連同專家權(quán)重如表6所示。

專家權(quán)重以及不同評價方法實際權(quán)重的對照說明如下幾個問題：

第一，不同評價方法之間的實際權(quán)重也存在較大差距，權(quán)重大小排序相差較大，并無規(guī)律可循。

第二，高相關(guān)指標(biāo)之所以存在評價方法魯棒性現(xiàn)象，原因是評價指標(biāo)高度相關(guān)，使得盡管評價方法的實際權(quán)重組合不同，但對評價結(jié)果的影響較小。

3.4 全部指標(biāo)評價對比分析

1）不同評價方法全部指標(biāo)評價結(jié)果比較及評價方法魯棒性測度

選取全部7個指標(biāo)進行評價。在線性評價中，采用表1中的專家賦權(quán)，對評價指標(biāo)采用極大值標(biāo)準(zhǔn)化，然后進行加權(quán)匯總。

采用TOPSIS評價時，對于評價指標(biāo)同樣按照表1的專家賦權(quán)進行加權(quán)匯總。

采用因子分析評價，KMO檢驗值為0.803，Bartlett檢驗值為1 974.141，p值為0.000，符合采用因子分析法的前提條件。其旋轉(zhuǎn)成分矩陣如表7所示，共有兩個公共因子，因子1相關(guān)指標(biāo)為影響因子、5年影響因子、他引影響因子、即年指標(biāo)、論文影響分值，因子2的相關(guān)指標(biāo)為總被引頻次、特征因子。因子1的方差貢獻率為52.93%，因子2的方差貢獻率為33.90%，兩者合計86.83%，具有較高的解釋水平。

以上3種評價方法的評價結(jié)果如表8所示，由于篇幅所限，這里僅公布按線性評價排名前30位的期刊評價結(jié)果。從前30名的評價結(jié)果看，盡管評價方法不同，但評價結(jié)果排序差異相對高相關(guān)指標(biāo)要大很多。進一步計算評價方法排序魯棒性度，線性評價與TOPSIS之間的排序魯棒性度為3.793，線性評價與因子分析的排序魯棒性度為4.104，TOPSIS與因子分析的排序魯棒性度為3.161，三者平均的總體排序魯棒性度RR為3.686，也就是說，由于評價方法不同，導(dǎo)致評價結(jié)果的排序差異為3.686個位次，應(yīng)該說排序變化較大，是高相關(guān)指標(biāo)評價總體排序魯棒性度0.967的差不多4倍，說明在評價指標(biāo)相關(guān)度較低的情況下，評價方法魯棒性現(xiàn)象并不嚴重。

2）不同評價方法全部指標(biāo)模擬權(quán)重計算結(jié)果

首先計算TOPSIS評價的實際權(quán)重，在進行嶺回歸時，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.7時，模型趨于穩(wěn)定，因此取此時的回歸系數(shù)組合作為最終結(jié)果。采用偏最小二乘法進行回歸時，當(dāng)隱藏成分為3時，擬合優(yōu)度為0.995，并且不再提高，因此取此時的回歸系數(shù)作為最終結(jié)果。

TOPSIS評價的嶺回歸系數(shù)和偏最小二乘法回歸系數(shù)如表9所示，分別將回歸系數(shù)進行標(biāo)準(zhǔn)化得到模擬權(quán)重，再將模擬權(quán)重進行平均，得到實際權(quán)重。5年影響因子、影響因子、他引影響因子的實際權(quán)重相對較高，即年指標(biāo)的實際權(quán)重最低。

繼續(xù)計算因子分析評價的實際權(quán)重，在進行嶺回歸時，發(fā)現(xiàn)標(biāo)準(zhǔn)系數(shù)之和為0.7時，模型趨于穩(wěn)定，因此取此時的回歸系數(shù)組合作為最終結(jié)果。采用偏最小二乘法進行回歸時，當(dāng)隱藏成分為2時，擬合優(yōu)度為1.000，因此取此時的回歸系數(shù)作為最終結(jié)果。

因子分析評價的嶺回歸系數(shù)和偏最小二乘法回歸系數(shù)如表10所示，分別將回歸系數(shù)進行標(biāo)準(zhǔn)化得到模擬權(quán)重，再將模擬權(quán)重進行平均，得到實際權(quán)重。影響因子、5年影響因子、他引影響因子的實際權(quán)重相對較高，特征因子的實際權(quán)重最低。

3）不同評價方法全部指標(biāo)實際權(quán)重比較

對于全部指標(biāo)的線性評價，基于式（3）計算出實際權(quán)重，這樣，3種評價方法的實際權(quán)重均已經(jīng)計算出來，連同專家權(quán)重如表11所示。

專家權(quán)重以及不同評價方法實際權(quán)重的對照說明如下幾個問題：

第一，無論是線性評價方法還是非線性評價方法，實際權(quán)重與專家權(quán)重相去甚遠。

第二，不同評價方法之間的實際權(quán)重也存在較大差距，而且權(quán)重大小相差較大，并無規(guī)律可循。

第三，影響因子、5年影響因子、他引影響因子3個指標(biāo)的實際權(quán)重均處于較高水平，原因有待進一步探索。

第四，就全部指標(biāo)評價而言，總體上并不存在評價方法魯棒性，原因是評價指標(biāo)相關(guān)度較低，使得不同評價方法實際權(quán)重組合不同，對評價結(jié)果的排序影響較大。

4 研究結(jié)論

1）本文發(fā)現(xiàn)了多屬性評價方法魯棒性的產(chǎn)生機制

本文針對多屬性評價方法魯棒性現(xiàn)象，通過在線性評價中直接計算實際權(quán)重，在非線性評價中通過嶺回歸和偏最小二乘法間接得到實際權(quán)重，將所有多屬性評價方法視為實際權(quán)重加權(quán)線性評價方法，從而構(gòu)建了統(tǒng)一的對比分析框架。

在此基礎(chǔ)上，無論選擇什么評價方法，每種評價方法均對應(yīng)一套實際權(quán)重組合，評價方法變化僅僅相當(dāng)于實際權(quán)重組合不同，但由于評價指標(biāo)高度相關(guān)，評價結(jié)果的排序基本維持不變，這就是評價方法魯棒性的形成機制。

2）評價指標(biāo)相關(guān)度越高，評價方法魯棒性越嚴重

本文的實證研究結(jié)果表明，當(dāng)評價指標(biāo)高度相關(guān)時，評價方法魯棒性現(xiàn)象越嚴重。當(dāng)選用影響因子、5年影響因子、他引影響因子3個高相關(guān)指標(biāo)進行分析時，其平均相關(guān)系數(shù)為0.962，平均排序位次變化僅為0.967;當(dāng)選用7個評價指標(biāo)進行分析時，其平均相關(guān)系數(shù)為0.663，平均排序位次變化為3.686。

3）評價方法魯棒性還受高相關(guān)指標(biāo)數(shù)量、評價對象數(shù)量的影響

在同一評價中，由于可能存在多組高相關(guān)指標(biāo)，各組指標(biāo)內(nèi)部均呈高度相關(guān)，各組高相關(guān)指標(biāo)的實際權(quán)重有一個總和，所有各組高相關(guān)指標(biāo)實際權(quán)重的總和越大，評價方法魯棒性越嚴重。當(dāng)評價對象較少時，會加劇評價方法魯棒性，因為此時評價對象的區(qū)分度較大，容易出現(xiàn)不管評價方法如何變化，評價結(jié)果的排序大致不變的現(xiàn)象，但這并沒有改變評價方法魯棒性的產(chǎn)生機制。由于多屬性決策方案一般較少，因此多屬性決策方法魯棒性現(xiàn)象更加常見。

4）實際權(quán)重對于評價方法的選擇具有重要的指導(dǎo)意義

無論是線性學(xué)術(shù)評價還是非線性學(xué)術(shù)評價，均可以通過一定的方法計算出實際權(quán)重，即在學(xué)術(shù)評價中各指標(biāo)真實的相對重要性，這顛覆了對傳統(tǒng)專家權(quán)重的認識，因為專家權(quán)重往往并不等于實際權(quán)重?？筛鶕?jù)實際權(quán)重進行評價方法的選擇，使得評價指標(biāo)的實際權(quán)重更加符合評價管理要求。

5）一定要重視多屬性學(xué)術(shù)評價方法魯棒性現(xiàn)象

在多屬性學(xué)術(shù)評價中，評價結(jié)果往往是應(yīng)用于管理的，許多評價對個體會產(chǎn)生較大影響，因為涉及其聲譽、工作績效、資源分配等，評價方法魯棒性固然有利于保證起碼的評價公平，防止評價方法不同帶來的誤差，但評價方法魯棒性畢竟只存在于高相關(guān)指標(biāo)中，對整個評價指標(biāo)總體而言，評價方法魯棒性并不嚴重，因此一定要注意評價指標(biāo)賦權(quán)和評價方法選擇，以提高整個評價的水平。

需要說明的是，本文討論的是定量學(xué)術(shù)評價中的權(quán)重魯棒性與評價方法的魯棒性問題，至于定性評價中的相關(guān)問題，本文暫不討論。

參考文獻

[1]俞立平，阮先鵬，陳一濤，等.基于因子—BP人工神經(jīng)網(wǎng)絡(luò)的期刊評價方法選擇研究[J].現(xiàn)代情報，2020，40（11）：128-135，153.

[2]邱殿明，張連峰.科技期刊影響因子與其相關(guān)評價指標(biāo)關(guān)系研究——灰色關(guān)聯(lián)分析視角[J].情報科學(xué)，2020，38（9）：116-120.

[3]李躍艷，熊回香，李曉敏.基于主成分分析法的期刊評價模型構(gòu)建[J].情報雜志，2019，38（7）：199-207.

[4]江永眾，陶虹琳，杜彥璞.套索方法在期刊評價指標(biāo)選擇中的應(yīng)用[J].統(tǒng)計與決策，2018，34（17）：86-88.

[5]趙蓉英，王建品.基于FDH模型的學(xué)術(shù)期刊評價新方法[J].圖書情報工作，2018，62（8）：100-106.

[6]熊國經(jīng)，熊玲玲，陳小山.基于PLS結(jié)構(gòu)方程模型進行學(xué)術(shù)期刊評價的實證研究[J].情報理論與實踐，2017，40（8）：117-121.

[7]曾強，趙公民，俞立平.世界大學(xué)評價比較及對中國“雙一流”大學(xué)評價的啟示[J].情報雜志，2019，38（3）：61-66.

[8]李星明，吳國蔚.投資環(huán)境評價體系的指標(biāo)靈敏度分析[J].世界經(jīng)濟與政治論壇，2007，（3）：15-23.

[9]張立軍，陶璐.多指標(biāo)綜合評價模型魯棒性度量方法研究[J].統(tǒng)計與信息論壇，2011，26（5）：16-20.

[10]李偉偉，易平濤，郭亞軍.差異驅(qū)動型評價方法的穩(wěn)定性及差異凸顯能力比較[J].運籌與管理，2015，24（1）：216-221.

[11]高曉紅，李興奇.基于信息提取的綜合性評價方法比較[J].統(tǒng)計與決策，2020，36（22）：27-31.

[12]劉建昌，石秀，江燕.高?？萍紕?chuàng)新能力評價方法比較研究[J].中國高?？萍?，2014，（6）：51-53.

[13]吳忠謙.國家科技競爭力評價方法比較——基于國際典型案例的分析[J].科技管理研究，2019，39（19）：50-56.

[14]楊瑞仙，梁艷平.國內(nèi)外高校科研評價方法比較研究[J].情報雜志，2015，34（9）：107-110.

[15]雷佳麗，鄭軍衛(wèi).國內(nèi)外智庫評價方法比較分析[J].情報理論與實踐，2019，42（4）：166-171.

[16]俞立平，潘云濤，武夷山.科技評價中效用函數(shù)合成方法的比較研究[J].科技進步與對策，2010，27（1）：106-110.

[17]俞立平，潘云濤，武夷山.學(xué)術(shù)期刊多屬性評價方法的可比性研究[J].編輯學(xué)報，2010，22（5）：381-384.

[18]俞立平.線性科技評價中自然權(quán)重問題及修正研究——動態(tài)最大均值逼近標(biāo)準(zhǔn)化方法[J].統(tǒng)計與信息論壇，2018，33（10）：27-33.

[19]俞立平，潘云濤，武夷山.學(xué)術(shù)期刊非線性評價模擬權(quán)重的動態(tài)變化研究[J].軟科學(xué)，2011，25（4）：135-140.

[20]傅蓉.平衡計分卡指標(biāo)權(quán)重前后不一致現(xiàn)象研究[J].金融論壇，2011，16（9）：71-74.

[21]Hoerl A E，Kennard R W.Ridge Regression：Biased Estimation for Nonorthogonal Problems[J].Technometrics，2012，12（1）：55-67.

[22]Wold S，Martens H，Wold H.The Multivariate Calibration Problem in Chemistry Solved By the PLS Method[M].Edited by A Rule and B Kagstron，Springer-Verlag，Heidelberg，1983.

（責(zé)任編輯：陳 媛）

收稿日期：2021-05-13

基金項目：浙江省自然科學(xué)基金重點項目“制造業(yè)從數(shù)量型創(chuàng)新向質(zhì)量型創(chuàng)新轉(zhuǎn)型機制研究”（項目編號：Z21G030004）;浙江省一流學(xué)科A類項目（浙江工商大學(xué)統(tǒng)計學(xué)，管理科學(xué)與工程）;國家社會科學(xué)基金“學(xué)術(shù)期刊評價——指標(biāo)創(chuàng)新與方法研究”（項目編號：21FTQB016）。

作者簡介：俞立平（1967-），男，教授，博士，博士生導(dǎo)師，研究方向：技術(shù)經(jīng)濟、科技評價。張再杰（1969-），男，研究員，研究方向：區(qū)域經(jīng)濟、績效評價。