多屬性學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷問(wèn)題研究

關(guān)鍵詞：學(xué)術(shù)評(píng)價(jià)；多屬性評(píng)價(jià)；質(zhì)量診斷；指標(biāo)體系；復(fù)合評(píng)價(jià)；組合評(píng)價(jià)

多屬性學(xué)術(shù)評(píng)價(jià)方法在評(píng)價(jià)實(shí)務(wù)中占據(jù)十分重要的地位。目前政府組織的多數(shù)相關(guān)評(píng)價(jià)以及第三方進(jìn)行的有影響力的學(xué)術(shù)評(píng)價(jià)均采用基于指標(biāo)體系的多屬性學(xué)術(shù)評(píng)價(jià)方法。如國(guó)家級(jí)人才評(píng)價(jià)、教育部組織的學(xué)科評(píng)價(jià)、主流的大學(xué)評(píng)價(jià)、學(xué)術(shù)期刊評(píng)價(jià)等。實(shí)際上，多屬性學(xué)術(shù)評(píng)價(jià)方法已經(jīng)成為我國(guó)的學(xué)術(shù)評(píng)價(jià)默認(rèn)方法，盡管不同評(píng)價(jià)方法的技術(shù)細(xì)節(jié)相差較大。

不同多屬性學(xué)術(shù)評(píng)價(jià)方法結(jié)果各不相同，所以對(duì)評(píng)價(jià)方法進(jìn)行質(zhì)量診斷非常重要。質(zhì)量診斷早期以產(chǎn)品質(zhì)量、工序質(zhì)量為主，將其理論與方法移植到多屬性學(xué)術(shù)評(píng)價(jià)中同樣具有較大的現(xiàn)實(shí)意義。多屬性學(xué)術(shù)評(píng)價(jià)方法也稱(chēng)為指標(biāo)體系學(xué)術(shù)評(píng)價(jià)方法，從方法層面涉及的內(nèi)容較多，包括權(quán)重賦值、標(biāo)準(zhǔn)化方法、評(píng)價(jià)方法等，均屬于方法范疇。如果多屬性學(xué)術(shù)評(píng)價(jià)方法選擇錯(cuò)誤、應(yīng)用不合理，會(huì)影響評(píng)價(jià)結(jié)果質(zhì)量，嚴(yán)重時(shí)會(huì)導(dǎo)致評(píng)價(jià)失敗，浪費(fèi)大量的人力、物力和財(cái)力。此外，學(xué)術(shù)評(píng)價(jià)往往具有較大的社會(huì)影響，如果不注重評(píng)價(jià)方法的科學(xué)性、合理性，評(píng)價(jià)結(jié)果就沒(méi)有公信力。

開(kāi)展多屬性學(xué)術(shù)評(píng)價(jià)方法質(zhì)量診斷具有重要意義。在理論上，目前尚缺乏將質(zhì)量控制與質(zhì)量診斷理論應(yīng)用到學(xué)術(shù)評(píng)價(jià)的系統(tǒng)性研究，且該領(lǐng)域的研究尚處于萌芽期。開(kāi)展相關(guān)研究有利于完善科學(xué)計(jì)量學(xué)、信息計(jì)量學(xué)、文獻(xiàn)計(jì)量學(xué)、知識(shí)計(jì)量學(xué)、替代計(jì)量學(xué)等理論，同日寸豐富多元統(tǒng)計(jì)的質(zhì)量診斷理論與方法。在實(shí)踐上，有利于優(yōu)化學(xué)術(shù)評(píng)價(jià)方法，提高學(xué)術(shù)評(píng)價(jià)的科學(xué)性與評(píng)價(jià)結(jié)果的準(zhǔn)確性，從而提高學(xué)術(shù)評(píng)價(jià)的公信力。

1文獻(xiàn)綜述

質(zhì)量診斷與質(zhì)量控制理論最早主要應(yīng)用于工業(yè)生產(chǎn)、產(chǎn)品制造等物化領(lǐng)域，后來(lái)慢慢應(yīng)用到管理工作中。質(zhì)量管理大師Juran J將質(zhì)量保證活動(dòng)概括為3類(lèi)，即質(zhì)量計(jì)劃，質(zhì)量控制和質(zhì)量改進(jìn)。趙姝淳提出，需要對(duì)高校教育質(zhì)量目標(biāo)和計(jì)劃實(shí)施過(guò)程進(jìn)行診斷，找到問(wèn)題和原因，以保證教育質(zhì)量。王亞盛總結(jié)了EFQM質(zhì)量管理體系的理念與原則，并應(yīng)用在高職院校教學(xué)質(zhì)量診斷中。

關(guān)于質(zhì)量診斷方法，許多集中在產(chǎn)品生產(chǎn)技術(shù)層面，只有極少數(shù)研究涉及多屬性評(píng)價(jià)的質(zhì)量控制問(wèn)題。Montgomery D指出，多元統(tǒng)計(jì)的質(zhì)量控制問(wèn)題非常重要，如果不考慮過(guò)程變量之間的關(guān)系，用一元統(tǒng)計(jì)控制圖對(duì)多質(zhì)量特性的過(guò)程進(jìn)行監(jiān)控，很大可能會(huì)失效。耿修林分析了基于主成分分析的多元質(zhì)量控制圖的構(gòu)造，并結(jié)合企業(yè)數(shù)據(jù)進(jìn)行了案例分析。宋華明等應(yīng)用集成學(xué)習(xí)方法和控制圖來(lái)解決多元統(tǒng)計(jì)過(guò)程控制中的質(zhì)量診斷問(wèn)題。

目前，多屬性學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷問(wèn)題剛剛起步，缺乏全面系統(tǒng)的深入研究。關(guān)于工序質(zhì)量控制的方法和技術(shù)為多屬性學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷提供了一定的分析思路，但缺乏研究。多元統(tǒng)計(jì)的質(zhì)量診斷問(wèn)題主要集中在基礎(chǔ)研究，而學(xué)術(shù)評(píng)價(jià)是應(yīng)用基礎(chǔ)研究，所以?xún)H從基礎(chǔ)研究層面討論是嚴(yán)重不夠的。因此，本文在對(duì)多屬性學(xué)術(shù)評(píng)價(jià)方法進(jìn)行分類(lèi)的基礎(chǔ)上，分析評(píng)價(jià)方法對(duì)評(píng)價(jià)結(jié)果的影響機(jī)制，建立質(zhì)量診斷分析框架和質(zhì)量診斷評(píng)估體系，對(duì)其中的一些特殊問(wèn)題進(jìn)行討論，試圖建構(gòu)一套學(xué)術(shù)評(píng)價(jià)方法質(zhì)量診斷的理論框架，提出工作路徑。

2多屬性學(xué)術(shù)評(píng)價(jià)方法對(duì)評(píng)價(jià)結(jié)果的影響機(jī)制研究

2.1多屬性學(xué)術(shù)評(píng)價(jià)方法分類(lèi)

多屬性學(xué)術(shù)評(píng)價(jià)方法包括狹義的評(píng)價(jià)方法與廣義的評(píng)價(jià)方法。狹義的評(píng)價(jià)方法主要是指標(biāo)歸集匯總方法，廣義的學(xué)術(shù)評(píng)價(jià)方法還包括賦權(quán)方法。本文討論以狹義的評(píng)價(jià)方法為主，兼顧權(quán)重賦值。評(píng)價(jià)方法分類(lèi)體系如圖1所示。

根據(jù)評(píng)價(jià)工作的主、客觀性可以分為主觀評(píng)價(jià)方法與客觀評(píng)價(jià)方法。主觀評(píng)價(jià)方法是在評(píng)價(jià)中包含了人為因素，比如專(zhuān)家賦權(quán)。客觀評(píng)價(jià)方法是指整個(gè)評(píng)價(jià)全部由客觀數(shù)據(jù)決定，人工只負(fù)責(zé)計(jì)算，但實(shí)際上，嚴(yán)格意義上講并沒(méi)有完全客觀的評(píng)價(jià)方法，因?yàn)榭陀^評(píng)價(jià)方法的選取也是人為的，盡管評(píng)價(jià)方法是客觀的。

根據(jù)評(píng)價(jià)結(jié)果與評(píng)價(jià)指標(biāo)的關(guān)系以及評(píng)價(jià)方法的種類(lèi)，可以分為線性評(píng)價(jià)方法、非線性評(píng)價(jià)方法、組合評(píng)價(jià)方法。線性評(píng)價(jià)方法是對(duì)評(píng)價(jià)指標(biāo)進(jìn)行加權(quán)匯總得到評(píng)價(jià)結(jié)果，如線性加權(quán)匯總方法：非線性評(píng)價(jià)方法是基于一定的數(shù)學(xué)模型進(jìn)行評(píng)價(jià)，評(píng)價(jià)結(jié)果與評(píng)價(jià)指標(biāo)之間是非線性關(guān)系，如DEA效率分析、TOPSIS、主成分分析等。無(wú)論是線性評(píng)價(jià)方法還是非線性評(píng)價(jià)方法，都是一種單一的評(píng)價(jià)方法，復(fù)合評(píng)價(jià)方法是將數(shù)種單一評(píng)價(jià)方法整合為一種評(píng)價(jià)方法：組合評(píng)價(jià)方法是將數(shù)種單一評(píng)價(jià)方法的評(píng)價(jià)結(jié)果根據(jù)一定的方法進(jìn)行組合，得到評(píng)價(jià)結(jié)果，是一種相對(duì)復(fù)雜的評(píng)價(jià)方法。

2.2多屬性評(píng)價(jià)方法對(duì)評(píng)價(jià)結(jié)果的影響

多屬性評(píng)價(jià)方法大致分為指標(biāo)選取、數(shù)據(jù)標(biāo)準(zhǔn)化、權(quán)重賦值、方法選取、計(jì)算分析，最后得到評(píng)價(jià)結(jié)果。從狹義的評(píng)價(jià)方法角度，某種具體的方法對(duì)應(yīng)唯一的評(píng)價(jià)結(jié)果，選擇的評(píng)價(jià)方法不同，評(píng)價(jià)結(jié)果也不相同，所以評(píng)價(jià)方法發(fā)揮著重要的作用。從廣義的評(píng)價(jià)方法角度，權(quán)重賦值方法不同，評(píng)價(jià)方法選取不同，評(píng)價(jià)結(jié)果不同，是權(quán)重賦值方法與評(píng)價(jià)方法共同決定評(píng)價(jià)結(jié)果，如圖2所示。

影響評(píng)價(jià)結(jié)果的不僅僅是評(píng)價(jià)方法，還有數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)化方法等，因此對(duì)評(píng)價(jià)結(jié)果的分析要全面系統(tǒng)，不能簡(jiǎn)單只從評(píng)價(jià)方法角度尋找原因。

2.3多屬性學(xué)術(shù)評(píng)價(jià)方法診斷的必要性

由于評(píng)價(jià)方法對(duì)多屬性學(xué)術(shù)評(píng)價(jià)結(jié)果的影響很大，如果方法選擇錯(cuò)誤、方法誤用，就會(huì)導(dǎo)致評(píng)價(jià)結(jié)果錯(cuò)誤，從而降低了多屬性學(xué)術(shù)評(píng)價(jià)的科學(xué)性與公信力。實(shí)際上，多屬性學(xué)術(shù)評(píng)價(jià)方法質(zhì)量診斷問(wèn)題較少得到關(guān)注，而評(píng)價(jià)方法眾多，評(píng)價(jià)者許多對(duì)評(píng)價(jià)方法的技術(shù)細(xì)節(jié)了解不夠，已經(jīng)成為多屬性學(xué)術(shù)評(píng)價(jià)質(zhì)量的重大隱含問(wèn)題，所以加強(qiáng)多屬性學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷研究，將這項(xiàng)工作列為常規(guī)的工作程序，成為迫在眉睫的任務(wù)。

3多屬性學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷

3.1學(xué)術(shù)評(píng)價(jià)方法質(zhì)量診斷框架

多屬性學(xué)術(shù)評(píng)價(jià)方法質(zhì)量診斷框架如圖3所示。包括初次診斷與二次診斷兩個(gè)步驟，初次診斷主要包括方法適用性、方法自身技術(shù)；二次診斷包括評(píng)價(jià)結(jié)果統(tǒng)計(jì)特征、評(píng)價(jià)結(jié)果合理性、權(quán)重合理性等。

實(shí)際上，許多權(quán)重賦值或評(píng)價(jià)方法在具體應(yīng)用時(shí)尚有一些技術(shù)細(xì)節(jié)，還有一些可變的選項(xiàng)，比如因子分析中的矩陣旋轉(zhuǎn)方法就有多種，因此并非權(quán)重賦值與評(píng)價(jià)方法確定，評(píng)價(jià)結(jié)果就唯一了。

3.2初次評(píng)價(jià)方法診斷

3.2.1方法適用性診斷

方法適用性診斷就是對(duì)某種評(píng)價(jià)方法的特點(diǎn)和應(yīng)用場(chǎng)景的適用性進(jìn)行診斷。這種診斷其實(shí)是非常困難的，比如線性加權(quán)匯總方法總體上強(qiáng)調(diào)不同指標(biāo)之間是互補(bǔ)的，可以無(wú)限替代，在學(xué)術(shù)評(píng)價(jià)中，如果科研質(zhì)量指標(biāo)是非常關(guān)鍵的，不能簡(jiǎn)單用其他指標(biāo)替代，或者只能部分替代，此時(shí)就不能采用線性加權(quán)匯總方法，用乘法合成會(huì)更好。因子分析評(píng)價(jià)適用于評(píng)價(jià)指標(biāo)高度相關(guān)的場(chǎng)合，比如在科技評(píng)價(jià)中，如果采用科技投入、科技產(chǎn)出和成果轉(zhuǎn)化3個(gè)一級(jí)指標(biāo)進(jìn)行評(píng)價(jià)，但由于某種原因評(píng)價(jià)對(duì)象的成果轉(zhuǎn)化工作普遍不好，那么成果轉(zhuǎn)化與科技投入、科技產(chǎn)出之間的相關(guān)度就不高，此時(shí)就不適宜采用因子分析法進(jìn)行評(píng)價(jià)。

3.2.2方法自身技術(shù)

包括方法應(yīng)用檢驗(yàn)、方法正確性檢驗(yàn)、最新優(yōu)化方法應(yīng)用檢驗(yàn)3個(gè)部分。

第一，方法應(yīng)用檢驗(yàn)。一些評(píng)價(jià)方法，有應(yīng)用的前置條件或合適性檢驗(yàn)，比如對(duì)于主成分與因子分析，需要進(jìn)行KMO檢驗(yàn)與Bartlett檢驗(yàn)，看看是否符合方法應(yīng)用的前置條件。對(duì)于層次分析法AHP，需要進(jìn)行排序一致性CR檢驗(yàn)，看賦權(quán)邏輯是否能自圓其說(shuō)。目前大多數(shù)多屬性評(píng)價(jià)方法，并沒(méi)有相關(guān)檢驗(yàn)方法。

第二，方法正確性檢驗(yàn)。此檢驗(yàn)是看方法應(yīng)用是否正確，有無(wú)錯(cuò)誤。一些多屬性評(píng)價(jià)方法比較復(fù)雜，技術(shù)要求高，模型龐大。比如DEA效率分析，其模型有上千個(gè)，如果用于學(xué)術(shù)評(píng)價(jià)，一定要根據(jù)評(píng)價(jià)實(shí)際選取相應(yīng)的模型，并設(shè)置好相應(yīng)參數(shù)。在具體軟件操作時(shí)，一定要充分了解并注意設(shè)置好各種選項(xiàng)，確保軟件運(yùn)行結(jié)果正確。

第三，最新優(yōu)化方法應(yīng)用檢驗(yàn)。學(xué)術(shù)評(píng)價(jià)方法是在不斷發(fā)展的，一定要注意最新成果的應(yīng)用。任何評(píng)價(jià)方法都不是盡善盡美的，總在不斷優(yōu)化中。要關(guān)注所選學(xué)術(shù)評(píng)價(jià)方法的最優(yōu)成果，看看該方法的不足和弱點(diǎn)是什么？現(xiàn)有優(yōu)化方案解決了哪些問(wèn)題？這些改進(jìn)對(duì)現(xiàn)有評(píng)價(jià)有沒(méi)有啟示？這樣可以確保評(píng)價(jià)方法的先進(jìn)性，也便于改進(jìn)傳統(tǒng)方法的問(wèn)題。當(dāng)然如果一些優(yōu)化和改進(jìn)對(duì)學(xué)術(shù)評(píng)價(jià)影響不大，則輕易不要采用，畢竟尊重權(quán)威的方法還是有意義的。

3.3二次評(píng)價(jià)方法診斷

3.3.1權(quán)重合理性診斷

權(quán)重合理性診斷是從廣義的多屬性評(píng)價(jià)方法角度出發(fā)的。權(quán)重與評(píng)價(jià)指標(biāo)是對(duì)應(yīng)的，權(quán)重的合理性也是一種主觀診斷方法。不管任何多屬性評(píng)價(jià)方法，如果權(quán)重不合理，比如不符合國(guó)家政策導(dǎo)向，不符合評(píng)價(jià)目的，不符合管理需求，那說(shuō)明權(quán)重賦值本身就值得商榷。權(quán)重的本質(zhì)就是指標(biāo)的重要性，而這種重要性具有很強(qiáng)的主觀能動(dòng)性，不是任何客觀評(píng)價(jià)方法可以左右的。

權(quán)重診斷路徑如圖4所示。對(duì)于線性多屬性評(píng)價(jià)方法，不管其賦權(quán)方法如何，總有權(quán)重，那么可以直接進(jìn)行權(quán)重合理性診斷。對(duì)于非線性評(píng)價(jià)方法，又區(qū)分為需要賦權(quán)和不需要賦權(quán)兩種情況，對(duì)于需要賦權(quán)的非線性評(píng)價(jià)方法，也是可以直接進(jìn)行權(quán)重診斷的。

非線性評(píng)價(jià)方法的賦權(quán)包括無(wú)需賦權(quán)和需要賦權(quán)兩種。對(duì)于無(wú)需賦權(quán)的非線性評(píng)價(jià)方法，可以采用模擬權(quán)重進(jìn)行賦權(quán)。模擬權(quán)重由俞立平等首次提出，其基本原理是將評(píng)價(jià)結(jié)果作為因變量，評(píng)價(jià)指標(biāo)作為自變量進(jìn)行回歸，再將回歸系數(shù)進(jìn)行歸一化處理。其中，要考慮指標(biāo)眾多導(dǎo)致的多重共線性問(wèn)題，可以采用嶺回歸、偏最小二乘回歸、主成分回歸等手段。由于模擬權(quán)重計(jì)算是在評(píng)價(jià)結(jié)果獲取以后，所以將權(quán)重診斷放在二次診斷環(huán)節(jié)。

對(duì)于需要賦權(quán)的非線性評(píng)價(jià)方法，權(quán)重僅是一種中間手段，而模擬權(quán)重是最終指標(biāo)重要性的反映，所以更能說(shuō)明問(wèn)題。實(shí)際上對(duì)于需要賦權(quán)的非線性評(píng)價(jià)方法，存在兩輪權(quán)重檢驗(yàn)，一是原來(lái)的權(quán)重檢驗(yàn)，二是模擬權(quán)重檢驗(yàn)。以加權(quán)TOPSIS評(píng)價(jià)法為例，這是一種非線性賦權(quán)評(píng)價(jià)方法，評(píng)價(jià)權(quán)重僅僅是一種中間結(jié)果，最終反映指標(biāo)重要性的是模擬權(quán)重，其合理性更加重要。

3.3.2評(píng)價(jià)結(jié)果的統(tǒng)計(jì)特征診斷

評(píng)價(jià)結(jié)果的統(tǒng)計(jì)特征診斷包括評(píng)價(jià)結(jié)果的數(shù)據(jù)分布和區(qū)分度兩個(gè)方面，主要體現(xiàn)評(píng)價(jià)結(jié)果是否滿(mǎn)足實(shí)際學(xué)術(shù)評(píng)價(jià)的統(tǒng)計(jì)需求。

第一，評(píng)價(jià)結(jié)果的數(shù)據(jù)分布。研究希望評(píng)價(jià)結(jié)果能夠服從正態(tài)分布，盡管學(xué)術(shù)評(píng)價(jià)指標(biāo)尤其是文獻(xiàn)計(jì)量指標(biāo)并不服從正態(tài)分布，但采用多屬性評(píng)價(jià)方法，尤其是非線性評(píng)價(jià)方法，會(huì)改善這種情況。評(píng)價(jià)結(jié)果越接近正態(tài)分布，一般認(rèn)為這種情況展示性越好?？刹捎肑aque-Bera檢驗(yàn)值確定。JB統(tǒng)計(jì)量如式（1）所示：

第二，評(píng)價(jià)結(jié)果的區(qū)分度?？刹捎秒x散系數(shù)來(lái)進(jìn)行相應(yīng)測(cè)度，離散系數(shù)越大，說(shuō)明評(píng)價(jià)結(jié)果的區(qū)分度越好。

3.3.3評(píng)價(jià)結(jié)果的合理性診斷

包括排序合理性診斷與評(píng)價(jià)結(jié)果相關(guān)性診斷兩個(gè)方面。評(píng)價(jià)結(jié)果的排序合理診斷主要看評(píng)價(jià)結(jié)果的排序是否符合人們的預(yù)期，比如通常情況下，清華大學(xué)與北京大學(xué)的科研總體水平應(yīng)該排在全國(guó)高校的前兩位，如果某種評(píng)價(jià)結(jié)果將這兩所高校的排名排在前兩名之外，一般來(lái)說(shuō)一定存在評(píng)價(jià)問(wèn)題。評(píng)價(jià)結(jié)果相關(guān)性診斷主要看評(píng)價(jià)結(jié)果與其他可比評(píng)價(jià)結(jié)果或相關(guān)指標(biāo)的相關(guān)系數(shù)是否符合預(yù)期，比如基于中國(guó)知網(wǎng)數(shù)據(jù)進(jìn)行學(xué)術(shù)期刊評(píng)價(jià)，可以將評(píng)價(jià)結(jié)果與中國(guó)知網(wǎng)的CI指數(shù)進(jìn)行回歸，一般相關(guān)系數(shù)不宜低于0.70。

需要特別注意的是，評(píng)價(jià)結(jié)果的影響因素眾多，不單是評(píng)價(jià)方法導(dǎo)致，如圖5所示。指標(biāo)數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)化方法、權(quán)重賦值方法、評(píng)價(jià)方法選擇與應(yīng)用等均會(huì)影響評(píng)價(jià)結(jié)果。所以一定要排除其他環(huán)節(jié)可能存在的問(wèn)題，在保證其他環(huán)節(jié)沒(méi)有問(wèn)題的情況下，那么評(píng)價(jià)結(jié)果異常的原因就可以集中到評(píng)價(jià)方法上。

3.4評(píng)價(jià)方法診斷指標(biāo)體系

為了便于給多屬性評(píng)價(jià)方法的診斷進(jìn)行打分，建立如表1的診斷指標(biāo)體系。指標(biāo)體系建立框架從方法選擇、方法檢驗(yàn)、權(quán)重、評(píng)價(jià)結(jié)果等方面綜合體現(xiàn)，即圖3的框架。根據(jù)相關(guān)一級(jí)指標(biāo)和二級(jí)指標(biāo)進(jìn)行打分，最后根據(jù)權(quán)重進(jìn)行加權(quán)匯總，就得到評(píng)價(jià)方法的總體診斷得分。各診斷指標(biāo)的權(quán)重通過(guò)專(zhuān)家會(huì)議法確定，邀請(qǐng)了情報(bào)學(xué)、統(tǒng)計(jì)學(xué)、管理科學(xué)領(lǐng)域的7名專(zhuān)家進(jìn)行了3輪賦權(quán)，最終權(quán)重結(jié)果得到了公認(rèn)。指標(biāo)打分采取百分制。如果評(píng)價(jià)總分低于70，一般說(shuō)明評(píng)價(jià)方法診斷效果較低，需要慎重處理。

3.5評(píng)價(jià)方法診斷結(jié)果的處理方式

多屬性評(píng)價(jià)方法診斷，一定是面向現(xiàn)有評(píng)價(jià)方法的，如果經(jīng)過(guò)上述流程的所有診斷，就能確定評(píng)價(jià)方法存在的問(wèn)題。對(duì)于線性評(píng)價(jià)方法，由于其相對(duì)簡(jiǎn)單，因此重點(diǎn)是圍繞權(quán)重設(shè)置進(jìn)行優(yōu)化。對(duì)于非線性評(píng)價(jià)方法，要針對(duì)權(quán)重設(shè)置與評(píng)價(jià)方法進(jìn)行全方位檢查與優(yōu)化，然后再重新進(jìn)行評(píng)價(jià)方法診斷。經(jīng)過(guò)數(shù)輪處理，如果還是無(wú)法通過(guò)評(píng)價(jià)方法檢驗(yàn)，那么就要更換評(píng)價(jià)方法，重新評(píng)價(jià)，并重新進(jìn)行評(píng)價(jià)方法檢驗(yàn)，如圖6所示。

4討論

4.1復(fù)合評(píng)價(jià)與組合評(píng)價(jià)方法診斷問(wèn)題

復(fù)合評(píng)價(jià)方法是將幾種單一的多屬性評(píng)價(jià)方法進(jìn)行一定的再創(chuàng)作，變成一種評(píng)價(jià)方法，再進(jìn)行評(píng)價(jià)。如采用熵權(quán)TOPSIS評(píng)價(jià)學(xué)術(shù)期刊，就是將熵權(quán)法與TOPSIS法結(jié)合，在賦權(quán)時(shí)采用熵權(quán)法，再采用加權(quán)TOPSIS進(jìn)行評(píng)價(jià)。

組合評(píng)價(jià)方法是采用幾種單一的評(píng)價(jià)方法分別進(jìn)行評(píng)價(jià)，然后將評(píng)價(jià)結(jié)果按照一定的方法進(jìn)行組合，最后得到評(píng)價(jià)結(jié)果。比如同時(shí)采用熵權(quán)法、主成分分析、TOPSIS、CRITIC進(jìn)行學(xué)術(shù)期刊評(píng)價(jià)，得到4種評(píng)價(jià)結(jié)果，然后再采用Borda法進(jìn)行組合，得到評(píng)價(jià)結(jié)果。

復(fù)合評(píng)價(jià)與組合評(píng)價(jià)的共性包括3點(diǎn)：第一是評(píng)價(jià)流程完備，畢竟是多屬性評(píng)價(jià)方法，其評(píng)價(jià)流程大同小異；第二是評(píng)價(jià)方法多種，至少兩種多屬性評(píng)價(jià)方法參與評(píng)價(jià)起步，多則數(shù)種，但組合評(píng)價(jià)方法用到的單一多屬性評(píng)價(jià)方法會(huì)更多：第三是評(píng)價(jià)結(jié)果復(fù)雜，畢竟是數(shù)種方法的結(jié)果。

此外，對(duì)于組合評(píng)價(jià)方法而言，組合方法眾多，如果將單一多屬性評(píng)價(jià)方法的評(píng)價(jià)結(jié)果作為評(píng)價(jià)指標(biāo)，那么所有的多屬性評(píng)價(jià)方法都可以用來(lái)作為組合方法，所以組合方法選擇缺乏唯一性，評(píng)價(jià)結(jié)果就更復(fù)雜，如圖7所示。

基于以上情況，不建議采用組合評(píng)價(jià)方法，并且要慎重采用復(fù)合評(píng)價(jià)方法。復(fù)合評(píng)價(jià)方法相對(duì)而言單一多屬性評(píng)價(jià)方法少一點(diǎn)，評(píng)價(jià)方法診斷盡管復(fù)雜，也相對(duì)容易一點(diǎn)。

4.2純客觀評(píng)價(jià)方法的結(jié)果合理性診斷問(wèn)題

純客觀評(píng)價(jià)方法的結(jié)果合理性問(wèn)題其實(shí)在學(xué)術(shù)界經(jīng)過(guò)了長(zhǎng)期的討論，但迄今尚未達(dá)成共識(shí)。純客觀評(píng)價(jià)方法就是完全依賴(lài)客觀數(shù)據(jù)進(jìn)行評(píng)價(jià)的方法，包括權(quán)重賦值客觀、評(píng)價(jià)方法客觀等。相對(duì)主觀評(píng)價(jià)方法而言，特別是主觀權(quán)重賦值不具有唯一性，導(dǎo)致評(píng)價(jià)結(jié)果并非唯一的，純客觀評(píng)價(jià)方法至少在這一點(diǎn)上具有唯一性和科學(xué)性。

評(píng)價(jià)是一個(gè)價(jià)值與倫理問(wèn)題，而非純技術(shù)問(wèn)題。學(xué)術(shù)評(píng)價(jià)工作畢竟是一項(xiàng)管理工作，評(píng)價(jià)的本質(zhì)也是主觀的，這就導(dǎo)致純客觀評(píng)價(jià)方法本身就不具有管理與評(píng)價(jià)基礎(chǔ)。所以對(duì)于純客觀評(píng)價(jià)方法而言，有必要進(jìn)行主客觀診斷，如圖8所示。也就是說(shuō)，對(duì)于純客觀評(píng)價(jià)方法而言，既要進(jìn)行主觀診斷方法為主的權(quán)重合理性和評(píng)價(jià)結(jié)果合理性診斷，也要進(jìn)行客觀診斷方法為主的方法合適性、方法自身技術(shù)、結(jié)果統(tǒng)計(jì)特征診斷。

5研究結(jié)論

5.1必須重視評(píng)價(jià)方法診斷并將其納入評(píng)價(jià)日常工作

學(xué)術(shù)評(píng)價(jià)方法以指標(biāo)體系多屬性評(píng)價(jià)為主，廣義的評(píng)價(jià)方法包括權(quán)重賦值方法與結(jié)果計(jì)算方法，對(duì)評(píng)價(jià)結(jié)果影響巨大。如何分離出數(shù)據(jù)處理、標(biāo)準(zhǔn)化、權(quán)重賦值、評(píng)價(jià)方法各部分的影響本身也比較復(fù)雜，如果不進(jìn)行系統(tǒng)的評(píng)價(jià)方法診斷很難找出評(píng)價(jià)方法存在的問(wèn)題，從而影響評(píng)價(jià)質(zhì)量，而目前學(xué)術(shù)評(píng)價(jià)方法診斷的研究總體上尚處于起步階段。在這樣的背景下，重視學(xué)術(shù)評(píng)價(jià)方法的質(zhì)量診斷，研究其理論與方法，并將其融人日常評(píng)價(jià)工作至關(guān)重要。

5.2應(yīng)建立主客觀相結(jié)合的評(píng)價(jià)方法診斷路徑

從客觀角度，評(píng)價(jià)方法診斷包括方法適用性、方法正確性、評(píng)價(jià)結(jié)果統(tǒng)計(jì)特征；從主觀角度，診斷方法包括評(píng)價(jià)權(quán)重或模擬權(quán)重的合理性、評(píng)價(jià)結(jié)果的合理性?？刹捎迷u(píng)價(jià)方法診斷指標(biāo)體系對(duì)多屬性學(xué)術(shù)評(píng)價(jià)方法進(jìn)行打分，如果分值低于0.8，在無(wú)法優(yōu)化評(píng)價(jià)方法的情況下就要選擇更換評(píng)價(jià)方法。這里需要強(qiáng)調(diào)一下主觀診斷的重要性，畢竟評(píng)價(jià)的本質(zhì)含義是“對(duì)人對(duì)事物的看法”，天生具有主觀特性，而權(quán)重的本質(zhì)含義是“重要性”，也是主觀的，因此對(duì)任何評(píng)價(jià)方法進(jìn)行主觀診斷，不僅是可行的，也是必須的。

5.3建議取消組合評(píng)價(jià)慎用復(fù)合評(píng)價(jià)

組合評(píng)價(jià)與復(fù)合評(píng)價(jià)涉及的評(píng)價(jià)方法眾多，評(píng)價(jià)結(jié)果復(fù)雜，并且組合評(píng)價(jià)方法的組合方法眾多，因此對(duì)于組合評(píng)價(jià)，很難進(jìn)行有效的評(píng)價(jià)方法診斷，對(duì)于復(fù)合評(píng)價(jià)，評(píng)價(jià)方法診斷也容易失效，所以對(duì)于這兩類(lèi)評(píng)價(jià)方法的應(yīng)用要客觀對(duì)待，建議一般情況下不宜采用組合評(píng)價(jià)方法進(jìn)行學(xué)術(shù)評(píng)價(jià)，對(duì)于復(fù)合評(píng)價(jià)方法，也要慎重選取。

5.4注重加強(qiáng)主觀評(píng)價(jià)方法的規(guī)范性

主觀評(píng)價(jià)方法的技術(shù)性相對(duì)較弱，權(quán)重賦值是其關(guān)鍵環(huán)節(jié)，其他包括標(biāo)準(zhǔn)化方法以及加權(quán)匯總方法等。在評(píng)價(jià)方法診斷時(shí)，一定要重視同行評(píng)議專(zhuān)家遴選的廣泛性、代表性和規(guī)范性，在權(quán)重賦值時(shí)一定要注意賦值方法與賦權(quán)流程的規(guī)范性和嚴(yán)謹(jǐn)性，以努力保證主觀評(píng)價(jià)方法的穩(wěn)定性。

5.5將評(píng)價(jià)方法診斷思想前移到評(píng)價(jià)過(guò)程中有利于提高評(píng)價(jià)質(zhì)量

在學(xué)術(shù)評(píng)價(jià)中，如果在評(píng)價(jià)結(jié)果初步完成時(shí)進(jìn)行評(píng)價(jià)方法診斷，固然有利于反思評(píng)價(jià)，找出問(wèn)題，優(yōu)化評(píng)價(jià)方法，但如果一開(kāi)始就將相關(guān)思想融人到評(píng)價(jià)工作的各環(huán)節(jié)中，有助于改進(jìn)學(xué)術(shù)評(píng)價(jià)各環(huán)節(jié)的質(zhì)量，同時(shí)減少后期評(píng)價(jià)方法診斷的工作量，對(duì)于整個(gè)評(píng)價(jià)工作質(zhì)量提高更是大有裨益。