確定專家權(quán)重的數(shù)量積法及在排名中的應(yīng)用

郭東威,丁根宏,毛俊誠,陳玉磊

(1.河海大學(xué)理學(xué)院,江蘇 南京 211100;2.北京科技大學(xué)數(shù)理學(xué)院,北京 100083)

確定專家權(quán)重的數(shù)量積法及在排名中的應(yīng)用

郭東威1,丁根宏1,毛俊誠1,陳玉磊2

(1.河海大學(xué)理學(xué)院,江蘇 南京 211100;2.北京科技大學(xué)數(shù)理學(xué)院,北京 100083)

對(duì)群決策及殘缺主觀評(píng)價(jià)系統(tǒng)研究分析,發(fā)現(xiàn)直接對(duì)評(píng)分取均值排名會(huì)因?qū)＜掖蚍殖叨鹊牟煌瑤磔^大誤差,雖然T分?jǐn)?shù)法可以將打分尺度統(tǒng)一,但是缺乏對(duì)專家評(píng)價(jià)對(duì)象不同的考慮.為減小此系統(tǒng)誤差,提出了一種確定專家權(quán)重的數(shù)量積法,并將其應(yīng)用于論文型競賽排名系統(tǒng).與傳統(tǒng)方法及T分?jǐn)?shù)法比較,對(duì)T分?jǐn)?shù)求加權(quán)平均值排名,提高了主觀名次與客觀名次的重合度,減小了其亂序度.計(jì)算歐氏距離,證明新方法減小了評(píng)委打分的誤差度及論文的爭議度.

主觀評(píng)價(jià);數(shù)量積;權(quán)重;殘缺評(píng)分矩陣;系統(tǒng)誤差

在群決策中,尤其是主觀評(píng)價(jià)系統(tǒng),專家權(quán)重起著至關(guān)重要的作用,它直接影響著決策的結(jié)果.專家權(quán)重可分為先驗(yàn)權(quán)重和后驗(yàn)權(quán)重[1].先驗(yàn)權(quán)重由相關(guān)的先驗(yàn)信息(如歷史數(shù)據(jù))計(jì)算得出,是對(duì)專家知識(shí)、經(jīng)驗(yàn)、能力、水平、期望及偏好等的綜合數(shù)量表示.確定先驗(yàn)權(quán)重常用的方法有AHP法、Delphi法、利用互評(píng)的方法[2-3]、夏普利—舒筆克權(quán)力指數(shù)法[4]、班扎夫權(quán)力指數(shù)法[4]等.后驗(yàn)權(quán)重是將專家決策結(jié)果與實(shí)際比較,確定前者相對(duì)于后者的偏離程度,通過反饋信息、逆判進(jìn)行賦權(quán).確定后驗(yàn)權(quán)重的方法有利用均衡指標(biāo)CHI的方法[5]、利用一致性指標(biāo)的方法[2]、最大特征值方法[6]、導(dǎo)出矩陣的方法[6]、相似度函數(shù)方法[7]、信息熵的權(quán)力指數(shù)法[3]等.此外,Patrik Eklund等[8]研究了滿足共識(shí)度和規(guī)模度的群決策中專家交互過程問題[8].已有的方法側(cè)重點(diǎn)各有不同,涉及具體問題時(shí)可根據(jù)各方法的特點(diǎn)采用一種或多種方法來考查問題.群決策論文型競賽名次問題是一類主觀評(píng)價(jià)性問題,由于各評(píng)委打分習(xí)慣及把握評(píng)分標(biāo)準(zhǔn)的不同,使得決策誤差較大.目前已有不少專家學(xué)者對(duì)此問題做了深入的研究,比如T分?jǐn)?shù)法[9],基于神經(jīng)網(wǎng)絡(luò)技術(shù)的評(píng)卷模式[10],對(duì)殘缺數(shù)據(jù)進(jìn)行填補(bǔ)[11-12]等.本研究在前人研究的基礎(chǔ)上,提出了確定專家權(quán)重的數(shù)量積法,通過論文型競賽排名的模擬試驗(yàn),證明該權(quán)重可以有效減小此類決策的誤差,增強(qiáng)了決策的科學(xué)性準(zhǔn)確性.

1 確定專家權(quán)重的數(shù)量積法

2 在論文型競賽排名中的應(yīng)用

2.1 論文分配模型

在大型競賽中,比如全國大學(xué)生數(shù)學(xué)建模競賽,由于工作量、時(shí)間等原因,每位評(píng)委不能評(píng)閱每份論文.為使決策公平公正科學(xué)化,只能在某種最優(yōu)準(zhǔn)則下,每篇論文由隨機(jī)的幾個(gè)評(píng)委逐一評(píng)分.因此,評(píng)分矩陣A=(aij)m×n是殘缺不全的,殘缺部位可用0填充.

設(shè)共有參賽論文n份,隨機(jī)編號(hào)為1-n;評(píng)委m位,隨機(jī)編號(hào)為1-m.每份試卷由t位評(píng)委評(píng)分.

論文分配的數(shù)學(xué)模型:

目標(biāo)函數(shù) min{z=(maxQi-minQi)} .

目標(biāo)函數(shù)說明:使得任意2個(gè)評(píng)委所評(píng)閱論文的數(shù)量盡可能接近.

2.2 常用排名方法簡介

方法1(傳統(tǒng)方法): 直接對(duì)各篇論文的原始得分取平均值進(jìn)行排名.

方法2(T分?jǐn)?shù)法): 將原始評(píng)分按公式(1)轉(zhuǎn)換后的分?jǐn)?shù)bij稱為T分?jǐn)?shù),依據(jù)T分?jǐn)?shù)均值對(duì)論文排名的方法稱為T分?jǐn)?shù)法.

(1)

2.3 評(píng)委權(quán)重及競賽名次的確定

假設(shè):(1) 每個(gè)評(píng)委都有較高的評(píng)閱水平,即他對(duì)一組論文進(jìn)行排名應(yīng)和該組論文的真實(shí)排名不會(huì)出現(xiàn)嚴(yán)重不合,誤判情況除外.(2) 每個(gè)評(píng)委都是公正的,即如果他認(rèn)為論文A優(yōu)于論文B,則應(yīng)有A的分值大于B的分值.

3 模擬試驗(yàn)及對(duì)比分析

3.1 成績的生成

統(tǒng)計(jì)資料表明,在大型競賽中,考生總體成績合理有效的分布應(yīng)該呈對(duì)稱正態(tài)分布或正偏態(tài)分布,因此本文所做的100次模擬試驗(yàn)中,論文的客觀成績、各評(píng)委所打的分?jǐn)?shù)均服從正態(tài)分布,具體操作如下.

3.2 檢驗(yàn)排名結(jié)果好壞的指標(biāo)

定義1 主觀名次:一篇論文依據(jù)評(píng)委的打分排名得到的名次稱為主觀名次.第j篇論文的主觀名次記為tj,其客觀名次記為pj.

定義2 重合度:主觀名次與客觀名次相同的個(gè)數(shù)稱為重合度,用C表示.顯然,重合度越大越好.

定義3 亂序度: 每篇論文的主觀名次與其客觀名次之差的絕對(duì)值的和稱為亂序度,用D表示.則

顯然,亂序度越小越好.

3.3 對(duì)評(píng)委評(píng)分誤差度及論文爭議度的分析

考查評(píng)委評(píng)分的誤差度及論文的爭議度,可以引入歐氏距離來測(cè)度,即對(duì)第i號(hào)評(píng)委,有

(2)

對(duì)第j篇論文,有

(3)

3.4 具體試驗(yàn)及結(jié)果分析

取論文數(shù)量n=40,評(píng)委數(shù)m=5,進(jìn)行隨機(jī)模擬N=100次試驗(yàn),并將本文方法的結(jié)果與排名方法1、方法2的結(jié)果作比較,具體見表1.為方便起見,以下稱本文方法為方法3.

表1 100次試驗(yàn)結(jié)果

從表1可以明顯看出方法3的排名效果要優(yōu)于方法1與方法2,說明評(píng)委權(quán)重大大優(yōu)化了排名的結(jié)果.

下面給出其中的一次試驗(yàn),具體數(shù)據(jù)及3種方法的排名結(jié)果見表2,評(píng)委權(quán)重見表3,3種排名方法的結(jié)果比較見表4.由表2可以知道每位評(píng)委評(píng)閱論文24份,說明了本文給出的論文分配模型的可行性.由表2、表4不難看出方法1的排名效果最差,而且容易出現(xiàn)得分相同的現(xiàn)象;方法2和方法3在最終的得分上有1分左右的差別,這是由于不同評(píng)委所評(píng)閱的論文水平的差異引起的,由權(quán)重予以修正的方法3的排名結(jié)果要比方法2更科學(xué).

圖1、圖2分別利用式(2)、(3)的分析模型,比較了3種排名方法的結(jié)果,顯然新方法明顯降低了評(píng)分誤差度,提高了評(píng)委的準(zhǔn)確度,減小了論文的爭議度,因此排名結(jié)果更科學(xué)合理.

表2 成績及名次

表3 評(píng)委權(quán)重

表4 結(jié)果比較

圖1 評(píng)分誤差度比較

圖2 論文爭議度比較

4 結(jié)束語

合理確定專家的權(quán)重,可以有效提高決策的科學(xué)性準(zhǔn)確性.通過對(duì)群決策及主觀評(píng)價(jià)系統(tǒng)的研究分析,筆者發(fā)現(xiàn),在主觀評(píng)分系統(tǒng)中專家權(quán)重的大小主要反映的并非專家權(quán)威的大小,而是專家評(píng)分的習(xí)慣.比如對(duì)于被評(píng)對(duì)象A與B,甲專家評(píng)分可能為65和80,而乙專家評(píng)分可能為45和60,但這并不影響決策的結(jié)果.在大型評(píng)價(jià)系統(tǒng)中,被評(píng)對(duì)象就有很多,即使各專家都有相當(dāng)高的評(píng)估水平,也難免出現(xiàn)意見不同的情況.若直接取均分,由于存在專家評(píng)分高低不等的系統(tǒng)誤差,使得決策結(jié)果誤差較大.因此,確定專家權(quán)重的一個(gè)重要原則就是在不改變?cè)u(píng)價(jià)對(duì)象在各評(píng)委心目中的地位的前提下,增加權(quán)重后使得各專家的意見(或評(píng)分)盡可能接近,以減小評(píng)分系統(tǒng)誤差及爭議,再取均值.本研究基于該原則提出了確定專家權(quán)重的數(shù)量積法,通過論文型競賽排名試驗(yàn),證明了該方法提高了主觀評(píng)價(jià)系統(tǒng)的科學(xué)性準(zhǔn)確性,有較強(qiáng)的適應(yīng)性.

[1] 周宇峰,魏法杰.一種綜合評(píng)價(jià)中確定專家權(quán)重的方法[J].工業(yè)工程,2006,9(5):23-27.

[2] 劉進(jìn)生,王慶云,張福偉.列和求逆法的保序性及群體權(quán)重計(jì)算[J].系統(tǒng)工程理論方法應(yīng)用,1993,2(3):69-72.

[3] Ramanathan R, Ganesh L S. Group preference aggregation methods employed in AHP: An evaluation and an intrinsic process for deriving members′ weightages[J]. European Journal of Operational Research, 1994, 79(2): 249-265.

[4] 楊雷.群體決策理論與應(yīng)用——群體決策中的個(gè)體偏好集結(jié)方法研究[M].北京:經(jīng)濟(jì)科學(xué)出版社,2004:117-130.

[5] 韓旭里,李松仁.基于一致性均衡權(quán)指標(biāo)的排序方法[J].系統(tǒng)工程理論方法應(yīng)用,1994,3(1):41-45.

[6] 宋光興,鄒平.多屬性群決策中決策者權(quán)重的確定方法[J].系統(tǒng)工程,2001,19(4):85.

[7] His-Mei Hsu, Chen-Tung Chen.Aggregation of fuzzy options under group decision making[J].Fuzzy Sets and Systems, 1996,79(4):278-285.

[8] Eklund P, Rusinowska A, De Swart H. Consensus reaching in-committees[J].European Journal of Operational Research, 2007,178(1):185-193.

[9] Klein J. Assessing university students’ achievements by means of standard score (Z score) and its effect on the learning climate[J]. Studies in Educational Evaluation, 2014, 40: 63-68.

[10] 丁文,楊衛(wèi)東,劉繼來.基于神經(jīng)網(wǎng)絡(luò)技術(shù)的評(píng)卷誤差控制模型及其應(yīng)用[J].浙江工業(yè)大學(xué)學(xué)報(bào),2003,31(4):419-423.

[11] 易昆南,梁霞,易芳.殘缺評(píng)分矩陣的論文排名[J].鐵道科學(xué)與工程學(xué)報(bào),2008,5(3):93-96.

[12] 易昆南.殘缺數(shù)據(jù)的論文名次及評(píng)委水平的評(píng)判與逆判[J].湘潭大學(xué)自然科學(xué)學(xué)報(bào),2005,27(2):39-43.

[13] 葉義成,柯麗華,黃德育.系統(tǒng)綜合評(píng)價(jià)技術(shù)及其應(yīng)用[M].北京:冶金工業(yè)出版社,2006:29-45.

[14] Forman E, Kirti P.Aggregating individual judgments and priorities with the analytic hierarchy process[J].European Journal of Operational Research, 1998,108(1):165-169.

[15] Herrera F, Herrera-Viedma E, Chiclana F.Multiperson decision-making based on multiplicative preference relations[J].European Journal of Operational Research,2001,129(2):372-385.

[16] Chiclana F, Herrera F, Herrera-Viedma E. Integrating three representation models in fuzzy multipurpose decision-making based on fuzzy preference relations[J].Fuzzy Sets and Systems,1998,97(1):33-48.

(責(zé)任編輯 李春梅)

Dot Product Method for Determining Experts’ Weights and Application in Ranking

GUO Dong-wei1, DING Gen-hong1, MAO Jun-cheng1, Chen Yu-lei2

(1.College of Science, Hohai University, Nanjing 211100, China; 2. School of Mathematics and Physics, University of Science and Technology Beijing, Beijing 100083, China)

In the analysis of group decision making and incomplete subjective evaluation system, we find that taking the means ranking directly brings big error due to the difference of experts’ scoring scales. Although the T-score method can be used to unify them, it lacks the difference of experts’ evaluation objects. In order to reduce this system error, in this paper, we propose the Dot Product method for determining experts’ weights and apply it to the theses type competition ranking system. Compared with the traditional and T-score methods, this method improves the coincidence of the subjective and objective ranking, and reduces the disorder degree. By calculating the Euclidean distance, we prove that the new method can reduce the experts’ scoring error and the controversy of theses.

subjective evaluation; Dot Product; weight; incomplete score matrix; system error

1004-8820(2015)04-0249-06

10.13951/j.cnki.37-1213/n.2015.04.004

2015-04-08

中央高校業(yè)務(wù)費(fèi)資助項(xiàng)目(B12020128).

郭東威(1986- ),男,河南開封人,碩士研究生.

丁根宏(dinggenhong@126.com),副教授,博士,研究方向:運(yùn)籌學(xué)優(yōu)化與控制.

O29

A