毛園園
隨著人們收集數(shù)據(jù)能力的不斷增強(qiáng),排名問題已受到人們廣泛關(guān)注。在統(tǒng)計學(xué)、經(jīng)濟(jì)學(xué)、博弈論中有大量的排名方法[1],每種排名方法都有其創(chuàng)新性和獨特性。由阿羅不可能性定理知[1],不存在絕對完美的排名體系。針對學(xué)術(shù)評價,從由權(quán)威學(xué)者對一項科研成果或人才進(jìn)行評價的傳統(tǒng)科研評價機(jī)制,到目前有關(guān)學(xué)術(shù)評價極少的系統(tǒng)方法或平臺,學(xué)術(shù)評價仍存在量化評價不合理、行政權(quán)力過度干預(yù)、課題崇拜等問題。而科學(xué)合理地教師評估體系能夠激勵教師學(xué)術(shù)研究,提高教師資源的利用率,提升教師個人、高等院校和國家的教育水平與學(xué)術(shù)影響力。目前關(guān)于教師水平評價排名系統(tǒng)很少且不完善,因此,本文應(yīng)用科利法和基納法建立教師學(xué)術(shù)水平排名模型。
科利法是勝率法的一種改進(jìn)[2]。勝率法是一種評分方法,根據(jù)獲勝率為隊伍i打出的評分值ri為
式中,wi和ti分別為隊伍i累積獲勝的場數(shù)和所進(jìn)行比賽的總場數(shù)。勝率法存在明顯的缺陷,首先,參賽隊伍常會出現(xiàn)評分持平的情況;其次,在分析中并未以任何方式對對手的強(qiáng)弱加以考慮;最后,有時勝率評分的結(jié)果不太正常。例如,在賽季開始時,所有隊伍的賽季前評分都是0,隨著比賽的進(jìn)行,一場未勝的隊伍所得的評分仍為0。
為彌補(bǔ)勝率法的缺陷,科利根據(jù)確定股桌下注的拉普拉斯“承續(xù)法則”[3],對(1)式進(jìn)行了調(diào)整
(2)式的優(yōu)點:首先,所有隊伍都以相同的賽季前評分1/2開始,此外,如果隊伍i在第一場比賽中輸給對手,則科利評分為1/3,這個數(shù)值比ri=0更為合理;其次,考慮了賽程強(qiáng)度,即對手的強(qiáng)弱,隊伍i的評分與其對手的評分相關(guān)聯(lián),二者之間評分是相互依賴的。
將一支隊伍累積獲勝場數(shù)分解
其中,li=0是隊伍i累積失利的場數(shù)。由于所有隊伍的評分都從rj=1/2(每個隊伍的初始評分值)開始,所以,此時(oi為隊伍 i的對手集合)。隨著比賽的展開,rj將發(fā)生改變,但由于評分都在1/2附近波動,故
假設(shè)(4)式為等式,帶入(2)式中,則可得
可見,ri是依賴于其他未知數(shù)rj的,這就是科利法如何將對手的強(qiáng)弱結(jié)合到評分中的。
將(5)式整理為一個線性系統(tǒng)
其中,實對稱正定陣Cn×n是科利系數(shù)矩陣,n為聯(lián)盟中隊伍的總數(shù),nij為隊伍i和j的對陣場數(shù),rn×1是未知的科利評分向量,bn×1=1+1/2(wi-li)是右向量。求解科利系統(tǒng)Cr=b以獲取科利評分向量r。由于Cn×n是可逆的,故此線性系統(tǒng)總具有唯一解。
基納法是利用競爭者之間的非負(fù)統(tǒng)計量,為每支隊伍產(chǎn)生一個數(shù)值評分[4]。它將給定隊伍的評分與該隊的絕對實力聯(lián)系在一起,而絕對實力又依賴于隊伍的相對實力(相對于其對手實力而言該隊伍的強(qiáng)弱)。
基納法分為以下幾個步驟:
(1)在所考慮競爭項目的眾多統(tǒng)計數(shù)據(jù)中,選擇能夠體現(xiàn)隊伍實力的屬性,有益于合理地進(jìn)行隊伍實力之間的相對比較。并令aij為隊伍i與隊伍 j競爭時給出的統(tǒng)計數(shù)據(jù)值(aij≥0)。
例如,比賽得分,隊伍i從隊伍 j上所贏取的分?jǐn)?shù),sij是體現(xiàn)i相對于 j的實力的一個相關(guān)屬性,此時aij=sij;還有獲勝次數(shù)、失利次數(shù)等等,通過各個更為細(xì)致的方面所得到的不同評分,將它們聚合起來形成總體評分。要注意不斷更新屬性數(shù)據(jù)以及是否需要按時間對aij進(jìn)行加權(quán)。
(2)利用拉普拉斯承續(xù)法則調(diào)整原始數(shù)據(jù)aij以處理異常情況。
例如,考慮得分sij,如果隊伍i與隊伍 j都是進(jìn)攻出色而防守薄弱,那它們在交手時就都能獲得很高的分?jǐn)?shù)。相反,如果隊伍p與q都是進(jìn)攻乏力而防守牢固,則它們對陣時很可能得到很低的分?jǐn)?shù)。在后續(xù)的評分系統(tǒng)中,相比于小數(shù)值spq和sqp,大數(shù)值sij和sji將對排名產(chǎn)生不適當(dāng)?shù)挠绊?。故?dāng)比較隊伍i與 j時,考慮兩隊的總得分,設(shè)
(3)若調(diào)整后的某些aij遠(yuǎn)大于(或小于)它們應(yīng)取得值(可能是強(qiáng)隊在弱隊身上人為獲得很高的分?jǐn)?shù)所造成的),對每個aij采用一個非線性的偏好函數(shù)
以幫助減小強(qiáng)弱之間的差距,恢復(fù)數(shù)據(jù)的平衡,進(jìn)行替換aij←h(aij)。
(4)規(guī)范化。若隊伍進(jìn)行不同場數(shù)的比賽,則需規(guī)范化處理,通過替換aij←,其中,ni為隊伍i進(jìn)行的比賽場數(shù),并將數(shù)據(jù)組織成一個非負(fù)矩陣的形式A=[aij]m×m,其中,m為聯(lián)賽中隊伍的數(shù)量。
(5)根據(jù)基納的第一條規(guī)則,一支隊伍的實力應(yīng)根據(jù)它與對手之間的相互作用以及對手的實力來加以調(diào)整。統(tǒng)計數(shù)據(jù)aij衡量隊伍i對陣隊伍 j的表現(xiàn),評分值rj衡量隊伍 j的實力,則隊伍i相比于隊伍 j的相對實力為
隊伍i與聯(lián)盟中所有其他隊伍相比的相對實力之和稱為隊伍i的總實力或絕對實力,即
注意,實力向量可表示為
根據(jù)基納第二條規(guī)則,每支隊伍的評分應(yīng)與其實力成正比例關(guān)系,即對于每個隊伍i,存在一個比例常數(shù)λ,使得si=λri,用向量來表達(dá)就是s=λr。由于 s=Ar,故
這就是基納法的根本。
用線性代數(shù)的語言來講,找到矩陣A的特征值和特征向量即可。但矩陣A的特征值有多個,可能是復(fù)數(shù)或負(fù)數(shù)等,需要挑選對研究問題有實際意義的一個特征值。為解決此問題,根據(jù)佩隆-弗羅貝尼烏斯定理[5],只要矩陣A滿足非負(fù)性、不可約性和素性,就可求得唯一評分向量r。通過替換A←A+εeeT,使矩陣A強(qiáng)制滿足不可約性和素性,其中,e為m×1且元素全為1的矩陣,ε>0是很小的數(shù),采用冪法求解評分向量r。
大學(xué)教師在國內(nèi)外各級刊物上發(fā)文、承擔(dān)國家各項研究項目、每年獲得科研經(jīng)費情況等都體現(xiàn)了教師的學(xué)術(shù)水平。在現(xiàn)實情況中,不管是重點院校還是普通學(xué)校的老師都會發(fā)表文章,而論文的發(fā)表能力和被引用次數(shù)在一定程度上反映了一個人的學(xué)術(shù)能力和科研水平。目前各類評價體系都過分或單純注重成果數(shù)量,難免有些學(xué)者一味地追求數(shù)量提高自己的學(xué)術(shù)排名,我們認(rèn)為論文數(shù)量作為指標(biāo)不具有客觀性。為彌補(bǔ)以上缺陷,并能夠合理地進(jìn)行教師學(xué)術(shù)實力的相對比較以及最大程度代表教師的學(xué)術(shù)水平,依據(jù)真實情況,經(jīng)過慎重人為篩選,把文章的平均引用次數(shù)作為體現(xiàn)教師學(xué)術(shù)實力的屬性。此外,一篇論文的引用次數(shù)若是高則反映了文章對相應(yīng)科研領(lǐng)域的價值高,故此屬性也隱形地考慮了文章的質(zhì)量。本文模型暫且不考慮權(quán)重問題,后續(xù)研究中再加入權(quán)重[6-7]。
考慮到教師年齡和職稱的問題,采用平均數(shù)。設(shè)置統(tǒng)一數(shù)據(jù)指標(biāo):將每名教師每篇文章的被引用次數(shù)首先按7大洲劃分統(tǒng)計,相比于其他洲,亞洲的相對引用次數(shù)比較高,故再將其進(jìn)行詳細(xì)劃分為東亞、南亞、西亞、北亞、東南亞、中亞6個地區(qū)。每名教師每篇文章被他引一次(教師引用自己文章的次數(shù)忽略不計),則在他引文章第一作者所在地區(qū)下加1分(多名作者時以第一作者所在地為數(shù)據(jù)統(tǒng)計依據(jù))。例如,一名教師在東亞地區(qū)的總引用次數(shù)是n,截止到某一時間該教師共發(fā)表m篇論文,則該名教師的論文在東亞地區(qū)的平均引用次數(shù)為n/m。
討論某大學(xué)數(shù)學(xué)與科學(xué)學(xué)院8名教師學(xué)術(shù)實力的排名問題,在谷歌學(xué)術(shù)網(wǎng)站上統(tǒng)計了8名教師截止到2015年12月所有論文的平均引用次數(shù)如下所示(結(jié)果保留4位有效數(shù)字)。
U是一個行為各個地區(qū)平均引用次數(shù)且列為每名教師的矩陣,0表示該地區(qū)沒有引用該教師的文章。在北亞地區(qū)8名教師的平均引用次數(shù)均為0,故都忽略不計。教師1在東亞地區(qū)他引總次數(shù)n=631,截止到2015年12月其發(fā)表文章總數(shù)目 m=65,故 u11=n/m=631/65≈ 9.707 7,u11=9.707 7表示教師1在東亞地區(qū)論文的平均引用次數(shù)是9.707 7,其他同理。
通過矩陣U可以看出,在東亞、南亞、歐洲地區(qū)對8名教師論文的平均引用次數(shù)相對高于其他地區(qū);教師1,5與6在各個地區(qū)的他引平均數(shù)明顯高于其他教師,可見這3名教師的論文質(zhì)量相對高于其他教師,學(xué)術(shù)水平應(yīng)該比較靠前。通過最后一行總平均引用次數(shù)指標(biāo),對8名教師進(jìn)行一個簡單粗略的排名,教師6排名最高,教師8排名最低。為充分挖掘數(shù)據(jù)背后隱藏的信息和提高排名的精確度,分別采用科利法與基納法建立排名評價模型。
科利法僅使用教師在對比過程的勝負(fù)信息建立科利評價模型Cr=b,根據(jù)(5)式可得到
根據(jù)矩陣U,可知教師1一共與其他教師進(jìn)行了30次交手(18場獲勝,12場失利),其中2次與教師2,3次與教師3,5次與教師4,與教師5和6是7次,與教師7和8是2次。其他6名教師的科利方程同理,寫成矩陣形式如下
采用Matlab軟件求解科利系統(tǒng)Cr=b以獲取科利評分向量r,具體見表1。
表1 8名教師的科利評分和基納評分及排名
由表1可知,每名教師的初始評分都是1/2,隨著“比賽”的進(jìn)行,每名老師的評分將根據(jù)“比賽”結(jié)果(平均引用次數(shù))在這個中心點上下波動。所有評分ri的平均值rˉ恒為1/2,故科利法具有守恒性。此外,科利法最引人注目的一點是它通過忽略比分實現(xiàn)了無偏性,即能夠避免因強(qiáng)隊在弱隊身上獲取高分?jǐn)?shù)而帶來的潛在問題。
由于統(tǒng)計了每名教師文章多個地區(qū)的平均引用次數(shù),相當(dāng)于他們之間交手不止一次,故選擇sij是在所有地區(qū)的平均引用次數(shù)對比中教師i從教師 j所贏取的累積得分,根據(jù)矩陣U可以得到矩陣S為
例如,s15=(9.707 7-6.631 6)+(0.815 4-0.228 1)+(0.230 8-0.140 4)+(0.076 9-0.070 7)=3.760 5,表明教師1從教師5在所有地區(qū)的平均引用次數(shù)對比中贏得3.760 5分,而s21=0表明在對比過程中,教師2全戰(zhàn)敗,記為0分。
8名教師之間都進(jìn)行了相同數(shù)量兩兩對比,即每名教師都與其他7名教師進(jìn)行7場較量,故規(guī)范化不必進(jìn)行。因為A2>0,所以矩陣A是素矩陣且不可約,無需進(jìn)行擾動。通過上面對數(shù)據(jù)的各種修補(bǔ),可知基納法的靈活性,可對排名進(jìn)行很多的變動和微調(diào)。建立基納法的基本方程Ar=λr,用Matlab軟件求得該方程的唯一解λ=2.619 1,以及與λ相對應(yīng)的唯一評分向量r,具體見表1。
從表1中可知8名教師的評分0<ri<1且,評分之和為1意味著一名教師的評分提升時,必然會有另一名或多名教師評分的隨之下降,評分值之間始終維持一種平衡。
通過比較兩種方法的結(jié)果(表1)可以看出,教師6排名最高(其學(xué)術(shù)水平在一定程度上應(yīng)為最高),與之前根據(jù)總平均引用次數(shù)指標(biāo)得出的結(jié)果一致。雖然兩種模型最終的評分值都不同,所得排名結(jié)果稍有出入,但最終排名效果比較穩(wěn)定,以上排名結(jié)果符合現(xiàn)實生活中人為主觀對8名教師的大致排名。高校依據(jù)以上的排名結(jié)果對教師資源進(jìn)行合理且充分配置,對提高等教育質(zhì)量具有重要意義和參考價值。
學(xué)術(shù)論文是反映科研成果的最直接載體,為了保證教師學(xué)術(shù)實力的充分展現(xiàn)和公平評價,本文選取教師發(fā)表文章的平均引用次數(shù)作為衡量指標(biāo),并對其進(jìn)行統(tǒng)一科學(xué)量化,建立科利與基納模型分別得出排名結(jié)果。與國內(nèi)外已有的研究相比,本文方法具有以下特點:(1)將通常用在體育類競賽中的排名方法轉(zhuǎn)化應(yīng)用到教師排名領(lǐng)域;(2)在統(tǒng)計數(shù)據(jù)及數(shù)據(jù)預(yù)處理中,為形成成對比較矩陣,將文章的引用次數(shù)按地區(qū)進(jìn)行詳細(xì)劃分,如同每個用戶為影片的打分;(3)兩種方法都不受教師數(shù)量、教師文章引用次數(shù)的限制,具有很好的開放性和普適性;(4)相比于目前評價系統(tǒng)選擇論文數(shù)量作為指標(biāo),文章的平均引用次數(shù)更加合情合理。
當(dāng)然本文的評價指標(biāo)和研究方法在使用中還需進(jìn)行修正和完善。除論文的發(fā)表能力和被引用次數(shù),承擔(dān)國家各項研究項目情況、撰寫書的情況等都在一定程度上反映了一個人的學(xué)術(shù)能力和科研水平。此外,就論文的平均引用次數(shù)這個指標(biāo)數(shù)據(jù)有待進(jìn)一步合理量化,考慮到引用者的重要性,即一名教師越是被資深著名學(xué)者引用,那他的排名就應(yīng)該越靠前,就好比一篇論文被諾貝爾獎得主所引用,顯然比被普通研究者所引用更說明有價值;考慮研究領(lǐng)域的難易程度,一作,二作以及獨作之間的差異等,可為這些差異賦予合理的權(quán)重,因此,將來會進(jìn)步優(yōu)化評價模型。
參考文獻(xiàn):
[1]LANGVILLE A,MEYER D.Who’s#1?,the Science of rating and ranking[M].Princeton :Princeton University Press,2012:21-50.
[2]COLLEY N.Colley’s bias free college football ranking method:the colley matrix explained[D].Princeton:Princeton University,2002.
[3]FELLER W.An introduction to probability theory and its applications.Vol.II[M].New York:Wiley,1968:99-124.
[4]KEENER P.The perron-frobenius theorem and the ranking of football teams[J].Siam Review,1993,35(1):80-93.
[5]MEYER D.Matrix analysis and applied linear algebra[M].SIAM:Philadelphia,2000:34-49.
[6]彭張林,張強(qiáng),楊善林.綜合評價理論與方法研究綜述[J].中國管理科學(xué),2015,23(S1):245-256.
[7]李紅,朱建平.綜合評價方法研究進(jìn)展評述[J].統(tǒng)計與決策,2012(9):7-11.