同行評議中的異常數(shù)據(jù)檢測方法研究
——以科研項目評審為例

楊曉秋，李旭彥

(科學技術部　基礎研究管理中心，北京　100862)

?

同行評議中的異常數(shù)據(jù)檢測方法研究
——以科研項目評審為例

楊曉秋，李旭彥

(科學技術部基礎研究管理中心，北京100862)

同行評議是對科學技術活動及其產(chǎn)出進行科學評價的主要方式之一，然而評議過程中存在的異常評審數(shù)據(jù)可能會對科研項目評審結果的公平、公正性產(chǎn)生影響。為此，本文提出了一種用于識別專家評議異常數(shù)據(jù)的檢測方法，該方法首先利用云模型中的逆向云算法計算專家評審數(shù)據(jù)的異常程度，并進行檢測；然后，根據(jù)檢測結果，采用基于協(xié)同過濾的異常評議數(shù)據(jù)修正算法，對專家異常評議數(shù)據(jù)進行修正；最后，設計了一種專家評議能力計算算法，為后續(xù)科研項目評審中的專家選擇提供決策依據(jù)。基于同行評議真實數(shù)據(jù)的實驗結果表明，本文提出的檢測方法能夠有效識別出專家評議的異常數(shù)據(jù)。

科研項目評審；同行評議；云模型；協(xié)同過濾；異常檢測；信譽計算

一、引言

隨著我國各類科技計劃項目(如973計劃、863計劃、國家自然科學基金等)、科技成果(如國家科學技術獎勵等)、科研基地(如國家重點實驗室評估等[1])的評審評價越來越多，如何保證這些評審客觀、公平、公正的進行，是科技評價研究中的重要課題之一。同行評議是科技管理工作的重要組成部分，也是對科學技術活動及其產(chǎn)出進行科學評價的重要方式，是推動國家科技事業(yè)持續(xù)健康發(fā)展，促進科技資源優(yōu)化配置，提高科技管理水平的重要手段和保障。然而，在同行評議中，個別專家對評審對象的惡意評議，偏好評議，評議中的“馬太效應”、利益沖突、受隨機因素干擾等[2-3]現(xiàn)象導致當前科研項目評審中常用的方法失效(如去除最高、最低分，求平均值，加權平均、校正補償?shù)?，不僅干擾了評審工作的客觀性與公正性，也嚴重影響了評價結果的科學性和客觀性。

為了防止同行評審中出現(xiàn)的問題影響科研項目評審的公平公正，許多研究者提出了初步的解決方案。文獻[2-3]討論了評審制度的固有缺陷，如專家遴選和監(jiān)督制度的缺位、學術評審制度缺乏公正合理的程序、學術評審指標存在缺陷等，并提出了相應的改革措施，具有長遠意義，但是對于眼下亟待解決的問題并不能起到立竿見影的效果，也沒有可具體操作的方法。文獻[4-5]提出了評審專家的評審信譽的概念，提出引入專家評審信譽評估機制來反映專家在同行評議過程中的公正性情況，并據(jù)此建立評審專家的評審信譽機制，以對評審專家的評審過程進行監(jiān)督，但是并沒有給出具體的執(zhí)行辦法，不具有實用性。文獻[6]發(fā)現(xiàn)同行評議專家和普通人一樣，受到偏見、歧視及其友誼關系的影響，并提出要開發(fā)一個新的同行評議系統(tǒng)，目的是在這個新系統(tǒng)中植入人類本性弱點的抗體，但是該系統(tǒng)沒有解決女性研究者在同行評議中受到嚴厲評價是否由女性同行評議人不足引起的。文獻[7]分析了人文社會科學評議中同行評議專家容易出現(xiàn)的問題，提出了一個新的方法——“讀者系統(tǒng)”，用來提高同行評議的可靠性和公正性，但是該系統(tǒng)沒有完全合適的標準來驗證同行評議的結果。文獻[8]對比了傳統(tǒng)同行評議和開放同行評議的異同，指出傳統(tǒng)同行評議的可信度較低，而且存在可靠性問題，提出了新的評估方法ACP系統(tǒng)，但是在該系統(tǒng)中同行評議過程的質量不高。文獻[9]提出了評分偏差模型，計算異常評分偏差、科研項目爭議性和專家評分慣性，對異常評分進行預測，模型過于復雜，其提出的“爭議臨界度”范圍難以確定，導致其可操作性較差。文獻[10]從項目的爭議性和專家評審的偏移性兩個角度，通過小樣本穩(wěn)健性異常數(shù)據(jù)檢測，來進行專家評審異常數(shù)據(jù)的處理，但其采用的熵值并不能準確反映出異常數(shù)據(jù)穩(wěn)定程度，難以保證修正結果的客觀性。另外，也有一些用于異常數(shù)據(jù)檢測的數(shù)理統(tǒng)計方法如屬性相關分析、基于混沌的異常數(shù)據(jù)的動態(tài)識別、基于知識粒度的挖掘等方法被提出[11]，其主要面向大規(guī)模海量數(shù)據(jù)，對小樣本數(shù)據(jù)的處理效率較低，且具體操作對于科技管理人員較為復雜，可用性較差。

云模型[12]作為一種不確定性轉換模型能夠綜合考慮模糊性和隨機性，可以應用到異常數(shù)據(jù)檢測中，提高檢測結果的質量。如文獻[13]提出利用云模型檢測諧波電流的異常閾值，確定出的異常閾值數(shù)據(jù)更加符合客觀實際。文獻[14]提出利用云模型檢測網(wǎng)絡異常數(shù)據(jù)，降低了入侵檢測算法的誤報率。文獻[15]提出利用云模型處理圖像閾值，提高了圖像變換的性能。文獻[16]提出利用云模型計算服務質量的不確定值，可以為用戶提供可靠有效的最佳服務選擇。文獻[17]利用云模型改進果蠅優(yōu)化算法，提高了算法的全局搜索能力和解的精度?，F(xiàn)行的科技項目評審多數(shù)是采用同行專家打分的方式確定評審結果，所以要保證評審的客觀公正，首要前提就是要能夠準確的找出評審中存在的異常數(shù)據(jù)。同時科學研究是對未知世界的探索，評審專家對科學問題的評判是一個基于自身知識背景的獨立判斷過程，所以專家打分(評審數(shù)據(jù))就具有了模糊性和隨機性等不確定性特征。本文利用云模型在表達定性概念與定量數(shù)據(jù)轉換關系上的優(yōu)勢，提出了一種基于云模型的專家評審異常數(shù)據(jù)的檢測方法，通過熵和超熵來評估專家評審數(shù)據(jù)的異常程度，然后通過協(xié)同過濾對異常數(shù)據(jù)進行修正，最后通過構建專家評審能力計算模型，為后續(xù)評審的專家的選擇提供參考依據(jù)。為了驗證本文方法的有效性，本文采用某科研項目評審中真實專家評審數(shù)據(jù)對該方法進行了驗證，結果表明，該方法不僅能夠有效識別出評審專家的異常數(shù)據(jù)，而且還能對異常數(shù)據(jù)進行有效修正，從而為保證科研項目評審的科學性和公平性提供技術支撐。

本文第2節(jié)介紹提出的異常數(shù)據(jù)檢測方法，包括異常數(shù)據(jù)檢測，異常數(shù)據(jù)修正，專家評審能力計算等；第3節(jié)通過真實的數(shù)據(jù)驗證了本文方法的有效性；第4節(jié)總結全文提出下一步研究方向。

二、專家評審中異常數(shù)據(jù)的檢測方法

如圖1所示，我們提出的專家評審中異常數(shù)據(jù)的檢測方法主要包含三個模塊(部分)。模塊1即異常數(shù)據(jù)檢測，其目的是發(fā)現(xiàn)專家評審數(shù)據(jù)中的異常數(shù)據(jù)，其原理是采用云模型對所有專家的評審數(shù)據(jù)進行熵和超熵計算，然后根據(jù)管理人員設置的評審可信度進行檢測。模塊2即異常數(shù)據(jù)修正，其目的是屏蔽異常評審數(shù)據(jù)對評審公平性的負面影響，其原理是依據(jù)專家評審相似性，采用協(xié)同過濾中的余弦相似度，對該專家的異常評審數(shù)據(jù)進行合理修正。模塊3即專家評審能力計算，其目的是為后續(xù)評審中的專家選擇提供參考，其原理是根據(jù)評審專家在歷次評審過程中的表現(xiàn)，采用加權平均對專家評審能力進行計算。

圖1　異常數(shù)據(jù)檢測方法框架

(一)異常數(shù)據(jù)檢測

本文采用云模型對專家評審數(shù)據(jù)進行檢測，通過對專家評審數(shù)據(jù)定量到定性概念的轉換，確定評審數(shù)據(jù)的異常性。首先有針對性的給出云模型的部分相關概念和定義。

1．云模型

云模型[12]是我國學者李德毅院士在概率理論和模糊集合理論基礎上，重點考慮隨機性和模糊性的關聯(lián)性而發(fā)展起來的定性知識描述和定性概念與其定量數(shù)值表示之間的不確定性轉換模型，已經(jīng)在智能控制、模糊評測、進化計算等多個領域得到應用[18-20]。

如圖2所示，云模型所表達的概念的整體特性可以用云的數(shù)字特征來反映。云用期望Ex(expected value)、熵En(entropy)、超熵He(hyper entropy)這3個數(shù)字特征來整體表征一個概念。

期望(expected value)：云滴在論域空間分布的期望，記為Ex。

熵(entropy)：不確定性程度，由概念的模糊性和隨機性共同決定，記為En。

超熵(hyper entropy)：熵的不確定性度量，即熵的熵，由熵的模糊性和隨機性共同決定，記為He。

圖2　云模型數(shù)字特征[12]

圖2中，橫坐標x是數(shù)據(jù)的取值，縱坐標μ是該數(shù)據(jù)對云模型的隸屬度。圖中Ex為期望，En為熵，度量樣本不確定程度，He為超熵，指熵的熵。

算法1:逆向云算法[12]:

輸入:某個專家對n個科研項目的評審數(shù)據(jù),即n個云滴x1,x2,…,xn{};輸出:這n個云滴表示該專家的期望值Ex、熵En和超熵He; 1.根據(jù)xi計算該組評分的樣本均值X-=1n∑ni=1xi,樣本方差S2=1n-1xi-X-()2;2.Ex的估計值為Ex^=X-;3.En的估計值為Ee^=π/2N∑Ni=1xi-Ex^;4.He的估計值為He^=S2-Ee^2。

2．基于云模型的異常數(shù)據(jù)檢測

云模型中，當超熵He=0時，此時所有的云滴都分布在正態(tài)曲線上；隨著超熵He逐漸增大，云滴開始分散。如圖3所示，當He在一定范圍內變化時，幾乎全部的云滴落在內、外隸屬曲線μ1,μ2內，呈現(xiàn)圖中所示的正態(tài)云[12]。其中μ1,μ2的表達式依次為

(1)

(2)

圖3中，橫坐標x是數(shù)據(jù)的取值，縱坐標μ是該數(shù)據(jù)對云模型的隸屬度。μ1,μ2分別為其內、外隸屬曲線，大約99.74%的云滴分布在二者之間的區(qū)域。

圖3　正態(tài)云的內、外隸屬曲線及其3S邊界

當選取m個專家對n個科研項目進行評審時，易知可以得到m×n個評審數(shù)據(jù)?？萍脊芾砣藛T可以設置評審的可信度為Δ(由于專家評審數(shù)據(jù)基本都是可信的，因此Δ取值一般不小于90%)，此時，通過K=(1-Δ)×m×n可以得到需要檢測出的異常數(shù)據(jù)的個數(shù)。對上面所得到的異常程度值進行排名，選取取值最大的K個，即獲得topK個異常評審數(shù)據(jù)。在此基礎上可以計算某位專家所有評分的異常程度值的均值，或者topK個異常評審數(shù)據(jù)中該專家所占的個數(shù)等等。計算評審數(shù)據(jù)的異常程度值的具體實現(xiàn)如算法2所示。

算法2：基于異常程度排序的topK算法

輸入:m個專家,n個科研項目的評審數(shù)據(jù)矩陣;輸出:K個異常程度最高的評審數(shù)據(jù);

1.對評審數(shù)據(jù)矩陣進行歸一化處理,并運用云模型,計算每個科研項目的云模型特征值,分別是期望Ex,熵En和超熵He;2.對每個科研項目,計算其外邊界L=3(En+3He);3.計算所有科研項目的外邊界的均值LM=mean(L);4.對每個評審數(shù)據(jù)d,計算其異常程度|d-Ex|LM,其中Ex是該d所屬科研項目的評分期望值,由此得到異常程度矩陣(該矩陣和評審數(shù)據(jù)矩陣的元素是一一對應);5.求解出異常程度矩陣中的K個最大元素對應的評審數(shù)據(jù)即為異常評審數(shù)據(jù)。

(二)基于協(xié)同過濾的異常數(shù)據(jù)修正

算法3中計算向量相似度的方法有歐氏距離、皮爾遜相似度、余弦相似度等。通過大量驗證，使用這幾種計算相似度的方法對異常數(shù)據(jù)檢測的最終結果沒有明顯的影響，因此，本文采用余弦相似度即兩個向量夾角的余弦值來進行修正。

算法3:基于協(xié)同過濾的異常數(shù)據(jù)修正算法

輸入:m個專家對n個科研項目的評審數(shù)據(jù)矩陣;輸出:第i個專家對第j個科研項目的評審數(shù)據(jù)的修正值scoreij。

1.由評審數(shù)據(jù)矩陣得到專家m對科研項目n的評分組成的向量,表示為Vmn;2.由評審數(shù)據(jù)矩陣得到專家m對科研項目j的評分score1j,score2j,…,scoremj;3.計算向量Vi與其他剩余向量的相似度,標記為Si1,Si2,…,Sin-1;4.計算修正值scoreij=1m-1∑nj=1Sij·scoreij。

(三)專家評審能力計算模型

本文提出的專家評審能力計算模型，能夠根據(jù)評審專家在歷次評審過程中的表現(xiàn)，基于logsig函數(shù)，實現(xiàn)對專家評審能力值的準確計算。

logsig函數(shù)是關于原點中央對稱的單調遞增函數(shù)，其一階導數(shù)圖像為倒掛的鐘形曲線，對于任意輸入，logsig函數(shù)都能將其轉換成(0,1)區(qū)間的輸出值。由于其優(yōu)異的函數(shù)性能，logsig函數(shù)作為傳輸函數(shù)在神經(jīng)網(wǎng)絡算法中發(fā)揮了重要作用。

在logsig函數(shù)的基礎上，本文提出了專家評審能力計算模型，其中λ是可調參數(shù)，用于調整函數(shù)曲線的陡峭程度，n 是輸入?yún)?shù)，函數(shù)曲線及可調參數(shù)λ的作用如圖4所示。

(3)

由圖4可知，當輸入n值為負數(shù)且絕對值較大時，函數(shù)值接近于0；當n值為正數(shù)且絕對值較大時，函數(shù)值接近于1；n在0附近時函數(shù)值變化劇烈。

函數(shù)表達式中n為自變量，λ為可調參數(shù)，用于控制函數(shù)值的變化強度和作用區(qū)域。從圖4可以看出，當可調參數(shù)λ值較大時，函數(shù)曲線比較陡，有效的變化區(qū)間較??；當λ值較小時，函數(shù)曲線較為平緩，有效的變化區(qū)間較大。用于專家評審能力計算動態(tài)模型的logsig函數(shù)需要設置合適的λ參數(shù)值。

圖4　經(jīng)修改的logsig函數(shù)示意圖

本文對每一個評審專家Oi，給其附加一個變量ni，初始值設置為0，由圖4可以看出，所有評審專家的初始評審能力值相等，其評分可信度相同。以后每次評審后，如果該專家表現(xiàn)良好，將ni值增加1，所以其評審能力值增加；如果該專家有不合理評審的嫌疑，則將ni值減1，所以其評審能力值降低，具體實現(xiàn)見算法4所示。

算法4:專家評審能力計算

輸入:專家的歷史評審數(shù)據(jù)的列表LC及計數(shù)值n的上界Nmax和下界Nmin;輸出:專家當前的評審能力R。 1.初始化n=0;2.對LC每一個元素,也就是該評審專家在對應的評審中的表現(xiàn)值,如果表現(xiàn)正常,n值加1,否則n值減1。如果n>Nmax或者n

計算出該專家的評審能力后，將專家的評審能力作為權重對評審數(shù)據(jù)進行加權求和求均值，將所得到的結果作為最終評分，將更加科學和公平。通過這種方式，評審能力高的專家評分的影響力大，評審能力低的專家評分的影響力小，符合公正性的基本要求。假設某個科研項目由n個專家評審，第i個專家的評審能力值為Ri，評分為Scorei，則其最終得分Score可由如下公式獲得：

(4)

對評審專家進行評審能力的計算還可以用于專家評審能力的排名。根據(jù)每次的評審數(shù)據(jù)，可以更新專家的評審能力，基于該值，可以對評審專家進行評審能力排名，并為后續(xù)科研項目評審過程中的專家選擇提供參考。

三、實驗分析

本實驗基于某類科研項目評審時的真實專家評審數(shù)據(jù)對本文提出的異常數(shù)據(jù)檢測、異常數(shù)據(jù)修正及專家評審能力計算等方法進行驗證分析，根據(jù)科研項目管理要求，我們對數(shù)據(jù)進行了歸一化處理。

(一)異常數(shù)據(jù)檢測結果

如表1所示，本實驗所采用的數(shù)據(jù)源于真實的(歸一化處理后)科研項目的評審數(shù)據(jù)，表格中的列表示26個科研項目，分別用符號L1，L2…L26表示；行表示32個評審專家，分別用符號P1，P2…P32表示；表格中的數(shù)據(jù)表示某評審專家對某科研項目的評分。

圖5給出了基于云模型的異常數(shù)據(jù)檢測結果。圖5(a)是用歸一化后的評審數(shù)據(jù)做出的灰度圖，橫軸表示26個科研項目，縱軸表示32個評審專家，每個格子表示某評審專家對某科研項目的評分，格子的灰度表示評分的大小，灰度越深，評分越高，灰度越淺，評分越低。圖5(b)、圖5(c)和圖5(d)在圖5(a)的灰度圖上分別標出了不同的topK所檢測出的異常值，并在異常值的位置標上圓點。通過選取不同的Δ值，被判為異常數(shù)據(jù)的數(shù)目也將不同。例如，圖5(d)給出了topK=8情況下的異常數(shù)據(jù)。表2是對應的異常程度最大的8個評審數(shù)據(jù)，每個數(shù)據(jù)有其排名、位置和異常程度量化值。圖5和表2表明本文提出的方法能夠有效地進行異常數(shù)據(jù)檢測。

表1歸一化后的原始評審數(shù)據(jù)

圖5　基于云模型的異常檢測模型測試示意圖

排名位置異常程度1P18,L912P10,L140.9753P30,L230.9534P30,L130.9345P30,L240.8626P26,L10.8397P26,L160.8228P17,L210.821

基于上述實驗結果可以看出，在未對異常數(shù)據(jù)檢測之前，科研項目評審排序為：3, 9, 6, 14, 15, 25, 7, 16, 23, 13, 22, 5, 19, 2, 10, 20, 24, 4, 1, 26, 8, 12, 18, 11, 21, 17。采用本文提出的方法后，刪除異常數(shù)據(jù)P18后，科研項目的排序變?yōu)椋?, 9, 6, 14, 15, 25, 7, 16, 13, 23, 22, 5, 19, 2, 10, 24, 4, 20, 26, 1, 8, 12, 11, 18, 21, 17。

(二)數(shù)據(jù)修正

本實驗將對異常程度最高的評審數(shù)據(jù)進行修正，即將異常值位置(P18，L9)中第18號評審專家對第9號科研項目的評分進行修正，首先依次計算評審專家P18與其他31位評審專家的相似度，即

0.99890.99920.99870.99820.99900.99910.99940.99880.99820.99860.99870.99920.99930.99920.99860.99850.99870.99880.99850.99900.99920.99910.99880.99900.99790.99890.99860.99810.99860.99880.9983

然后，從表1中得到其他31位評審專家對9號科研項目的評分是

0.98951.00001.00000.97950.98961.00000.98951.00001.00000.86590.97930.97891.00001.00000.98960.97891.00001.00000.98960.95911.00001.00000.95831.00001.00001.00001.00001.00000.93871.00000.9896

最后，對31位評審專家的評分關于相似度求加權平均值得0.9852，即用該值替換異常數(shù)據(jù)0.82。

(三)專家評審能力計算結果

實驗結果如圖6所示，顯示了某個評審專家在50次評審過程中的表現(xiàn)及其評審能力值變化情況。圖6(a)中橫軸為評審次數(shù)，縱軸為該專家在歷次評審中的表現(xiàn)情況，有“1/-1”兩個取值，取值“1”表示該專家表現(xiàn)正常，提高其評審能力值；取值“-1”表示該專家有不合理評分嫌疑，要降低其評審能力值。圖6(b)與圖6(a)對應，表示其評審能力值隨其在歷次評審中的表現(xiàn)情況的動態(tài)變化，橫軸也為評審次數(shù)，縱軸為其評審能力值。

由圖6可以看出，依據(jù)本文提出的專家評審能力值計算模型計算出的評審能力值能夠反映評審專家在評審歷史中的表現(xiàn)情況，具有較好的效果。

圖6　某評審專家評審能力值的動態(tài)計算

四、總結

本文提出了一種基于云模型的異常數(shù)據(jù)檢測方法，并通過軟件編程實現(xiàn)了異常數(shù)據(jù)檢測、數(shù)據(jù)修正及專家評審能力計算等一系列功能，為科研管理人員高效、準確地找出并修正不合理評審數(shù)據(jù)提供了方法和技術的支撐，為評審專家的遴選提供參考，從而提高科研項目評審的科學性和公正性。該方法也適用于其他具有同行評議性質的項目評審，具有較好的普適性和可擴展性，不但可以用來處理定量的評分數(shù)據(jù)(如本文實驗部分所采用的數(shù)據(jù)類型)，還能夠處理定性的評分數(shù)據(jù)(在預處理過程中將定性數(shù)據(jù)進行量化)。但是需要說明的是，并不是本文方法檢測出所有的異常數(shù)據(jù)都是影響科研項目評審公正性的不合理數(shù)據(jù)，科研管理人員需要結合評審實際情況對異常數(shù)據(jù)進行具體分析判斷。比如某位專家由于自身的學科或專業(yè)背景所限，導致其評審意見和大部分專家不一致，可能說明該專家對所參加評審的領域不熟悉，不適合此類科研項目評審；再比如某位評審專家的看法很獨特，而事實又證明這位專家恰恰是“掌握真理的少數(shù)”，則說明這位專家對相關學科有前瞻性的認識，科研管理部門應對其觀點應該予以尊重和重點采納。本文構建的模型可以作為對同行評議過程再評估的一種方法，為科研管理部門的決策和監(jiān)督提供參考。

就本文方法的適用范圍而言，如果評審專家和項目數(shù)量較少時，該方法的性能優(yōu)勢并不明顯，因此本文方法更適合于評審專家數(shù)量較多的重點或重大科研項目的評審。另外，由于算法中涉及到某些參數(shù)的設置，因此如何基于大量的歷史評審數(shù)據(jù)和管理反饋數(shù)據(jù)，運用大數(shù)據(jù)技術(如神經(jīng)網(wǎng)絡、數(shù)據(jù)挖掘等)獲得準確的參數(shù)設置或參數(shù)的自適應動態(tài)設置將是本文未來的研究重點。

致謝

感謝北京郵電大學的許金良博士，王尚廣副教授對本文的技術支持。

[1] 彭以祺，楊曉秋．實驗室評估的現(xiàn)狀作用和若干建議[J]．中國基礎科學，2000 (7) ：29-32.

[2]龔旭.同行評議公正性的影響因素分析[J].科學學研究，2005，22(6) ：613-618.

[3]江新華.論我國學術評審制度的缺陷與創(chuàng)新[J].科學學研究，2006，23(5) ：618-622.

[4] 程梅珍.建立科技咨詢機構信譽評審體系的原則及實施步驟[J].科學學與科學技術管理，2000，21(5)：54-55.

[5] 黃進.科學基金項目評審專家科研信譽綜合評價體系研究: 基于 “能力-行為-績效” 的視角[J].中國科學基金，2012，(1)：57-60.

[6]Wenneras C, Wold A.Nepotism and sexism in peer-review [J].Nature， 1997，(387) ：341-343.

[7]Marsh H，Jayasinghe U，Bond N.Improving the peer-review process for grant applications：Reliability, validity, bias, and generalizability [J].American Psychologist，2008，63(3) ：160-168.

[8]Bornmann L，Daniel, H.Reliability of reviewers’ ratings when using public peer review：A case study [J].Learned Publishing，2010，23(2) ：124-131.

[9] 唐光杰.科技評審中評分偏差模型的研究與應用[D].中南大學，2012.

[10] 張金煥.科技評價中專家評審粗差數(shù)據(jù)的處理及仿真[J].計算機仿真，2013，30(7) ：214-217.

[11] Li D，Meng H，Shi X.Membership clouds and membership cloud generators [J].Journal of Computer Research and Development，1995，32(6) ：15-20.

[12]王國胤，李德毅，姚一豫，等.云模型與粒計算[M].科學出版社，2012.

[13]余南華，李蘭芳，王玲，等.基于云模型的諧波電流異常檢測[J].中國電機工程學報，2014，25：4395-4401.

[14]黨倩，駱嘉偉，王東.一種基于云理論的異常檢測算法研究[J].計算機應用研究，2009，10：3724-3726.

[15]Wu T，Xiao J，Qin K，Chen Y.Cloud model-based method for range-constrained thresholding [J]. Computers and Electrical Engineering，2015，42：33-48.

[16] Wang S，Zheng Z，Sun Q，Zou H，Yang F. Cloud model for service selection.Proceedings of the 30th IEEE Conference on Computer Communications Workshops， 2011.pp.666-671.

[17]Wu L，Zuo C，Zhang H.A cloud model based fruit fly optimization algorithm [J].Knowledge-Based Systems，2015，89：603-617.

[18]李德毅，劉常昱，杜鹢，等.不確定性人工智能[J].軟件學報，2004，15(11)：1583-1594.

[19] Zhang G， He R，Liu Y，Li D.An evolutionary algorithm based on cloud model [J].Chinese Journal of Computers，2008，07：1082-1091.

[20]王尚廣，孫其博，張光衛(wèi)，楊放春.基于云模型的不確定性QoS感知的Skyline服務選擇[J].軟件學報，2012，06：1397-1412.

(本文責編：海洋)

Research on Abnormal Data Detection in Peer Review——An Example of Scientific Project Evaluation

YANG Xiao-qiu， LI Xu-yan

(BasicResearchServiceMinistryofScienceandTechnologyofthePeople’sRepublicofChina,Beijing,100862,China)

Currently peer review is one of the main effective methods to evaluate the scientific projects.However, existing abnormal data seriously affects the fairness and justice of the final evaluation results. In this paper, we propose a detection method for identifying experts’ abnormal review data. Firstly, based on backward cloud algorithm we compute the scalar quantity representing the abnormal level of every review data; then, according to detection result, we adjust the abnormal data with a new one given by the collaborative filtering algorithm; and finally, we designed an algorithm to quantize the review ability of every expert concerned, which will serve well in the next peer review process.Experiments using real dataset show the effectiveness of the proposed methods.

scientific project evaluation; peer review; cloudmodel; collaborative filtering; abnormal detection; reputation calculation.

2015-10-14

2016-04-10

國家軟科學研究計劃項目“科技計劃管理改革實施效果與優(yōu)化策略研究”(2013GXS6K206)。

楊曉秋(1964-),女,河北遵化人，高級工程師,碩士研究生，主要研究方向為科技政策與科研管理等。

G311,N031,TP18

A

1002-9753(2016)05-0133-10