APF組合分析法在非共識項目評價中的運用

西桂權(quán) 王冠宇

摘 ?要：非共識項目在促進科技創(chuàng)新方面的作用越來越突出，其評審、評價問題也變得更加重要。文章分析了非共識產(chǎn)生原因，介紹了非共識項目識別和度量方法;之后提出通過評議項目累計數(shù)、評議結(jié)果命中率和成功率來對同行評議專家進行評價，遴選出非共識項目評審專家;最后結(jié)合非共識項目自身特點，利用定性和定量方法建立了非共識項目評價指標體系，探討了APF組合分析方法運用于非共識項目評價的可能性和具體步驟，以促進非共識項目發(fā)展。

關(guān)鍵詞：非共識項目;非共識度;同行評議;APF評價方法

中圖分類號：G311 ? ? 文獻標識碼：A

Abstract：Non-consensus projects play an increasingly important role in promoting scientific and technological innovation.This paper analyzes the causes of non consensus，introduces the methods of identifying and measuring non-consensus project. Then it is proposed that peer review expert evaluation should be carried out by reviewing item cumulative count，dispersion rate，hit probability and success rate.The evaluation index system is established based on the characteristics of non-consensus projects.At last，this paper discusses the possibility and concrete steps of applying APF combinatorial analysis method to non-consensus project evaluation by combining complex qualitative and quantitative indicators.

Key words：Non-consensus project;Non-consensus degree;Peer review;APF evaluation method

非共識項目在促進科技創(chuàng)新方面發(fā)揮著越來越重要的作用。關(guān)于非共識項目的評審和評價已有學者進行了研究，主要包括以下幾種方法：一是同行評議法，二是加權(quán)優(yōu)序法，三是模糊綜合評價法等。郝鳳霞[1]等提出在同行評議中可根據(jù)項目特點選擇一定數(shù)量的非共識項目進行復(fù)審，并在評審者與參評者間建立動態(tài)的反饋渠道，提高評審結(jié)果準確率。馬晨華[2]分析了現(xiàn)有方法在跨學科項目評價中的缺陷，并提出了完善跨學科項目評審的方法。還有學者從定量角度進行了研究，形成以定性評價為主、定量數(shù)據(jù)為輔的非共識項目評審方法，如楊列勛等[3]提出用項目整體非共識和指標非共識度作為定量依據(jù)，用數(shù)理方法處理非共識項目專家打分結(jié)果 。

應(yīng)用以上方法都可以對非共識項目做出評價，但是由于非共識項目與一般項目相比有其特殊性，每一種方法都存在著一定的缺陷，從而影響非共識項目立項評價結(jié)果的準確性、科學性及公平性。對于非共識項目的評價，單純采用定性或定量的評價方法效果都不佳。基于非共識項目特點，目前比較適合的方法是采用專家評審與指標體系相結(jié)合的評價方法。為此，筆者提出利用APF組合評價法對非共識項目進行評價，形成以定性判斷為主、定量數(shù)據(jù)為輔的針對非共識項目的評價方法，以促進非共識項目發(fā)展。

一、非共識項目的概念

從科學發(fā)展史看，重大創(chuàng)新在開始階段往往由少數(shù)人首先提出，而多數(shù)人并不理解，從而形成非共識。非共識形成的根本原因是創(chuàng)新是一種探索性很強的活動，且具有一定風險性，但非共識創(chuàng)新一旦成功，將具有重要意義。在對非共識項目研究中，學者一般從同行評議和非共識項目的特點兩方面來定義非共識項目。從同行評議角度定義非共識項目的專家如郝鳳霞[1]、劉文波等[4]，他們認為非共識項目是指在采用同行評議時，由于評審專家對該項目選題方向、研究方法、可行性等存在較大爭議，無法達成共識從而形成的項目。束義明[5]、張冠南等[6]專家從非共識項目特點出發(fā)，認為非共識項目是指由于其創(chuàng)新性強，研究內(nèi)容超出了一般人認識水平，實現(xiàn)難度大且具有一定的風險性，對于是否支持立項存在一定爭議的項目。然而實踐表明，很多創(chuàng)新性強的非共識項目在取得成功后，對社會進步起到了很大促進作用，因此要有選擇性地支持非共識項目發(fā)展。

二、非共識項目評議中的專家遴選

項目評審的主體是專家，對于科研項目進行評價最有發(fā)言權(quán)的是同行專家。在非共識項目立項評價中，尤其是對于交叉學科較強的非共識研究項目，能否選擇出真正的同行評議專家至關(guān)重要。非共識項目形成與評審專家有著密切關(guān)系，非共識項目的評價也需要專家參與，因此選出合適的專家至關(guān)重要。對于非共識項目而言，其研究范圍往往涉及多個學科領(lǐng)域，所以選出合適的評審專家非常重要?？梢苑忠韵聨撞剑旱谝徊揭_定非共識項目涉及的學科范圍;第二步要明確候選專家的研究領(lǐng)域，保證二者的相關(guān)匹配性;第三步初步篩選出可以參加評審的、水平較高的專家。非共識項目評價專家遴選的具體步驟如下[7-8]。

（一）判斷候選專家研究學科范圍及比重

對非共識項目進行評價時，尤其是涉及前沿交叉學科的非共識項目，首先要明確該項目研究領(lǐng)域涉及的學科范圍及比重。假設(shè)某一非共識項目研究領(lǐng)域可能涉及的學科種類為a，b，c，…，n類。

1.申請人對項目所涉及的學科門類和研究內(nèi)容較為熟悉，所以先由申請人對項目所涉及的學科知識和種類進行初步估計，設(shè)各科知識所占比重為：

（二）用主成分分析法確定指標個數(shù)

如圖2所示，如果非共識項目評價指標有多個，但各指標價值大小不同，那么影響非共識項目的重要性也不同。統(tǒng)計學中的主成分分析法（PCA）是一種對于多元問題的數(shù)據(jù)處理方法，一般初始建立的評價指標之間往往具有一定的相關(guān)性，通過運用主成分分析法可以把相關(guān)性較強的指標轉(zhuǎn)化為相互獨立的指標，指標數(shù)量雖然減少了，但指標包含的信息并沒有減少太多，評價結(jié)果更具有確定性。

（三）用層次分析法確定指標權(quán)重

非共識項目評價的各個指標權(quán)重不同，可以采用層次分析法（AHP）來確定不同指標權(quán)重的大小，該方法可以兼顧各位專家對評估指標的不同偏好，使評價結(jié)果更具有客觀性。運用層次分析法包括建立遞階層次結(jié)構(gòu)、構(gòu)造判斷矩陣等步驟。

（四）進行模糊綜合評價

非共識項目評價涉及的影響因素較多，如項目本身因素、評審專家因素等，而各因素重要程度又不同，使評價過程變得復(fù)雜。模糊綜合評價法作為一種簡便而有效的評價與決策方法，利用模糊數(shù)學中的相關(guān)知識，確定評價對象所屬等級，為正確決策提供相應(yīng)依據(jù)。模糊綜合評價方法的包括確定評價指標集合論域、確定評語集合論域、確定權(quán)重分配模糊向量、進行實際評判等步驟。

APF組合評價法涉及的部分數(shù)學運算可采用計算機設(shè)備解決，如主成分分析法可借助社會經(jīng)濟統(tǒng)計軟件（如SPSS）中的因子分析法得到相應(yīng)結(jié)果，大大提高了非共識項目評價的效率。通過以上各步驟，可以對所評審出的非共識項目進行評價，選出創(chuàng)新性較強、實際價值較高的項目予以資助支持。

五、小結(jié)

基于非共識項目特點，其遴選、評審和評價目前仍沒有十分完美的方法。筆者只是對非共識項目的遴選機制設(shè)計、評價方法等做了初步理論探討，供相關(guān)人員參考。今后將結(jié)合非共識項目評選、評價實際操作過程，深入研究如何識別創(chuàng)新、保護創(chuàng)新以及促進非共識創(chuàng)新項目發(fā)展。

參考文獻：

[1]郝鳳霞，劉靜巖，陳忠.技術(shù)研發(fā)項目中同行專家評議產(chǎn)生非共識的原因分析[J].中國軟科學，2004（12）：92-96.

[2]馬晨華.論跨學科研究評估機制的建立[J].科技與經(jīng)濟，2015（01）：17-21.

[3]楊列勛，汪壽陽，席酉民.科學基金遴選中非共識研究項目的評估研究[J].科學學研究，2002（02）：185-188.

[4]劉文波，鈕曉鳴.非共識項目的立項決策研究[J].上海管理科學，2017（04）：61-65.

[5]束義明，陳敬良.我國基礎(chǔ)研究原始性創(chuàng)新能力的現(xiàn)狀及提高對策[J].科技導(dǎo)報，2002（12）：3-6.

[6]張冠南.地方科研資助機構(gòu)非共識現(xiàn)象研究[D].上海：華東師范大學，2015.

[7]周光中.基于D-S證據(jù)理論的科學基金立項評估問題研究[D].合肥：合肥工業(yè)大學，2009.

[8]王國彪，彭芳瑜.國家自然科學基金同行評議結(jié)果評價方法與專家遴選因素分析[J].中國科學基金，2008（06）：372-376.

[9]楊鳳.基礎(chǔ)研究項目立項評估模型研究[D].長春：吉林大學，2014.

[10]鄭興東，陸偉，賀憲民，等.基金項目同行評議中專家非共識性的度量研究[J].中華醫(yī)學科研管理雜志，2005（03）：141-144.

[11]夏蓓麗.APF組合分析法在哲學社會科學評價中的運用[J].情報科學，2007（09）：1337-1342.

[12]王敬敏，施婷.改進APF組合分析法在電網(wǎng)信息化水平評價的運用[J].電力信息化，2011（09）：28-33.