技術(shù)評估中專家一致性評價方法研究綜述

黃 超，劉書雷，吳昕陽，武小悅

（1.國防科技大學(xué)系統(tǒng)工程學(xué)院；2.國防科技大學(xué)前沿交叉學(xué)科學(xué)院，湖南長沙 410073）

1 研究背景

“技術(shù)評估”的概念于1960 年在美國首次提出，重點關(guān)注超音速運輸、環(huán)境污染和基因篩查倫理等的影響［1］。1972 年，美國國會通過了《技術(shù)評估法案》，成立了技術(shù)評估辦公室（Office of Technology Assessment,OTA），為公共政策和立法相關(guān)的科學(xué)和技術(shù)問題提供中立客觀依據(jù)，為技術(shù)影響和發(fā)展提供早期預(yù)警［2］。Coates［3］將技術(shù)評估定義為一種政策研究工具，通過系統(tǒng)地識別、分析和評估技術(shù)對社會、文化、政治、環(huán)境等產(chǎn)生的短期和長期的影響，為決策者提供合理選擇技術(shù)的決策信息。任何國家投入科學(xué)研究領(lǐng)域的資源是有限的，不可能大力發(fā)展所有領(lǐng)域的各項技術(shù)［4］，因此，為了識別領(lǐng)域中的關(guān)鍵技術(shù)，了解關(guān)鍵技術(shù)的發(fā)展現(xiàn)狀，預(yù)測關(guān)鍵技術(shù)的未來發(fā)展趨勢，幫助決策者合理分配資源，指導(dǎo)制定正確的發(fā)展路線和科學(xué)的戰(zhàn)略決策，各個國家都十分重視開展技術(shù)評估工作。

專家評價是利用專家給出的信息對事物進(jìn)行評價的方法。在實際應(yīng)用中，對于難以獲取數(shù)據(jù)進(jìn)行客觀分析的問題常采用專家評價進(jìn)行評估分析［5］，例如績效評價、技術(shù)方案評價、人員選拔、風(fēng)險評估和科研項目立項評審等。專家評價是現(xiàn)有技術(shù)評估領(lǐng)域用于獲取數(shù)據(jù)的主要方法之一，由于技術(shù)的復(fù)雜性和評估標(biāo)準(zhǔn)的多樣性，單一領(lǐng)域內(nèi)的專家難以給出客觀結(jié)論，因此，技術(shù)評估需要不同領(lǐng)域內(nèi)的專家進(jìn)行合作，通常涉及R&D 研究人員、工程技術(shù)專家、政治學(xué)家、經(jīng)濟(jì)學(xué)家等［6］。與個體評價相比，專家群體評價集成了多位專家的評價信息，能充分利用不同專家的知識結(jié)構(gòu)和思維優(yōu)勢，從而對一些復(fù)雜、重大的決策問題作出相對科學(xué)的評估分析［7］。由于專家的知識結(jié)構(gòu)、社會經(jīng)驗、個人偏好、評價尺度不同，以及其他因素的影響，對于同一問題，不同專家可能有不同的認(rèn)識和判斷，給出的評價結(jié)果會存在一定程度的差異［8］。專家一致也稱為“意見一致”或“專家共識”，又被稱為“專家意見的協(xié)調(diào)程度”［9］，反映了所有專家對研究對象的評價結(jié)果一致或相近的程度。專家一致性可用于描述專家群體的評價結(jié)果達(dá)成一致的程度［10］。對專家一致性進(jìn)行評價，有助于甄別與群體意見差別較大的專家，從而進(jìn)一步了解產(chǎn)生不一致的原因或剔除不一致的評價意見，逐漸使群體達(dá)成共識，有助于研究人員作出更科學(xué)合理的判斷與決策［11］。

專家一致性是群決策的核心重點問題，受到領(lǐng)域?qū)W者的廣泛關(guān)注。對現(xiàn)有相關(guān)文獻(xiàn)進(jìn)行梳理分析發(fā)現(xiàn)，國內(nèi)外學(xué)者對專家一致性評價方法進(jìn)行研究時，多以使用現(xiàn)有專家一致性評價方法解決現(xiàn)實應(yīng)用中的專家一致性評價問題為目標(biāo)，如Wei 等的研究［12］，或提出一種新的專家一致性評價方法為目標(biāo)，如Han 等的［13］，且已發(fā)表的文獻(xiàn)中應(yīng)用類和理論類文獻(xiàn)居多、綜述類文獻(xiàn)較少，僅發(fā)現(xiàn)張恒杰等［14］對群體共識的研究范式和進(jìn)展進(jìn)行了綜述，但該研究并未介紹專家一致性評價方法的分類和研究現(xiàn)狀。經(jīng)過回顧分析發(fā)現(xiàn)，鮮有針對專家一致性評價方法發(fā)展現(xiàn)狀及趨勢的綜述類文章。鑒于此，本研究依據(jù)現(xiàn)有文獻(xiàn)，系統(tǒng)梳理總結(jié)關(guān)于專家一致性評價方法的研究現(xiàn)狀和發(fā)展趨勢，并對未來的研究工作進(jìn)行展望，以期幫助相關(guān)領(lǐng)域?qū)W者對專家一致性評價方法有一個系統(tǒng)清晰的認(rèn)識，促進(jìn)專家一致性研究的進(jìn)一步發(fā)展和實際應(yīng)用。

2 專家一致性評價方法的分類

技術(shù)評估中的專家評價主要用于以下兩類問題：（1）指標(biāo)評價。針對特定指標(biāo)，要求專家給出評價對象的指標(biāo)評價值。在這種情況下，專家給出的是一種絕對意義上的信息，例如采用百分制描述某項技術(shù)的發(fā)展水平。（2）方案排序，即要求專家給出若干被評價對象的偏好排序。在這種情況下，專家給出的是一種相對意義上的信息，例如依據(jù)重要性對多項技術(shù)進(jìn)行排序。這兩類問題都需要運用集結(jié)模型將各位專家意見聚合成專家群體的評價結(jié)果。

根據(jù)上述專家評價的兩類問題，將專家一致性評價方法分為指標(biāo)評價問題的專家一致性評價方法和方案排序問題的專家一致性評價方法。由于專家一致性評價方法的提出背景不同，模型的復(fù)雜程度以及應(yīng)用領(lǐng)域的范圍不同，因此每個方法都有其適用性和局限性。其中，指標(biāo)評價問題中的專家一致性評價方法的關(guān)鍵目的為識別專家對指標(biāo)賦值是否達(dá)成一致；方案評價問題中的專家一致性評價方法則主要用于解決排序信息，例如偏好矩陣和序數(shù)值等類型的專家數(shù)據(jù)的一致性判斷問題，不僅需要判斷專家之間是否達(dá)成一致，而且還需要給出不一致的修改方向，以促進(jìn)共識達(dá)成。兩類問題中的一致性方法如表1 所示。

表1 專家一致性評價方法分類

3 指標(biāo)評價問題的專家一致性評價方法

依據(jù)評價指標(biāo)的數(shù)量，可將專家一致性評價方法分為單指標(biāo)下專家一致性評價方法和多指標(biāo)下專家一致性評價方法。

3.1 單指標(biāo)下專家一致性評價方法

單指標(biāo)是指對專家給出的各項指標(biāo)的評分值獨立處理，即針對所有指標(biāo)下的評價信息獨立判斷?，F(xiàn)有研究主要依據(jù)方差/標(biāo)準(zhǔn)差、變異系數(shù)等離散程度統(tǒng)計量對專家一致性進(jìn)行分析。

方差/標(biāo)準(zhǔn)差反映了專家評價數(shù)據(jù)的絕對離散程度。若方差/標(biāo)準(zhǔn)差小，說明專家意見集中，反之則說明專家意見離散程度大。如丁夢蘭［15］通過計算每個指標(biāo)下專家評分的標(biāo)準(zhǔn)差，判斷一、二級指標(biāo)中專家對某一指標(biāo)重要性評價的一致性程度，用于構(gòu)建政府?dāng)?shù)字化轉(zhuǎn)型背景下公務(wù)員數(shù)字素養(yǎng)評價指標(biāo)體系；邢文濤［16］利用方差衡量專家對指標(biāo)打分意見的統(tǒng)一程度，將均值和方差作為標(biāo)準(zhǔn)，對單個指標(biāo)的標(biāo)準(zhǔn)性、指標(biāo)體系的科學(xué)性進(jìn)行評估，依據(jù)這兩項參數(shù)篩選指標(biāo)，實現(xiàn)了水運工程質(zhì)量評價指標(biāo)體系的測驗和完善。

變異系數(shù)反映了專家評價的相對離散程度，描述了專家評分的相對波動程度，變異系數(shù)越小，表示專家意見分歧越小，意見越集中、協(xié)調(diào)程度越好［17］。根據(jù)王瑞等［18］、Hou 等［19］的研究，一般情況下，當(dāng)變異系數(shù)小于0.25 時，表示專家協(xié)調(diào)性較好。如田丹等［17］在構(gòu)建北京市產(chǎn)科護(hù)理安全管理評價指標(biāo)體系過程中，使用變異系數(shù)衡量各專家對指標(biāo)的重要性、可行性、敏感性評分的波動程度，判斷專家評分是否一致；Hou 等［19］在建立基于護(hù)理結(jié)局分類的中國腦卒中住院患者護(hù)理結(jié)果核心評價指標(biāo)體系的研究中，運用變異系數(shù)度量被咨詢專家對一級指標(biāo)、二級指標(biāo)、三級指標(biāo)的評分意見的一致性。

基于離散程度的專家一致性評估方法模型簡單、計算難度小，解釋直觀、容易理解，常被應(yīng)用于細(xì)化分析專家群體對評估對象在各個評價指標(biāo)下評分的一致性程度，例如在進(jìn)口食品社會關(guān)注度研究中專家對不同品類食品的社會關(guān)注度的評價一致性［5］、指標(biāo)體系構(gòu)建過程中專家對各指標(biāo)重要性的評分一致性等，但該方法忽略了專家獨特的知識背景、興趣和社會關(guān)系，在評估過程中認(rèn)為專家的重要性一致，未考慮專家權(quán)重對專家一致性的影響。

3.2 多指標(biāo)下專家一致性評價方法

多指標(biāo)是將專家給出的多項指標(biāo)的評分值統(tǒng)一處理，即針對多個指標(biāo)下的評價信息集中判斷。對于多指標(biāo)評價問題，主要依據(jù)相關(guān)關(guān)系、顯著性檢驗等方法分析專家一致性。

3.2.1 基于相關(guān)關(guān)系的專家一致性評價方法

基于相關(guān)關(guān)系的專家一致性評價方法，通過利用不同的相關(guān)關(guān)系測度衡量專家個體評價信息與專家群體評價信息之間的相似程度，進(jìn)而對專家群體的一致性進(jìn)行判斷。目前常用的相關(guān)關(guān)系測度方法包括皮爾遜相關(guān)系數(shù)、距離測度、組內(nèi)相關(guān)系數(shù)等。

采用皮爾遜相關(guān)系數(shù)可以計算專家個體與專家群體對同一研究對象給出的評價信息之間的相似程度，基于此定義群體共識指標(biāo)。如Zhang 等［20］針對具有猶豫模糊語言信息的緊急多屬性群決策問題提出了一種自適應(yīng)共識模型，利用皮爾遜相關(guān)系數(shù)定義了專家在各方案上的共識度，將各方案上所有專家的共識度聚合得出各方案的共識度，進(jìn)一步定義了專家個體貢獻(xiàn)度指標(biāo)和軟群體共識指標(biāo)。

距離測度根據(jù)專家個體評價信息與專家群體評價信息的距離值定義群體共識指標(biāo)。如Li 等［21］要求專家使用1～100 的數(shù)值對各方案在各指標(biāo)下的表現(xiàn)進(jìn)行評分，利用距離測度計算每位專家給出的實數(shù)值評價信息與專家群體實數(shù)值評價信息之間的距離值，得出專家個體共識度，對所有專家個體共識度加權(quán)平均獲得群體共識度，基于此提出了一種基于有限信度和社交網(wǎng)絡(luò)的大規(guī)模群體決策共識方法；魏翠萍等［22］運用猶豫模糊語言術(shù)語集的距離測度方法，計算兩兩專家給出的猶豫模糊信息的共識水平，將所有成對專家之間的共識水平聚合，構(gòu)建了群體共識指標(biāo)。

組內(nèi)相關(guān)系數(shù)（intraclass correlation coefficient，ICC）常用于度量不同評定者對同一研究對象評價結(jié)果的一致性或可靠性，可解釋為組間方差與總方差的比值［23］。在專家一致性評估過程中，根據(jù)是否考慮評定者誤差，可分為絕對一致性和相對一致性。絕對一致性ICC 表示為研究對象方差與總方差（研究對象方差、評定者方差和均方誤差的和）的比值，用于衡量評定者是否給予研究對象一致的評分；相對一致性ICC 則不考慮評定者方差，用于測量專家之間的評分是否高度相關(guān)，在表現(xiàn)形式上僅分母與絕對一致性有所差別，僅包括研究對象方差和均方誤差［23］。ICC 值位于區(qū)間［0,1］內(nèi)，越接近1 則表示越一致，一般認(rèn)為低于0.40 表示一致性較差，大于0.75 表示一致性較高［24］。如劉思琦等［25］使用組內(nèi)相關(guān)系數(shù)分析專家在對錯 畸形嚴(yán)重程度的主觀判斷中評價的一致性；Chamberlain 等［26］在構(gòu)建預(yù)測營養(yǎng)風(fēng)險的指標(biāo)研究中，利用組內(nèi)相關(guān)系數(shù)測試了專家群體對指標(biāo)重要性評分的一致性。

基于相關(guān)關(guān)系的專家一致性評價方法，既可用于定量數(shù)據(jù)，也可用于定性數(shù)據(jù)，適用范圍廣，已被廣泛應(yīng)用于解決專家整體一致性評價問題。

3.2.2 基于顯著性檢驗的專家一致性評價方法

基于顯著性檢驗的專家一致性評價方法，首先對專家給出的總體評分值或總體評分值的分布形式作出一個假設(shè)，然后構(gòu)建統(tǒng)計量判斷假設(shè)（備擇假設(shè)）是否成立?，F(xiàn)有相關(guān)研究主要依據(jù)卡方檢驗和方差分析檢驗專家之間的評分值是否存在顯著性差異。

方差分析是基于專家給出的評分?jǐn)?shù)據(jù)，假設(shè)由于不同專家（或研究對象）導(dǎo)致的偏差效應(yīng)為0，構(gòu)建檢驗統(tǒng)計量判斷假設(shè)是否成立。如楊依霏等［28］要求專家從4 個評分維度對11 個學(xué)科門類中的每篇論文進(jìn)行評分，利用單因素方差分析評估同一門類中3 位專家對論文的評分是否存在顯著差異；高先務(wù)等［29］利用重復(fù)二元方差分析檢驗m個專家對n個方案在m個屬性下主觀評價偏差的一致性，判斷專家、方案對評分有無顯著影響，以及專家與方案之間有無顯著交互影響。

顯著性檢驗法可以從專家群體、專家個體、方案和屬性等多個角度對專家一致性進(jìn)行檢驗，能夠快速找出與其他意見有差異的評價信息，計算量較小，可操作性強。

4 方案排序問題的專家一致性評價方法

依據(jù)專家評估的信息形式，將方案排序問題中的專家一致性評價方法分為兩類：基于判斷矩陣的專家一致性評價方法和基于序數(shù)值的專家一致性評價方法。

4.1 基于判斷矩陣的專家一致性評價方法

在一些決策問題中，由于需要考慮不同因素的影響，專家直接給出所有評價對象的全序較為困難，所以在對比時，專家常常采用相對尺度，通過兩兩比較建立同一環(huán)境下不同評價對象的判斷矩陣，盡可能減少不同評價對象相互比較的困難，提高準(zhǔn)確度。現(xiàn)常用相似性度量、距離測度、主成分分析等方法分析判斷矩陣信息形式下的專家一致性。

4.1.1 基于相似性度量的專家一致性評價方法

基于相似性度量的專家一致性評價方法根據(jù)不同的相似性測度衡量兩兩專家給出的判斷矩陣或是專家個體與專家群體判斷矩陣之間的相似性，對其群體一致性進(jìn)行評估?，F(xiàn)有常用的相似性測度有相容性、余弦相似度、灰色關(guān)聯(lián)等。

相容性被定義為兩兩專家之間的判斷矩陣或是專家與群體之間的判斷矩陣的對稱元素之積的平均值，基于此構(gòu)建專家一致性指標(biāo)。如陳俠等［30］利用相容性指標(biāo)定義了各方案的一致性指標(biāo)及專家群體一致性指標(biāo)，給出了基于互反判斷矩陣的專家一致性判別方法及調(diào)整方法，當(dāng)專家群體判斷結(jié)果未達(dá)成一致時，選出一致性最差的方案，通過相應(yīng)調(diào)整方法修改專家原始意見，以促進(jìn)專家群體達(dá)到滿意的一致性；Gro?elj 等［31］針對三角模糊偏好矩陣信息形式的決策問題，利用傳統(tǒng)層次分析法的相容性指數(shù)定義了個體模糊共識指數(shù)來衡量兩個決策者之間的接近程度，進(jìn)而對專家群體的一致性進(jìn)行分析。

余弦相似度以專家給出的判斷矩陣為依據(jù)，利用幾何平均法將各專家對方案評價的判斷矩陣聚合為各專家對方案的評價向量，通過余弦相似函數(shù)計算由判斷矩陣得出的兩位專家的評價向量之間的接近程度，然后度量群體成員的一致性水平值。如王丹力等［32］在專家群體一致性研究過程中，首先對專家給出的判斷矩陣的一致性進(jìn)行檢驗，以保證專家邏輯的前后一致，而后考慮了專家權(quán)重的影響，根據(jù)余弦值的大小判斷兩個專家之間為強一致性或是強不一致性，基于此提出了專家群體強一致性指標(biāo)和專家個體一致性指標(biāo)，用于衡量專家群體的一致性和專家個體的一致性。在群體一致性判斷過程中，通過個體一致性指標(biāo)可以找出一致性較差的專家和一致性較好的專家，通過建議一致性較差的專家對比參照一致性較好的專家的評估意見，用于修改自身判斷，促進(jìn)群體共識達(dá)成。

灰色關(guān)聯(lián)是利用灰色關(guān)聯(lián)度描述每位專家給出的判斷矩陣與群體判斷矩陣對于同一方案判斷值之間的緊密程度，灰色關(guān)聯(lián)度越大，說明專家與決策群體的評估越接近，即一致性越高，將各方案下所有專家的灰色關(guān)聯(lián)度指標(biāo)值聚合得出各方案的一致性指標(biāo)，將所有方案的一致性指標(biāo)加權(quán)平均獲得專家群體的一致性指標(biāo)。如李禮等［33］針對基于互反判斷矩陣的群體決策的不一致問題，運用灰色關(guān)聯(lián)度理論建立了專家一致性判別方法和調(diào)整方法，設(shè)置一致性閾值為0.73，對不滿足一致性要求的專家評價值進(jìn)行調(diào)整。該方法能夠識別偏離群體的專家意見，定位到具體需要修改的某個評價值。

基于相似性度量的專家一致性評價方法在評估過程中考慮了不同專家重要性的影響，有效利用了專家權(quán)重信息，可以確定需要調(diào)整的專家和某項具體評價內(nèi)容，但是該方法是基于專家給出的兩兩判斷矩陣進(jìn)行的，在評估過程中需要首先考慮專家給出的判斷矩陣的一致性，以保證專家邏輯的正確性。

4.1.2 基于距離測度的專家一致性評價方法

基于距離測度的專家一致性評價方法是，通過運用不同的距離測度計算專家個體判斷矩陣與專家群體判斷矩陣之間的距離值或是專家與專家判斷矩陣之間的距離值，定義專家個體共識度指標(biāo)，對專家個體共識度進(jìn)行加權(quán)平均定義群體共識度指標(biāo)或是選取最小專家個體共識度作為群體共識度，并根據(jù)實際問題設(shè)定相應(yīng)群體共識度閾值，判斷群體的共識程度是否達(dá)到標(biāo)準(zhǔn)?，F(xiàn)大多使用以下4 種距離測度：一是漢明距離，例如Ren 等［34］針對猶豫模糊語言偏好關(guān)系的群決策問題，運用猶豫模糊語言漢明距離度量專家個體偏好信息與整體偏好信息的最小相似度，提出了最差共識指數(shù)，建立了共識達(dá)成算法，提出了一種基于矩陣一致性和群體共識測量的群決策求解方法；二是曼哈頓距離，例如Cheng等［35］利用對數(shù)曼哈頓距離度量兩個專家給出的區(qū)間互補判斷矩陣的差異，定義了兩決策者之間的個體共識指數(shù)，將任意兩個決策者的所有個體共識指數(shù)中的最小值作為群體共識指數(shù)；三是歐氏距離，例如Wan 等［36］針對概率語言偏好關(guān)系的大規(guī)模群體決策問題，基于歐式距離測度開發(fā)了一種新的基于個性化個體語義的共識達(dá)成過程，用于判斷在大學(xué)COVID-19 監(jiān)測計劃選擇過程中決策者的共識度；四是閔可夫斯基距離，例如Zhang 等［37］研究了直覺乘法偏好關(guān)系的群體決策背景下共識問題，提出了改進(jìn)的直覺積性模糊數(shù)之間的漢明距離、歐幾里得距離和閔可夫斯基距離，基于提出的閔可夫斯基距離度量專家個體與群體之間的距離值，定義了專家個體共識度，以最小專家個體共識度作為群體共識度。

基于距離測度的專家一致性評價方法可以解決多種含有不確定信息和模糊信息的專家一致性評價問題，例如猶豫模糊語言偏好、區(qū)間互補偏好、直覺模糊偏好等。該方法處理效率高，已被廣泛應(yīng)用于模糊決策中的共識研究。

4.1.3 基于主成分分析的專家一致性評價方法

基于主成分分析的專家一致性評價方法是根據(jù)每位專家給出的判斷矩陣的最大特征值及對應(yīng)的特征向量，將該特征向量歸一化后作為專家對評價對象給出的評價系數(shù)，得出專家群體決策的評價系數(shù)矩陣，使用主成分分析法將多位專家的評價系數(shù)融合，利用主成分貢獻(xiàn)率衡量專家群體決策結(jié)果的一致性程度。如邱夢奇等［38］基于層次分析法（AHP）要求m位專家通過兩兩比較建立每位專家對于g個雷達(dá)導(dǎo)引頭系統(tǒng)抗干擾能力的判斷矩陣，分別對m位專家給出的判斷矩陣進(jìn)行特征值分解，將最大特征值對應(yīng)的特征向量作為同一環(huán)境下不同雷達(dá)導(dǎo)引頭系統(tǒng)抗干擾能力的評價系數(shù)，得出m×g維群體評價矩陣，利用主成分分析法對該矩陣進(jìn)行降維處理成1×g維群體評價矩陣，通過主成分貢獻(xiàn)率衡量專家群體決策結(jié)果的一致性程度。

基于主成分分析的專家一致性評估方法，將專家一致性判斷、信息聚合和綜合評價融為一體，不僅可以根據(jù)主成分貢獻(xiàn)率來定量分析專家群體決策結(jié)果的一致性程度，還可以利用降維后的數(shù)據(jù)直接得出最終決策結(jié)果，更有效地剔除了不一致的專家意見，使得專家個體評價結(jié)果對最終決策結(jié)果的影響變小、評價結(jié)果更為合理。此外，該方法還具有計算速度快的優(yōu)勢。

4.2 基于序數(shù)值的專家一致性評價方法

在分析多個研究對象的重要性次序時，常要求專家對整體研究對象進(jìn)行排序，給出所有研究對象的全序值，據(jù)此選出一個最優(yōu)值作為決策結(jié)果。目前常用Kendall 協(xié)調(diào)系數(shù)解決序數(shù)值類型的專家一致性評價問題。Kendall 協(xié)調(diào)系數(shù)是基于專家給出的研究對象的排名順序，計算評估對象序數(shù)的偏離值總和，構(gòu)建檢驗統(tǒng)計量W，根據(jù)W值判斷專家一致性，W取值范圍為0～1，數(shù)值越大代表專家意見的一致性越高［9］。如Akhmetshin 等［39］采用專家估計方法獲得稅收分析所必需的數(shù)據(jù)集，要求一組專家按重要性對俄羅斯聯(lián)邦稅法進(jìn)行降序排列，使用Kendall 協(xié)調(diào)系數(shù)評估專家意見的一致性；Shapo 等［40］在運用德爾菲法和排序方法實現(xiàn)軟件項目風(fēng)險評估技術(shù)的研究中，采用Kendall 協(xié)調(diào)系數(shù)評估專家對排序法的意見一致性；Nikitin 等［41］在混合系統(tǒng)的研究過程中，將Kendall 協(xié)調(diào)系數(shù)作為共識指標(biāo)，判斷10 位專家對因素影響程度的意見一致性，并進(jìn)行卡方檢驗，以證明結(jié)果具有統(tǒng)計學(xué)意義。

基于Kendall 協(xié)調(diào)系數(shù)的專家一致性評價方法，實現(xiàn)過程直觀簡潔、計算簡便，魯棒性強、易于掌握，被廣泛應(yīng)用于解決各類一致性評價問題。

5 結(jié)論

隨著實踐應(yīng)用環(huán)境的變化、知識和信息量的急劇增長以及技術(shù)評估的問題日益復(fù)雜，專家評價作為技術(shù)評估研究中獲取數(shù)據(jù)的重要方法，為我國科技創(chuàng)新、經(jīng)濟(jì)增長和社會發(fā)展中的技術(shù)評估問題提供了科學(xué)有效的解決途徑，專家一致性評價是群體偏好有效集成的前提條件。本研究從技術(shù)評估中的指標(biāo)評價和方案排序兩類問題，對國內(nèi)外學(xué)者提出的不同適用環(huán)境的專家一致性評價方法進(jìn)行了較為系統(tǒng)的綜述。依據(jù)實際應(yīng)用中涉及的指標(biāo)數(shù)量將指標(biāo)評價問題細(xì)分為單指標(biāo)和多指標(biāo)兩類，單指標(biāo)下專家一致性評價方法主要被應(yīng)用于反映專家群體對指標(biāo)體系中各指標(biāo)重要性評價的一致性程度，幫助決策者篩選指標(biāo)，用于解決此類問題的專家一致性評價方法主要有方差/標(biāo)準(zhǔn)差和變異系數(shù)；多指標(biāo)下專家一致性評價方法主要被應(yīng)用于度量群決策中專家群體對評估對象評分的一致性，用于解決此類問題的專家一致性評價方法主要有皮爾遜相關(guān)系數(shù)、距離測度、組內(nèi)相關(guān)系數(shù)、假設(shè)檢驗、方差分析。依據(jù)專家給出的評價信息的數(shù)據(jù)類型將方案排序問題細(xì)分為判斷矩陣（偏序）和序數(shù)值（全序）兩類，基于判斷矩陣的專家一致性評價方法主要被應(yīng)用于測量專家群體達(dá)成共識的程度，用于解決此類問題的專家一致性評價方法主要有相容性、余弦相似度、灰色關(guān)聯(lián)、距離測度和主成分分析；基于序數(shù)值的專家一致性評價方法主要被應(yīng)用于衡量專家群體對研究對象排名順序的一致性程度，用于解決此類問題的專家一致性評價方法主要是Kendall 協(xié)調(diào)系數(shù)。

現(xiàn)有專家一致性評價方法研究成果較多可用于解決不同環(huán)境下的專家一致性評價問題，每種方法都具其自身優(yōu)勢，但也存在一定的局限性。為進(jìn)一步推進(jìn)和拓展專家一致性評價方法的研究工作，本研究認(rèn)為未來專家一致性研究應(yīng)用如下：

（1）如何根據(jù)不同問題選擇一種合適有效的專家一致性評價方法。現(xiàn)有相關(guān)研究缺乏一個評估框架幫助研究人員依據(jù)不同問題選擇相適應(yīng)的專家一致性評價方法。研究人員在判斷專家一致性的過程中，并不應(yīng)該僅以測量專家一致性或是判斷專家是否一致為目標(biāo)，應(yīng)充分考慮進(jìn)行專家一致性測量的目的，從而判斷選用哪一種評價方法最為恰當(dāng)。

（2）在專家一致性評價過程中，閾值是判斷專家一致性是否達(dá)到要求的重要評判標(biāo)準(zhǔn)。目前鮮有文獻(xiàn)分析閾值的設(shè)定方法，常采用主觀方式設(shè)定閾值，缺乏客觀性和合理性。因此，應(yīng)開發(fā)更為客觀的方法確定閾值，使得專家一致性判斷結(jié)果更加客觀合理、準(zhǔn)確有效。