基于德爾菲法與層次分析法的城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)體系分析

王艷芳　時(shí)艷琴　朱偉

摘? 要：為對(duì)城市安全領(lǐng)域科技項(xiàng)目開展科學(xué)、準(zhǔn)確的成果評(píng)價(jià)，文章以國(guó)家對(duì)科技成果評(píng)價(jià)的相關(guān)法規(guī)與標(biāo)準(zhǔn)為指引，結(jié)合城市安全領(lǐng)域項(xiàng)目成果的特點(diǎn)，基于公共安全領(lǐng)域的三角形理論及科技評(píng)價(jià)的邏輯模型，分析了城市安全領(lǐng)域科技成果產(chǎn)出及發(fā)揮成效的邏輯機(jī)理，基于邏輯機(jī)理構(gòu)建了評(píng)價(jià)框架，包括知識(shí)產(chǎn)出、成果擴(kuò)散、城市安全防控效果、更廣泛的經(jīng)濟(jì)和社會(huì)影響4個(gè)維度。在此基礎(chǔ)上，文章運(yùn)用德爾菲法和層次分析法篩選了評(píng)價(jià)指標(biāo)，并確定指標(biāo)權(quán)重，形成了完善的評(píng)價(jià)指標(biāo)體系，以期為后期相關(guān)評(píng)價(jià)機(jī)構(gòu)開展城市安全領(lǐng)域的科技項(xiàng)目成果評(píng)價(jià)提供參考和借鑒。

關(guān)鍵詞：城市安全；項(xiàng)目成果評(píng)價(jià)；評(píng)價(jià)指標(biāo)；德爾菲法；層次分析法

中圖分類號(hào)：X92 文獻(xiàn)標(biāo)識(shí)碼：A DOI：10.19881/j.cnki.1006-3676.2023.06.07

基金項(xiàng)目：本文系國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“城市安全成果集成及展示關(guān)鍵技術(shù)與裝備研究”（項(xiàng)目編號(hào)：2019YFC0810804）研究成果。

作者簡(jiǎn)介：王艷芳，女，1985年生，碩士，副研究員，研究方向：績(jī)效評(píng)價(jià)、城市治理。時(shí)艷琴，女，1965年生，研究員，研究方向：管理學(xué)、智慧養(yǎng)老。朱偉，男，1978年生，博士，研究員，研究方向：應(yīng)急安全。

安全是現(xiàn)代化城市的第一要素。隨著我國(guó)城鎮(zhèn)化的快速推進(jìn)，城鎮(zhèn)人口規(guī)模和密度不斷提高，建筑物、基礎(chǔ)設(shè)施和生命線工程發(fā)達(dá)且密集，城鎮(zhèn)組織和經(jīng)濟(jì)社會(huì)活動(dòng)日益復(fù)雜，導(dǎo)致城鎮(zhèn)公共管理和運(yùn)行所面臨的常規(guī)和非常規(guī)風(fēng)險(xiǎn)不斷突出，對(duì)人民群眾的生命和財(cái)產(chǎn)安全帶來重大威脅[1]。為此，“十三五”期間，面向快速推進(jìn)的我國(guó)城鎮(zhèn)化公共安全重大需求，國(guó)家圍繞城市建筑施工與運(yùn)維安全、城市管網(wǎng)管廊安全保障、城市重大災(zāi)害事故防控、城市區(qū)域風(fēng)險(xiǎn)防控與應(yīng)急保障、重大基礎(chǔ)設(shè)施安全等領(lǐng)域設(shè)置了一批重點(diǎn)研發(fā)計(jì)劃項(xiàng)目。那么，這些項(xiàng)目到底取得了哪些成果，這些成果水平如何，對(duì)城市公共安全起到了什么樣的支撐作用，都需要通過開展科學(xué)、準(zhǔn)確的成果評(píng)價(jià)來進(jìn)行判斷。通過成果評(píng)價(jià)，一方面可以及時(shí)向政府和公眾展示成效，另一方面可以在評(píng)價(jià)中找出不足，尋找差距，為下一步繼續(xù)提升我國(guó)城市安全領(lǐng)域防范化解重大風(fēng)險(xiǎn)能力提供支撐。

當(dāng)前，不少專家學(xué)者研究了國(guó)防、交通運(yùn)輸、農(nóng)業(yè)、醫(yī)療衛(wèi)生等行業(yè)領(lǐng)域的科技項(xiàng)目成果評(píng)價(jià)。在國(guó)防領(lǐng)域，王敏芳等從學(xué)術(shù)價(jià)值、政治效益、社會(huì)效益、經(jīng)濟(jì)效益4個(gè)維度建立了成果評(píng)價(jià)指標(biāo)體系[2]，寇元虎等構(gòu)建了一個(gè)科學(xué)、綜合和可操作的評(píng)價(jià)指標(biāo)體系，并對(duì)各指標(biāo)的評(píng)判標(biāo)準(zhǔn)進(jìn)行了說明[3]；在交通運(yùn)輸領(lǐng)域，董靜等提出了交通運(yùn)輸科技成果的分類標(biāo)準(zhǔn)，從技術(shù)指標(biāo)、效益指標(biāo)、轉(zhuǎn)化應(yīng)用指標(biāo)3個(gè)維度出發(fā)構(gòu)建了交通運(yùn)輸科技成果評(píng)價(jià)指標(biāo)體系[4]，張勃對(duì)鐵路運(yùn)輸企業(yè)科技成果類別及評(píng)價(jià)模式進(jìn)行了研究，總結(jié)并提出了鐵路運(yùn)輸企業(yè)可實(shí)施的分類評(píng)價(jià)模式[5]；在農(nóng)業(yè)領(lǐng)域，賈敬敦等從技術(shù)、效益和風(fēng)險(xiǎn)3個(gè)角度構(gòu)建了應(yīng)用開發(fā)類、軟科學(xué)類與基礎(chǔ)研究類三類農(nóng)業(yè)科技成果的評(píng)價(jià)指標(biāo)體系[6]，于磊等學(xué)者引入模糊評(píng)價(jià)法和動(dòng)態(tài)收益分成率兩個(gè)關(guān)鍵，對(duì)農(nóng)業(yè)科技成果價(jià)值評(píng)估收益法進(jìn)行了改進(jìn)[7]；在醫(yī)學(xué)領(lǐng)域，白波等人基于邏輯模型和回報(bào)模型構(gòu)建了醫(yī)學(xué)科技計(jì)劃績(jī)效評(píng)估框架[8]，沈娟等學(xué)者針對(duì)基礎(chǔ)研究、臨床與轉(zhuǎn)化研究（包括新藥研發(fā)）和管理學(xué)領(lǐng)域，提出了醫(yī)學(xué)科技評(píng)價(jià)體系框架和不同專業(yè)領(lǐng)域評(píng)價(jià)體系構(gòu)建的具體建議[9]。然而，專門針對(duì)城市安全領(lǐng)域的科技項(xiàng)目成果評(píng)價(jià)研究幾乎沒有。上述研究結(jié)合各個(gè)領(lǐng)域業(yè)務(wù)及成果特點(diǎn)，探索了定性或定量開展科技項(xiàng)目成果評(píng)價(jià)的指標(biāo)和方法，對(duì)城市安全領(lǐng)域科技項(xiàng)目成果評(píng)價(jià)工作的開展極具借鑒意義。但是，各個(gè)行業(yè)領(lǐng)域在成果產(chǎn)出類型、成果擴(kuò)散及成效發(fā)揮方面具有顯著的差異，要開展城市安全領(lǐng)域的科技成果評(píng)價(jià)，還需構(gòu)建符合城市安全領(lǐng)域科技項(xiàng)目特點(diǎn)的評(píng)價(jià)指標(biāo)體系。

筆者以《科技評(píng)估工作規(guī)定（試行）》（國(guó)科發(fā)證〔2016〕382號(hào)）[10]、《國(guó)務(wù)院辦公廳關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見》（國(guó)辦發(fā)〔2021〕26號(hào)）[11]、《科技評(píng)估基本術(shù)語》（GB/T 40148-2021）[12]、《科技評(píng)估通則》（GB/T 40147-2021）[13]等相關(guān)政策和標(biāo)準(zhǔn)為指引，結(jié)合城市安全領(lǐng)域科技項(xiàng)目成果產(chǎn)出以及發(fā)揮成效的特點(diǎn)，基于公共安全領(lǐng)域的三角形理論以及科技評(píng)價(jià)的邏輯模型，分析城市安全領(lǐng)域的科技成果產(chǎn)出及發(fā)揮成效的邏輯機(jī)理，基于邏輯機(jī)理構(gòu)建評(píng)價(jià)體系框架，并在此基礎(chǔ)上運(yùn)用德爾菲法和層次分析法篩選評(píng)價(jià)指標(biāo)，確定指標(biāo)權(quán)重，形成完善的評(píng)價(jià)指標(biāo)體系，以期為后續(xù)相關(guān)評(píng)價(jià)機(jī)構(gòu)開展城市安全領(lǐng)域的科技項(xiàng)目成果評(píng)價(jià)提供參考和借鑒。

一、構(gòu)建評(píng)價(jià)框架

筆者根據(jù)城市安全領(lǐng)域科技成果的特點(diǎn)，借鑒國(guó)際上科技評(píng)價(jià)的相關(guān)經(jīng)驗(yàn)，選擇了“投入—產(chǎn)出邏輯模型”[14]和“公共安全三角形理論”[15]相結(jié)合的方式進(jìn)行成果評(píng)價(jià)的框架設(shè)計(jì)。

（一）理論模型

評(píng)價(jià)模型采用了邏輯模型的邏輯主線，同時(shí)在成效部分結(jié)合公共安全三角形理論進(jìn)行了成效分類，從而將邏輯模型和公共安全三角形理論相結(jié)合，使評(píng)估模型更加適用于城市安全項(xiàng)目群成果評(píng)價(jià)。

如圖1所示，構(gòu)建的城市安全領(lǐng)域科技項(xiàng)目成果評(píng)價(jià)模型由以下4個(gè)維度構(gòu)成：戰(zhàn)略目標(biāo)、投入、管理/活動(dòng)、成效。其中，戰(zhàn)略目標(biāo)主要是根據(jù)上級(jí)政策規(guī)劃、城市安全防控需求和科學(xué)發(fā)展需求等方面進(jìn)行設(shè)計(jì)；投入包括為實(shí)現(xiàn)城市安全戰(zhàn)略目標(biāo)所投入的人力、物力、經(jīng)費(fèi)、時(shí)間和技術(shù)等資源；管理/活動(dòng)包括兩個(gè)層面，第一個(gè)層面是指整個(gè)城市安全科技專項(xiàng)的主管方所采取的組織方式和管理措施，第二個(gè)層面是指城市安全領(lǐng)域科技項(xiàng)目執(zhí)行方的實(shí)施活動(dòng)；成效是指城市安全領(lǐng)域?qū)ｍ?xiàng)/項(xiàng)目直接的效果和作用，包括知識(shí)的直接產(chǎn)出、能力建設(shè)、成果擴(kuò)散、應(yīng)用于城市安全防控、更廣泛的經(jīng)濟(jì)和社會(huì)影響等方面。

通過該評(píng)價(jià)模型，將目標(biāo)—投入—管理/活動(dòng)—成效邏輯線路上的所有要素囊括在內(nèi)，有助于了解各環(huán)節(jié)之間的因果關(guān)系，分析城市安全領(lǐng)域科技成果作用于城市安全防控的邏輯機(jī)理，為開展成果評(píng)價(jià)打下基礎(chǔ)。

（二）分析邏輯機(jī)理

基于構(gòu)建的評(píng)價(jià)模型，結(jié)合我國(guó)在城市安全領(lǐng)域的科技布局、城市安全領(lǐng)域項(xiàng)目實(shí)施及成果特點(diǎn)，可得出城市安全領(lǐng)域科技項(xiàng)目成果產(chǎn)出及成效邏輯機(jī)理（見圖2）。

從國(guó)家和政府的實(shí)際操作來看，城市安全領(lǐng)域是作為公共安全專項(xiàng)中的一個(gè)板塊進(jìn)行科技布局的。如圖2所示，公共安全科技工作面臨著保障公共安全、提升科技水平、建立安全體系等需求。因此，根據(jù)實(shí)際安全問題和科技發(fā)展需求，政府制定了公共安全科技專項(xiàng)戰(zhàn)略目標(biāo)，并確定了財(cái)政資源規(guī)模。同時(shí)，政府組織科技機(jī)構(gòu)、科技項(xiàng)目牽頭人員等進(jìn)行投入。在給予一定的投入后，政府公共安全專項(xiàng)組織管理部門開始組織管理活動(dòng)，包括資源整合優(yōu)化、確定重點(diǎn)支持領(lǐng)域、確定優(yōu)先資助項(xiàng)目、遴選項(xiàng)目承擔(dān)單位、開展過程監(jiān)督管理等，這些都是公共安全專項(xiàng)關(guān)鍵的管理環(huán)節(jié)。經(jīng)過復(fù)雜的科技投入和管理活動(dòng)，公共安全專項(xiàng)的直接結(jié)果就是組織部署了一系列項(xiàng)目。其中，城市安全領(lǐng)域包括城鎮(zhèn)安全、社區(qū)安全、地下管網(wǎng)、建筑安全及基礎(chǔ)設(shè)施等方面，且這些項(xiàng)目形成了一系列成果，成果通過擴(kuò)散推廣對(duì)城市安全防控產(chǎn)生影響，主要表現(xiàn)在風(fēng)險(xiǎn)評(píng)估與預(yù)防、監(jiān)測(cè)預(yù)測(cè)及預(yù)警、應(yīng)急處置與救援、綜合保障4個(gè)方面。同時(shí)，這些成果還將對(duì)社會(huì)與經(jīng)濟(jì)的發(fā)展產(chǎn)生重要影響。

（三）構(gòu)建評(píng)價(jià)框架

邏輯機(jī)理圖展示了政府在城市安全領(lǐng)域進(jìn)行科技投入、管理和產(chǎn)生成果，以及發(fā)揮成效的前因后果和關(guān)鍵環(huán)節(jié)。其中，科技成果評(píng)估重點(diǎn)關(guān)注直接產(chǎn)出、成果擴(kuò)散、城市安全防控效果、更廣泛的經(jīng)濟(jì)社會(huì)影響4個(gè)關(guān)鍵環(huán)節(jié)（見圖3），這些關(guān)鍵環(huán)節(jié)因此構(gòu)成了城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)的維度（見表1）。

二、建立指標(biāo)體系

在構(gòu)建成果評(píng)價(jià)框架之后，首先需要確定成果評(píng)價(jià)準(zhǔn)則，在此基礎(chǔ)上，運(yùn)用德爾菲法，通過“預(yù)選—咨詢—篩選”的技術(shù)路徑，建立城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)指標(biāo)體系。

（一）確定評(píng)價(jià)準(zhǔn)則

評(píng)價(jià)框架上的關(guān)鍵環(huán)節(jié)對(duì)應(yīng)著城市安全領(lǐng)域項(xiàng)目成果成效發(fā)揮過程中的“可能”斷點(diǎn)，這些環(huán)節(jié)上做得好或差，將直接影響成果的績(jī)效，而做得好壞的標(biāo)準(zhǔn)，也就對(duì)應(yīng)著具體的評(píng)價(jià)準(zhǔn)則。筆者根據(jù)城市安全領(lǐng)域科技成果的特點(diǎn)，綜合國(guó)家在科技成果評(píng)價(jià)方面的政策文件，參考各地科技成果評(píng)價(jià)標(biāo)準(zhǔn)，以及各類期刊、論著中關(guān)于成果評(píng)價(jià)的研究成果，形成了城市安全領(lǐng)域科技成果評(píng)價(jià)的評(píng)估準(zhǔn)則（見表2）。

（二）評(píng)價(jià)指標(biāo)預(yù)選

結(jié)合評(píng)估準(zhǔn)則，在評(píng)價(jià)框架下，研究團(tuán)隊(duì)通過文獻(xiàn)分析、項(xiàng)目資料文本分析及相關(guān)領(lǐng)域?qū)＜艺{(diào)研等方式，調(diào)查獲取了城市安全領(lǐng)域的項(xiàng)目成果相關(guān)指標(biāo)，并進(jìn)行了實(shí)驗(yàn)性預(yù)選，初步形成了城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)指標(biāo)體系，包括4個(gè)一級(jí)指標(biāo)，7個(gè)二級(jí)指標(biāo)，26個(gè)三級(jí)指標(biāo)（見表3）。

（三）基于德爾菲法的評(píng)價(jià)指標(biāo)篩選

1.咨詢問卷的編制

根據(jù)初始指標(biāo)體系，筆者編制了“城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)”德爾菲專家咨詢表。咨詢表包括研究背景介紹、填表說明、專家基本信息、指標(biāo)評(píng)價(jià)、專家權(quán)威程度量化評(píng)價(jià)5個(gè)部分的內(nèi)容。指標(biāo)評(píng)價(jià)部分重點(diǎn)對(duì)各項(xiàng)指標(biāo)的重要性和可行性進(jìn)行咨詢，分為高、中、低三個(gè)等級(jí)，分別賦予5分、3分及1分。專家根據(jù)指標(biāo)重要程度及實(shí)際評(píng)價(jià)操作中的數(shù)據(jù)可獲取性進(jìn)行打分，分值越大表示該指標(biāo)越重要。同時(shí)，專家可以對(duì)其認(rèn)為不合理的內(nèi)容或表達(dá)方式進(jìn)行修改，也可以增加指標(biāo)。

2.咨詢專家的選擇

在遴選形成專家小組時(shí)，為了切實(shí)符合城市安全領(lǐng)域的項(xiàng)目成果特點(diǎn)，筆者主要遵循以下遴選標(biāo)準(zhǔn)：從事城市安全相關(guān)領(lǐng)域的科研工作；具有高級(jí)及以上技術(shù)職稱；具有良好的學(xué)術(shù)道德及職業(yè)道德。最終選取的咨詢專家，包括公共安全、火災(zāi)科學(xué)、地下空間工程、交通安全、建筑安全等方面的專家17人。其中，在城市安全領(lǐng)域具有10年及以上工作年限的專家占94％，所有專家全部為高級(jí)職稱。

3.專家咨詢統(tǒng)計(jì)分析結(jié)果

研究進(jìn)行了兩輪調(diào)查問卷。第一輪邀請(qǐng)了17名專家，有15名專家返回評(píng)分結(jié)果，問卷回收率約為88.2％；第二輪邀請(qǐng)了15名專家，有14名專家返回評(píng)分結(jié)果，問卷回收率約為93％。研究對(duì)專家權(quán)威程度Cr進(jìn)行了量化評(píng)價(jià)，主要請(qǐng)專家填寫判斷依據(jù)Ca和對(duì)問題的熟悉程度Cs，其量化表見表4，計(jì)算公式為：Cr=（Ca+Cs）/2，數(shù)值越大表明專家對(duì)咨詢內(nèi)容的權(quán)威程度越高。通過計(jì)算兩輪專家權(quán)威程度均在0.7～0.95之間。這說明專家參與本次研究的積極性較高，參與的專家權(quán)威程度也比較高，所形成的評(píng)價(jià)指標(biāo)體系比較可信。

通過對(duì)兩輪咨詢結(jié)果的數(shù)據(jù)統(tǒng)計(jì)與分析，得出專家意見的均數(shù)及選擇率。第一輪和第二輪的協(xié)調(diào)系數(shù)分別為0.241和0.299，統(tǒng)計(jì)結(jié)果如表5所示。兩輪的協(xié)調(diào)系數(shù)經(jīng)x2檢驗(yàn)，P值均小于0.05，說明專家的意見具有較好的協(xié)調(diào)性，咨詢結(jié)果可信且具有一致性。

4.評(píng)價(jià)指標(biāo)最終篩選結(jié)果

研究在遴選評(píng)價(jià)指標(biāo)的過程中，使用國(guó)際上常用的界值法，選取了選擇率均值、變異系數(shù)均值作為界值，根據(jù)每項(xiàng)指標(biāo)重要性和可行性的算數(shù)均數(shù)、變異系數(shù)和選擇率計(jì)算參考值。其中，選擇率為正向指標(biāo)，變異系數(shù)為負(fù)向指標(biāo)，得分高于選擇率均值、低于變異系數(shù)均值的保留；為了防止重要指標(biāo)被刪除，只有某個(gè)指標(biāo)的得分低于選擇率均值，且低于變異系數(shù)均值，才會(huì)被刪除；對(duì)部分界值得分不滿足的指標(biāo)，將其納入下一輪進(jìn)一步經(jīng)專家篩選。運(yùn)用SPSS對(duì)每一輪的專家函評(píng)分值進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析（見表6）。第一輪專家咨詢的指標(biāo)選擇率均值為0.96（高和中合計(jì)選擇率），變異系數(shù)均值為0.26。那么，變異系數(shù)低于0.26且選擇率大于96％的指標(biāo)，認(rèn)為是專家公認(rèn)保留的指標(biāo)，將不在第二輪咨詢中出現(xiàn)，如專利、新技術(shù)/新方法、新產(chǎn)品/裝置/系統(tǒng)、開展的應(yīng)用示范、成果納入標(biāo)準(zhǔn)/產(chǎn)出標(biāo)準(zhǔn)、服務(wù)于風(fēng)險(xiǎn)評(píng)估實(shí)效等指標(biāo)；統(tǒng)計(jì)結(jié)果顯示第一輪中沒有明確需要?jiǎng)h除的指標(biāo)，僅增加了二級(jí)指標(biāo)“所解決城市安防問題的重要性”及其下屬三級(jí)指標(biāo)“所解決問題的重要性”。第二輪專家咨詢的指標(biāo)選擇率均值為0.95，變異系數(shù)均值為0.29。那么，變異系數(shù)低于0.29且選擇率大于95％的指標(biāo)，認(rèn)為是專家形成統(tǒng)一意見進(jìn)行保留的指標(biāo)。第二輪專家咨詢結(jié)果顯示，專家意見基本趨于一致。其中，大部分指標(biāo)得到保留，刪除了指標(biāo)“專著”（選擇率0.89，變異系數(shù)0.24），尚有6個(gè)指標(biāo)不滿足部分界值，包括“新理論/原理”“成果的成熟度”“成果被政策文件引用”“成果的轉(zhuǎn)讓”“技術(shù)的培訓(xùn)”“降低城市建設(shè)脆弱性”，需要根據(jù)全面性、科學(xué)性、可行性等原則經(jīng)討論后取舍。進(jìn)一步綜合專家的意見及相關(guān)選擇情況，可以發(fā)現(xiàn)，本評(píng)價(jià)框架及指標(biāo)體系的專家認(rèn)同度較高，評(píng)價(jià)指標(biāo)的選擇率均數(shù)較高，需要進(jìn)一步討論的6項(xiàng)指標(biāo)的選擇率（可行性+重要性）均高于93％（14人中1人未選則為93％）；部分指標(biāo)的變異系數(shù)大于均數(shù)，差異化也主要體現(xiàn)在“中”和“高”上。基于此，經(jīng)過討論，考慮到指標(biāo)體系的全面性等原則，6項(xiàng)指標(biāo)全部保留。最終形成的城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)指標(biāo)體系，包括一級(jí)指標(biāo)4個(gè)，二級(jí)指標(biāo)8個(gè)，三級(jí)指標(biāo)26個(gè)。

三、基于層次分析法確定指標(biāo)權(quán)重

指標(biāo)權(quán)重系數(shù)是影響評(píng)價(jià)指標(biāo)體系科學(xué)性的重要因素，研究采用最為常用的層次分析法測(cè)量指標(biāo)賦權(quán)。

（一）建立遞階層次結(jié)構(gòu)模型

研究選用了Yaahp軟件作為層次分析法的輔助軟件，構(gòu)建了包括目標(biāo)層、準(zhǔn)則層和指標(biāo)層的遞階層次結(jié)構(gòu)模型（見圖4）。

（二）形成調(diào)查表

根據(jù)城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)指標(biāo)的層次結(jié)構(gòu)模型，利用yaahp軟件，生成權(quán)重調(diào)查表，發(fā)放給15名前期參與指標(biāo)篩選的專家進(jìn)行指標(biāo)的重要性排序評(píng)分，形成兩兩判斷矩陣。

（三）建立判別矩陣及權(quán)重求解

將專家咨詢結(jié)果輸入yaahp軟件計(jì)算，一級(jí)指標(biāo)判別矩陣如表7所示。經(jīng)軟件計(jì)算，CR=0.0000＜0.10，層次分析結(jié)果的一致性理想，即權(quán)重系數(shù)分配合理（見表8）。

根據(jù)該運(yùn)算方法，對(duì)二級(jí)和三級(jí)指標(biāo)權(quán)重分別進(jìn)行計(jì)算、匯總、推導(dǎo)運(yùn)算，最終獲得結(jié)果（見表9）。

四、成果評(píng)價(jià)指標(biāo)體系的使用

在城市安全領(lǐng)域項(xiàng)目成果評(píng)價(jià)指標(biāo)體系構(gòu)建后，可使用模糊綜合評(píng)價(jià)法進(jìn)行評(píng)價(jià)。使用yaahp軟件輔助生成專家測(cè)評(píng)表，將生成的評(píng)測(cè)表分發(fā)給評(píng)價(jià)專家，由專家根據(jù)相關(guān)項(xiàng)目成果資料，對(duì)每個(gè)項(xiàng)目的每項(xiàng)指標(biāo)進(jìn)行等級(jí)判定?；厥赵u(píng)測(cè)表后，使用yaahp軟件模糊綜合評(píng)價(jià)的“導(dǎo)入”功能，可進(jìn)行評(píng)價(jià)結(jié)果計(jì)算。

在模糊綜合評(píng)價(jià)計(jì)算中，最后一個(gè)計(jì)算步驟是去模糊，從而得到最終的評(píng)價(jià)分值。去模糊有多種方法可用，可采用設(shè)定評(píng)價(jià)等級(jí)論域，然后加權(quán)平均的方法，為各個(gè)評(píng)價(jià)等級(jí)設(shè)定分值，如優(yōu)（100分）、良（80分）、中（60分）、差（30分）。

五、結(jié)語

研究基于公共安全領(lǐng)域的三角形理論以及科技評(píng)價(jià)的邏輯模型建立了評(píng)價(jià)模型，在分析城市安全領(lǐng)域科技成果績(jī)效形成機(jī)理的基礎(chǔ)上，運(yùn)用德爾菲法篩選了評(píng)價(jià)指標(biāo)，包括知識(shí)產(chǎn)出、成果擴(kuò)散、城市安全防控效果、更廣泛的經(jīng)濟(jì)和社會(huì)影響4個(gè)一級(jí)指標(biāo)，8個(gè)二級(jí)指標(biāo)以及26個(gè)三級(jí)指標(biāo)；運(yùn)用層次分析法確定了各級(jí)指標(biāo)的權(quán)重，從而形成了科學(xué)完善的城市安全領(lǐng)域科技項(xiàng)目成果評(píng)價(jià)指標(biāo)體系，為我國(guó)城市安全領(lǐng)域科技項(xiàng)目及科技計(jì)劃的成果評(píng)價(jià)工作提供支撐。

該成果評(píng)價(jià)體系的評(píng)價(jià)框架是基于城市安全領(lǐng)域項(xiàng)目成果從產(chǎn)出到發(fā)揮成效的邏輯機(jī)理而構(gòu)建的，具有堅(jiān)實(shí)的理論基礎(chǔ)；而評(píng)價(jià)指標(biāo)的預(yù)選，則是深度結(jié)合“十三五”期間城市安全領(lǐng)域國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目的成果產(chǎn)出及成效特點(diǎn)，可謂理論與實(shí)踐的有效結(jié)合。從整個(gè)評(píng)價(jià)體系的指標(biāo)及權(quán)重上來看，該評(píng)價(jià)體系更加注重成果的實(shí)際效果評(píng)價(jià)，城市安全防控效果權(quán)重占到了0.5442；同時(shí)，知識(shí)產(chǎn)出部分也不單純以論文發(fā)表數(shù)量、級(jí)別為準(zhǔn)則進(jìn)行評(píng)價(jià)，而是運(yùn)用模糊綜合評(píng)價(jià)法，由專家根據(jù)領(lǐng)域特點(diǎn)、資金投入情況等來判斷產(chǎn)出成果的數(shù)量、水平等級(jí)，是破“四唯”后科技成果評(píng)價(jià)的進(jìn)一步探索。

研究構(gòu)建的項(xiàng)目成果評(píng)價(jià)體系及方法在城市安全領(lǐng)域具有一定的通用性和普適性，但城市安全領(lǐng)域依然是一個(gè)相對(duì)綜合的領(lǐng)域，涉及城市建筑、管網(wǎng)管廊、基礎(chǔ)設(shè)施、重大災(zāi)害事故等具體領(lǐng)域，且每個(gè)行業(yè)領(lǐng)域都具有自身的專業(yè)特點(diǎn)。因此，在實(shí)際評(píng)價(jià)工作中，指標(biāo)體系可根據(jù)成果所在專業(yè)領(lǐng)域進(jìn)一步細(xì)化或調(diào)整。

參考文獻(xiàn)：

[1] 周曉峰，朱偉.我國(guó)城市綜合體安全面臨的挑戰(zhàn)與對(duì)策[J].科技智囊，2020（11）：31-37.

[2] 王敏芳，黨芬，余楠.國(guó)防科技成果的評(píng)價(jià)方法[J].國(guó)防技術(shù)基礎(chǔ)，2005（06）：16-18.

[3] 寇元虎，陶瑞.國(guó)防科技成果評(píng)價(jià)指標(biāo)體系與評(píng)判標(biāo)準(zhǔn)構(gòu)建研究[J].科學(xué)管理研究，2015（03）：32-35.

[4] 董靜，牛犇，尚文豪，等.新形勢(shì)下交通運(yùn)輸科技成果分類評(píng)價(jià)指標(biāo)體系研究[J].公路交通科技（應(yīng)用技術(shù)版），2019（10）：289-292.

[5] 張勃.鐵路運(yùn)輸企業(yè)科技成果類別及評(píng)價(jià)模式研究[J].中國(guó)鐵路，2022（06）：125-129.

[6] 賈敬敦，吳飛鳴，孫傳范，等.農(nóng)業(yè)科技成果評(píng)價(jià)指標(biāo)體系構(gòu)建研究[J].中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)，2015（06）：1-7.

[7] 于磊，吳東立，王萌，等.農(nóng)業(yè)科技成果價(jià)值評(píng)估收益法改進(jìn)研究[J].農(nóng)業(yè)經(jīng)濟(jì)，2023（04）：24-26.

[8] 白波，王艷芳.基于邏輯模型和回報(bào)模型的醫(yī)學(xué)科技計(jì)劃績(jī)效評(píng)估框架構(gòu)建[J].技術(shù)與創(chuàng)新管理，2015（02）：131-137.

[9] 沈娟，郭欣，關(guān)健.新時(shí)期醫(yī)學(xué)領(lǐng)域科技評(píng)價(jià)影響因素及評(píng)價(jià)體系構(gòu)建原則和建議[J].科技管理研究，2022（22）：71-76.

[10] 科學(xué)技術(shù)部，財(cái)政部，國(guó)家發(fā)展和改革委員會(huì).科技部 財(cái)政部 發(fā)展改革委關(guān)于印發(fā)《科技評(píng)估工作規(guī)定（試行）》的通知[EB/OL].（2017-01-17）[2021-07-02].http：//www.most.gov.cn/kjzc/gjkjzc/kjjhgl/201701/t20170117_130544.html.

[11] 國(guó)務(wù)院辦公廳.國(guó)務(wù)院辦公廳關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見[J].科學(xué)中國(guó)人，2021（22）：30-32.

[12] 全國(guó)科技評(píng)估標(biāo)準(zhǔn)化技術(shù)委員會(huì).科技評(píng)估基本術(shù)語：GB/T 40148-2021[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2021.

[13] 全國(guó)科技評(píng)估標(biāo)準(zhǔn)化技術(shù)委員會(huì).科技評(píng)估通則：GB/T 40147-2021[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2021.

[14] Annie M，Ronald S，Simeone，et al.Logic Models：A Systems Tool for Performance Management[J].Evaluation and Program Planning，2001（01）：73-81.

[15] 劉奕，倪順江，翁文國(guó)，等.公共安全體系發(fā)展與安全保障型社會(huì)[J].中國(guó)工程科學(xué)，2017（01）：118-123.

Analysis of Project Achievement Evaluation System in Urban Safety Field Based on Delphi Method and Analytic Hierarchy Process

Wang Yanfang1 Shi Yanqin2 Zhu Wei1

（1.Institute of Urban Systems Engineering，Beijing Academy of Science and Technology，Beijing，100089；2.Institute for Smart Ageing，Beijing Academy of Science and Technology，Beijing，100089）

Abstract：In order to carry out scientific and accurate achievement evaluation of projects in the field of urban safety，the article analyzes the logical mechanism of the output and effectiveness of scientific and technological achievements in the field of urban safety，guided by the relevant national regulations and standards for the evaluation of scientific and technological achievements，combined with the characteristics of project achievements in the field of urban safety，based on the public security triangular theory and the logical model，based on the logical mechanism，the evaluation framework is constructed，including four dimensions of knowledge production，achievement diffusion，urban safety prevention and control effect and economic and social impact. On this basis，the delphi method and analytic hierarchy process are used to screen the evaluation indexes，determine the index weight and form a perfect evaluation index system，in order to provides reference and reference for the later relevant evaluation institutions to carry out the evaluation of scientific and technological projects in the field of urban safety.

Key words：Urban safety；Project achievement evaluation；Evaluating indicator；Delphi method；Analytic hierarchy process