基于層次分析法的標準評估研究
——以氣象服務(wù)類標準為例

李 嘉，付智斌，夏 雪

（江西省氣象災(zāi)害防御技術(shù)中心，南昌 330046）

1 引言

氣象事業(yè)是科技型、基礎(chǔ)性社會公益事業(yè)，氣象工作的各個領(lǐng)域都離不開標準的支撐與引領(lǐng)，做好氣象標準化工作對促進氣象事業(yè)科學發(fā)展具有重要意義。[1]黨的十八大以來，氣象標準化工作已取得了長足發(fā)展，呈現(xiàn)出新增標準數(shù)量逐年增長，標準覆蓋范圍越來越廣的特征[2]。經(jīng)查詢中國氣象標準化網(wǎng)發(fā)現(xiàn)，截至2022 年底，我國現(xiàn)行氣象標準共1782 項，其中國家標準209 項、行業(yè)標準578 項、地方標準960 項、團體標準35 項。雖然如此，面對氣象高質(zhì)量發(fā)展新形勢新要求，現(xiàn)行氣象標準及標準體系還存在許多不足，迫切需要進一步發(fā)揮好氣象標準的技術(shù)支撐和引領(lǐng)作用，加快構(gòu)建支撐保障氣象高質(zhì)量發(fā)展的標準體系，全面提升氣象標準化治理效能。為此，應(yīng)及時掌握現(xiàn)行氣象標準的實施和應(yīng)用推廣情況，準確評估其社會價值和現(xiàn)實意義，有的放矢發(fā)現(xiàn)標準存在的不足，進而為進一步加強氣象標準制修訂工作，持續(xù)優(yōu)化完善現(xiàn)行氣象標準體系奠定堅實基礎(chǔ)。目前，關(guān)于氣象標準評估相關(guān)研究，國內(nèi)尚未見公開發(fā)表的內(nèi)容。本研究以氣象服務(wù)類標準為例，通過層次分析法（AHP）對該類標準的質(zhì)量水平及實施效果進行分析評估。

2 標準評估指標體系構(gòu)建及權(quán)重計算

2.1 層次評估模型構(gòu)建

AHP 層次分析法是一種解決多目標復(fù)雜問題的定性和定量相結(jié)合進行計算決策權(quán)重的研究方法，具有靈活簡潔、系統(tǒng)性強的顯著特點，被廣泛應(yīng)用于社會、經(jīng)濟、科技、規(guī)劃等諸多領(lǐng)域的評價、決策、預(yù)測、規(guī)劃等。本研究基于AHP 層次分析法，以現(xiàn)行氣象服務(wù)類標準為研究對象，對同類型、具有可比性的指標進行分析，分層分級確定評估因素和子因素，從而建立起氣象服務(wù)類標準的評估指標體系（見圖1）。該體系包含一級指標3 項，即技術(shù)因素、經(jīng)濟因素、社會因素；二級指標15 項，即制定方法、參數(shù)設(shè)定、評定指標、編制嚴謹、可操作性、資源節(jié)約、工作效率、經(jīng)濟效益、精細化管理、滿意率、普及程度、環(huán)保能力提升、政策一致性、技術(shù)促進、規(guī)范社會行為[3-4]。

2.2 指標權(quán)重計算及一致性校驗

組織多名專家對各指標進行兩兩比較，并采用1～9 標度法進行打分。根據(jù)專家組打分結(jié)果構(gòu)建兩兩判斷矩陣，并運用SPSS 軟件計算出準則層和要素層的各指標權(quán)重值，以及要素層各指標相對于目標層的綜合權(quán)重，完成整體權(quán)重的分配（見表1）。

表1 氣象服務(wù)類標準評估指標體系權(quán)重分配表

一致性檢驗是為了檢驗各指標重要度性間的協(xié)調(diào)性和合理性，避免指標兩兩比較時出現(xiàn)A ＞B，B ＞C，而C ＞A 的矛盾情況。當一致性比率CR 值＜0.1 時，表明該組數(shù)據(jù)通過一致性檢驗，且CR 值越趨近于0，則一致性越好。經(jīng)計算，體系內(nèi)各指標CR 值均＜0.1，通過一致性檢驗。

3 樣本采集和數(shù)據(jù)分析

3.1 選定評估樣本

為實現(xiàn)對標準量化評估的目的，被選取作為評估樣本的標準應(yīng)具有代表性。評估樣本選取時主要考慮到四項因素：一是在業(yè)務(wù)工作中使用頻次較高，二是可操作性強，三是對具體業(yè)務(wù)有明顯指導(dǎo)作用，四是應(yīng)用群體背景具有多樣性。綜上，本項目選取了56 項已公布實施1 年以上的江西省現(xiàn)行氣象服務(wù)類標準（含國家標準、行業(yè)標準、江西省地方標準）作為評估對象，并將其分布編號為bz01～bz56（見表2）。這些標準涵蓋了氣象災(zāi)害防御、人工影響天氣、氣候論證、氣象科技服務(wù)等多方面內(nèi)容。

表2 標準評估對象表

3.2 數(shù)據(jù)采集

根據(jù)上述標準評估體系模型，設(shè)計標準質(zhì)量水平及實施效果調(diào)查問卷。該問卷包含姓名、職務(wù)、職稱、單位、工作崗位、工作時間等答卷人的基本信息；以易于量化、表述客觀、簡潔方便的選擇題為主，便于答卷人做出適配選擇；按照問題邏輯順序分類設(shè)置內(nèi)容，以便后期統(tǒng)計歸類分析；問卷內(nèi)容與要素層的15 項指標一一對應(yīng)；另外提供部分開放性問題供答卷人表達意見。為保持評分的一致性，除基本信息外，問卷調(diào)查表中相關(guān)內(nèi)容選項使用Likert 5 點量表法進行測試[5]，以1（完全不同意）、3（不太同意）、5（一般同意）、7（比較同意）、9（完全同意），五檔分數(shù)區(qū)分、量化問卷指標數(shù)據(jù)。問卷發(fā)放對象為各標準使用單位及相關(guān)人員。本項目設(shè)計的問卷于2021 年7月正式在網(wǎng)絡(luò)上發(fā)布，歷時3 個月，最終共收集有效問卷樣本1627 份。

3.3 信度分析

信度即可靠性，是指采用同樣的方法對同一對象重復(fù)測量時所得結(jié)果的一致性程度。為衡量本項目中問卷答案的可信程度，將問卷中15 項指標因素編號為Q1～Q15，對其數(shù)據(jù)進行信度分析。

本項目采用α 信度系數(shù)法。α 系數(shù)評價的是問卷中各題得分一致性，為內(nèi)在一致性系數(shù)，可用于態(tài)度、意見式問卷的信度分析。一般而言，問卷整體的α 系數(shù)在0.8 以上為好，0.7～0.8 屬于可接受范圍，在0.6 以下則表明其內(nèi)容需重新編輯。此處以標準bz01 為例，信度分析結(jié)果如表3 所示，其Cronbach α 系數(shù)為0.92，通過信度檢驗。其余55 項標準經(jīng)分析計算，也均通過信度檢驗。

表3 Cronbach 信度分析表（標準bz01）

3.4 效度分析

效度即正確性，是指一個測驗或測量工具能真實地測量出所要測量的事物的程度。效度分析用于研究題項是否有效表達研究變量或者維度的概念信息，簡單來說就是研究題項設(shè)計是否合理，或者題項某個變量是否合適，即問卷設(shè)計的準確程度。

本項目采用因子分析驗證預(yù)期變量與問卷題項之間的對應(yīng)關(guān)系。此處以標準bz01 為例，效度分析結(jié)果如表4 所示，Q1～Q5、Q6～Q10、Q11～Q15 的各項因子荷載系數(shù)最大值均分別與因子1、因子2、因子3 相對應(yīng)，且所有題項的共同度均大于0.7，說明效度良好，通過效度檢驗。其余55 項標準經(jīng)分析計算，也均通過效度檢驗。

表4 效度分析表（標準bz01）

4 標準特征分析

4.1 標準評分

以bz01 為例，結(jié)合評估指標體系權(quán)重和問卷調(diào)查所得分數(shù)（該標準有效問卷樣本數(shù)為33），對其進行綜合水平評價分析，即標準的評估得分為要素層各指標綜合權(quán)重與該指標調(diào)查問卷得分平均值的乘積之和。如表5 所示，標準bz01 的評分為8.5061。

表5 標準bz01 評估得分表

按上述方法，根據(jù)1627 份有效問卷樣本，計算出56 項江西省現(xiàn)行氣象服務(wù)類標準的最終得分情況，如表6 所示。最終得分由8.3728 至8.8809 不等，整體標準的平均得分為8.6152，其中27 項標準得分高于平均分，29 項標準得分低于平均分。

表6 標準評估得分總表

4.2 指標主導(dǎo)分型

以bz01 為例，其3 項準則層指標的得分情況及歸一化值如表7 所示。該標準的準則層指標中，技術(shù)因素得分的歸一化值為0.3278，分值最高，因此認為該標準為技術(shù)主導(dǎo)型標準。

表7 標準bz01 準則層指標得分表

將56 項被評估標準的準則層指標的得分數(shù)據(jù)都進行歸一化處理，繪制出對比圖（見圖2）。根據(jù)歸一化值將標準分類，其中29 項為技術(shù)主導(dǎo)型，10 項為經(jīng)濟主導(dǎo)型，17 項為社會主導(dǎo)型。

圖2 評估對象準則層指標的歸一化得分對比圖

5 結(jié)語

5.1 研究結(jié)論

標準的種類繁多，分類型對其進行評估更具科學性和可靠性。本研究基于AHP 層次分析法，從現(xiàn)行氣象服務(wù)類標準中提取出共性評價指標，并構(gòu)建起氣象服務(wù)類標準的評估指標體系。之后選取56 項江西省現(xiàn)行氣象服務(wù)類標準作為評估對象，對照評估體系各項指標設(shè)計出標準質(zhì)量水平及實施效果的調(diào)查問卷，并以網(wǎng)絡(luò)問卷調(diào)查的形式收集有效問卷樣本1627 份。再通過加權(quán)計算，得出被選取標準的最終評分。結(jié)果表明，江西省現(xiàn)行氣象服務(wù)類標準以技術(shù)主導(dǎo)型為主，社會效益較經(jīng)濟效益表現(xiàn)更突出，符合公共服務(wù)類標準的核心理念。

5.2 研究局限性

本研究具有一定的局限性。一是樣本選擇有偏差，由于評估樣本中的地方標準均為江西省地方標準，其地域性強，而代表性不足，可能影響到研究結(jié)果的可靠性和普適性；二是數(shù)據(jù)收集有偏差，調(diào)查問卷主要針對氣象服務(wù)類標準的應(yīng)用單位及工作人員，其與標準的關(guān)聯(lián)性強，可能會導(dǎo)致標準得分偏高的情況發(fā)生；三是研究方法本身帶來的偏差，基于層次分析法的標準評估指標體系模型在指標設(shè)置及權(quán)重設(shè)立上具有較強的主觀性，易受主觀意識、專家經(jīng)驗等因素的影響；四是研究深度不夠，在依據(jù)評分結(jié)果對標準進行主導(dǎo)分型后，未繼續(xù)展開進行更深一步的研究。

5.3 研究展望

本研究基于層次分析法，構(gòu)建了氣象服務(wù)類標準評估指標體系，并對江西省現(xiàn)行氣象服務(wù)類標準進行了評估。該方法為評價氣象標準的質(zhì)量水平、實施效果及社會價值提供了較為客觀、準確的依據(jù)，有利于提高標準制修訂效率，增強氣象標準的科學性和可操作性，進而優(yōu)化完善現(xiàn)行氣象標準體系，助力支撐氣象高質(zhì)量發(fā)展。此外，該方法對于其他類型標準的評估也具有一定參考作用。但需要注意的是，由于標準評估涉及諸多復(fù)雜因素，本研究具有一定的局限性，在研究方法、評估專家、樣本對象的選擇，評估指標及權(quán)重的設(shè)立，調(diào)查問卷的設(shè)計與發(fā)放，以及調(diào)查數(shù)據(jù)的校驗與處理等方面，都還有進一步優(yōu)化的空間，有待后續(xù)研究探討。