氣象科技項目應用效益評價指標體系構建

劉愛霞，鄒立堯，張文云，李 磊

0 引言

近幾年來，氣象行業(yè)在科學技術的投入呈現(xiàn)出項目多、經(jīng)費多、類型多的特點，并產(chǎn)生了一定數(shù)量的具有國內(nèi)外領先水平的科技成果。面對前所未有的科技資源投入，氣象科技管理工作在手段、方式、程序、流程和內(nèi)容等諸多方面不能滿足需求，“管理出效益”的作用尚未充分體現(xiàn)，而且衡量氣象科技成果的社會承認及其產(chǎn)生的經(jīng)濟效益方面尚未建立科學的評價機制和方法。而國內(nèi)許多部門和行業(yè)已建立了符合現(xiàn)代科學技術活動規(guī)律和特點的科技項目管理系統(tǒng)。這些系統(tǒng)對完善科研管理流程，強化科技項目管理，規(guī)范科研活動，提高管理效率，公正評價科技成果，促進成果應用發(fā)揮了積極的作用。為了進一步提高氣象科技管理水平和管理效率，規(guī)范科技活動，提高公共財政的使用效益，促進科技項目成果應用，有必要建立一套管理科學、交流順暢、評價客觀且可為氣象科技發(fā)展提供依據(jù)的氣象科技項目應用效益評估系統(tǒng)。

對于指標的測量，本研究創(chuàng)新性地將人力資源評估中的等級錨定法引入項目評估中，不僅解決了不同量綱的指標的標準化，同時使定性指標的量化更為科學。

1 評估指標以及效度分析

對于評估指標通常是通過借鑒已有的指標并在此基礎上結(jié)合實際情況發(fā)展新指標。課題組在閱讀和分析相關資料、文獻的基礎上進行多次討論并征求相關專家意見，初步擬定了表1中的評估指標，但這一指標體系能否準確地測量所要評估的內(nèi)容和領域尚需通過專家的經(jīng)驗進行判斷，為此，我們運用專家調(diào)查法，將擬定的評估指標體系制成咨詢問卷表，選定對氣象科技項目工作比較熟悉，在該領域具有一定權威的24位專家，這些專家中包括氣象科技項目的應用與服務、氣象科技項目的管理以及從事氣象科技項目研究方面的專家，考慮到氣象項目的地域特征，專家主要來自北京、廣東、湖北、遼寧、陜西、上海、四川、新疆八大地區(qū)。問卷對整個指標體系的效度進行了征詢，同時對體系中的每一個指標采用李克特五分量表的形式進行了征詢,請各位專家對評估項目的恰當性進行打分，征詢結(jié)果列于表1中，其中效度評分就是問卷中關于有效行的賦值；效度系數(shù)是通過專家對指標有效性的打分計算，設評估指標集為 U={u1,?u2,?…,uk}，參加指標體系效度打分的專家人數(shù)為n，專家 j對指標體系效度的評分集為 Xj={x1j,?x2j,…,xkj}，專家的人數(shù)為 n ，則第 i個指標ui的效度系數(shù)為:

其中xˉi是n個專家對評估指標ui效度評分的平均值，即，F(xiàn)為評估指標效度評分中的最大值（本研究因采用李科特量表，因此該值為5），整個評估指標體系的效度定義為：

該系數(shù)絕對值越小，表明各專家對指標效度的認識越趨向一致，指標體系的有效性就越高，反之，則有效性越低。

如果專家都認為某指標對項目的評估是恰當?shù)模敲丛撝笜说男Ф绕骄u分必須大于3.0(對于指標體系效度評分的常模（norm）為3（李科特量表）)，否則該指標是一個效度較低的指標，應該從指標體系中刪掉。由表1中的數(shù)據(jù)可知：所有擬定的指標的效度平均評分均大于3，，因此這些指標都予以保留，而且：每個一級指標和二級指標以及三級指標（評估時需要考慮的方面）的效度都符合有效性的要求。

2 指標的賦權及測量

2.1 指標的賦權

確定指標權重的方法有很多種，基本上可以劃分為兩大類，即主觀賦權法和客觀賦權法，主觀賦權法是指各指標的權重依據(jù)人的主觀判斷來確定，通常是專家依據(jù)指標的含義以及指標所反應的績效方面對于項目目標的相對重要程度確定指標的權重?？陀^賦權法一般是根據(jù)指標本身的相關程度和指標所包含的信息變異計算權重。例如，變異系數(shù)賦權法、復相關系數(shù)賦權法等。

表1 一級指標的平均效度評分和效度系數(shù)

表2 指標的權重

客觀賦權法雖然不受專家的主觀隨意性的影響，但由于它在賦權時只考慮了指標之間的相關程度和指標信息的變異，也就是說，它關注的是指標能否有效地將各個被評估對象區(qū)分開，而項目評估的目的并不是為了將各個被評估項目拉開檔次，而是在對目前項目的實際效益進行客觀評價，因此，在賦權方法的選擇上我們選擇主觀賦權法。采用如下描述的專家評分法，在編制專家征詢意見表時，為了避免出現(xiàn)邏輯混亂，首先請專家對指標的重要性進行排序，為最不重要的指標賦值（10），然后每個指標都與它進行比較，如果重要性是它的2倍，則賦值為20，介于2倍與3倍之間，則賦值25，以此類推，最后每個指標的權重（同一征詢表內(nèi)）由下式給出：

考慮到項目類型的差異，我們對公益性行業(yè)（氣象）科研專項、中國氣象局氣象新技術推廣項目、國家科技攻關計劃/科技支撐計劃這三類項目分別進行了權重的征詢。權重征詢包括的專家與指標效度征詢的專家相同，其中有兩份回收問卷因出現(xiàn)邏輯混亂而作廢，為保證調(diào)查結(jié)果的精度，我們又在天津局內(nèi)補充了兩份專家問卷。問卷的處理結(jié)果如表2。

表3 等級區(qū)間描述

2.2 指標的測量

指標體系中既包括定性指標又包括定量指標，這些指標的量綱不同，按照一般綜合評估的程序，需要將它們進行無量剛化處理，本研究為了簡化評估程序，采用目前流行的等級錨定法（Anchored Rating Scale）對定性和定量指標進行無量剛化處理。已有的實踐表明，等級錨定使主體的評價更為客觀和精確。在評估中，為評估主體提供一個錨，基于被評價項目對指標上指示目標的完成程度，評價主體能夠準確的找到與其所對應的級別，保證結(jié)果的客觀性和精確性，避免人為因素對評估結(jié)果產(chǎn)生的干擾，同時，這樣的指標的測量方式采用的是無量鋼化的標準化處理，不用再對每個指標進行單獨的標準化處理。

課題組在與行內(nèi)專家進行充分溝通的基礎上，將所有指標的評定分值分為四個區(qū)間（見表3），同時對于每一個指標的相應區(qū)間給出了測量等級的描述。這些描述只區(qū)分到二級指標，即同一二級指標下的三級指標的描述相同。

3 有關說明

雖然前期已經(jīng)把需要進行評價的項目分成了三個大類，但在區(qū)間描述的時候我們對所有的指標進行了區(qū)間描述，但每個項目的考核指標各不相同，所以并非每個項目都包含了所有三級指標的評估內(nèi)容，如果項目本身沒有此項指標，則本指標所占的權重將按比例分配到與該指標同一個上一級指標下的其他與該指標同級指標中。

比如：第1個一級指標“主要研究成果”有6個二級指標，其中第1個二級指標“成果主要內(nèi)容”有3個三級指標，3個指標的權重分別為0.29、0.36、0.35（以“公益性行業(yè)（氣象）科研專項”為例），如果第1個三級指標“制定了國家/行業(yè)標準”并不是考核指標里所要求的內(nèi)容，則此處不打分，那么此項指標的權重0.29則分配到同一個上一級指標即二級指標“成果主要內(nèi)容”下的另外兩個與該指標同級的三級指標“建立了氣象實用技術”和“建立了氣象業(yè)務系統(tǒng)”中，按權重分配比例為36:35。如果此二級指標下的三級指標都不是考核指標，則該二級指標的權重按比例分配到同一個一級指標下的其他二級指標中，以此類推。

[1]Joint Committeeon Standards for Educationa Evaluation.The Pro?gramme Evaluation Standards[M].CA:Sage,1994.

[2]XIX/02-Budgetary over View and Evaluation Directorate-General XIX-Budgets，European Commission.Evaluting EU Expenditure Pro?grammes:A Guide[Z].1997.

[3]李瑛.決策統(tǒng)計分析[M].天津：天津大學出版社，2009．