基于大數(shù)據(jù)的省級政務(wù)信息資源共享平臺績效評估方法

李 君，鄭愛華，李光宇，劉偉偉，馬 坤

(1.山東省工業(yè)和信息化研究院，山東 濟南 250013；2.濟南大學(xué) a.物理科學(xué)與技術(shù)學(xué)院，b.信息科學(xué)與工程學(xué)院，山東 濟南 250022；3.山東匯景市場研究咨詢有限公司，山東 濟南 250014)

大數(shù)據(jù)時代背景下，世界各國高度重視政務(wù)信息資源共享平臺建設(shè)。相關(guān)數(shù)據(jù)顯示[1-3]，近年來西方發(fā)達國家通過規(guī)劃和立法，加強政務(wù)信息資源共享平臺建設(shè)，推動電子政務(wù)的服務(wù)能力和水平，取得一定成效。2015年11月中共中央出臺了《關(guān)于制定國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃的建議》，首次明確指出要實施國家大數(shù)據(jù)戰(zhàn)略，積極推進數(shù)據(jù)資源共享，彰顯了國家對大數(shù)據(jù)下政務(wù)信息資源共享工作的重視，為各省、市、自治區(qū)加快推進政務(wù)信息共享工作提供了良好的條件與政策空間。

相關(guān)研究表明[4-6]，隨著我國有關(guān)政策的出臺，各省級政府積極推動省級政務(wù)信息資源共享平臺的建設(shè)并取得了一定成效，政務(wù)信息資源共享平臺建設(shè)已經(jīng)成為大數(shù)據(jù)下服務(wù)型政府治理體系構(gòu)建和治理能力現(xiàn)代化水平提升的重要內(nèi)容。山東省充分利用大數(shù)據(jù)云平臺技術(shù)，通過云集成、網(wǎng)絡(luò)統(tǒng)一和數(shù)據(jù)融合三大舉措，克服了“信息孤島”和“數(shù)據(jù)煙囪”等網(wǎng)絡(luò)平臺弊端，構(gòu)建起涵蓋政務(wù)服務(wù)、協(xié)同辦公、數(shù)據(jù)共享和開放等領(lǐng)域的“一體化大數(shù)據(jù)平臺”，促進數(shù)據(jù)共享和開放，為全省數(shù)據(jù)管理和開發(fā)利用提供全方位服務(wù)[7]。

在數(shù)據(jù)整合共享和開放應(yīng)用實踐中，信息資源共享平臺建設(shè)還存在許多問題，比如數(shù)據(jù)開放共享程度不高，協(xié)同應(yīng)用效率低，共享理念還亟待增強，平臺的建設(shè)缺少統(tǒng)一規(guī)劃、統(tǒng)一標準等。為此，各國政府正在尋求解決辦法。例如，英國開展以通用績效指標為標準來評估數(shù)字服務(wù)質(zhì)量，通過對每項服務(wù)的成本、用戶滿意度、完成率、數(shù)字服務(wù)接受度等4項指標的測評，確保政府在線服務(wù)能夠滿足用戶需求，用戶能夠輕松完成線上操作，使越來越多的民眾了解并廣泛使用政府提供的數(shù)字服務(wù)，從而獲得成本效益[8]。

在大數(shù)據(jù)時代背景下，政務(wù)信息資源共享平臺的績效評估工作尤為重要，但目前針對政務(wù)信息資源共享平臺績效評估方法的研究多采用定性研究，采用定量研究的方法相對較少。通過建立政務(wù)信息資源共享平臺的績效評價指標體系，對政務(wù)信息資源共享平臺的建設(shè)與發(fā)展水平進行定量評估，不僅可以提高政務(wù)信息資源的協(xié)同整合與應(yīng)用水平，而且還可以為政務(wù)信息資源共享平臺的可持續(xù)健康運行提供智力支撐。本文中構(gòu)建了省級政務(wù)信息資源共享平臺的評估指標體系，引入和運用績效評估方法，為省級政務(wù)信息資源共享平臺績效評估研究提供新的視角，有利于各級政府持續(xù)推進數(shù)據(jù)共享、協(xié)同、共用，更好地服務(wù)于全省經(jīng)濟文化建設(shè)，提高政府辦事效率，加快政府職能由管理型向服務(wù)型的轉(zhuǎn)變，不斷提升政務(wù)服務(wù)能力和水平。

1 績效評估方法

1.1 評估指標體系的構(gòu)建

根據(jù)相關(guān)研究[9-10]，構(gòu)建省級政務(wù)信息資源共享平臺績效評估指標體系，需要遵循系統(tǒng)性、科學(xué)性、可衡量性、可操作性等原則。在遵循原則的基礎(chǔ)上，通過對省級政務(wù)信息資源共享平臺核心功能分析，本文中構(gòu)建了在現(xiàn)行條件下能夠?qū)κ〖壵?wù)信息資源共享平臺的績效進行評估的相對合理的指標體系，該指標體系由4個一級指標和16個二級指標構(gòu)成，各指標具體內(nèi)容如表1所示。

表1 省級政務(wù)信息資源共享平臺績效評估指標體系

1.1.1 平臺質(zhì)量

平臺質(zhì)量是衡量平臺整體性能的主要指標，包括平臺穩(wěn)定性、可擴展性和融合性。平臺穩(wěn)定性針對整個平臺網(wǎng)站結(jié)構(gòu)、內(nèi)容完整性、操作便捷性以及運行的流暢程度進行評價；平臺可擴展性用來反映平臺能否隨著新一代信息技術(shù)的提高順利進行升級、擴容和提升；平臺融合性主要是對平臺與省內(nèi)各級政府職能部門業(yè)務(wù)系統(tǒng)、社會企事業(yè)單位應(yīng)用系統(tǒng)連接的兼容性進行評價。

1.1.2 平臺功能

平臺功能包括數(shù)據(jù)交換、數(shù)據(jù)整合、數(shù)據(jù)存儲和數(shù)據(jù)管理4個二級指標。數(shù)據(jù)交換用來衡量平臺上各部門(單位)政務(wù)信息資源實時數(shù)據(jù)交換共享和數(shù)據(jù)開放水平。數(shù)據(jù)整合是對平臺開放或共享交換的數(shù)據(jù)進行專題整合后應(yīng)用及業(yè)務(wù)協(xié)同水平的衡量。數(shù)據(jù)存儲是對平臺數(shù)據(jù)分類存儲的合理性的衡量。例如：是否建立人口、法人單位、電子證照、信用等基礎(chǔ)數(shù)據(jù)庫；根據(jù)業(yè)務(wù)分工及用途建立主題庫、專題庫、通用辦公庫等進行分類存儲。數(shù)據(jù)管理用于衡量數(shù)據(jù)資源目錄建設(shè)、數(shù)據(jù)共享交換及有效管理應(yīng)用水平。

1.1.3 運維管理

運維管理是平臺長期可持續(xù)發(fā)展的重要因素，包括基礎(chǔ)設(shè)施、資金保障、組織機構(gòu)、人員素質(zhì)和安全保障5個二級指標?；A(chǔ)設(shè)施是評價平臺的硬件設(shè)施配置及分配利用情況；資金保障用于衡量平臺建設(shè)資金來源是否充足、支配是否合理、運維資金是否充足等狀況；組織機構(gòu)用來評價平臺人員配置的合理性、科學(xué)性、適用性；人員素質(zhì)是衡量相關(guān)人員工作技術(shù)能力、協(xié)調(diào)組織能力及業(yè)務(wù)學(xué)習(xí)能力；安全保障是衡量平臺安全管理體系建設(shè)合理性及平臺的安全等級保護水平。

1.1.4 運行績效

運行績效包括平臺訪問量、政務(wù)協(xié)調(diào)效率、互動反饋、用戶滿意度4個二級指標。平臺訪問量是對平臺推廣使用程度、平臺知名度和平臺服務(wù)能力的反映；政務(wù)協(xié)同效率主要是對平臺政務(wù)信息整合與共享后，政府、企業(yè)、公眾之間協(xié)同辦公水平的衡量；互動反饋是針對平臺對公眾關(guān)切問題反饋速度及反饋滿意度進行測評；用戶滿意度是對平臺為用戶辦事效率及辦事能力水平滿意度進行測評。

1.2 模型建立

1.2.1 設(shè)置指標權(quán)重

層次分析法(AHP)是對決策相關(guān)元素進行定性和定量分析的決策方法之一。本文中使用層次分析法，將信息資源共享平臺進行分級，通過采用同一層級內(nèi)的各指標兩兩比較的方法構(gòu)造矩陣，建立數(shù)學(xué)模型，求出每個指標的相對重要性，計算每個評價指標在本層級的權(quán)重。以此類推，最終計算出每個指標在模型中的總權(quán)重。使用層次分析法計算綜合評價數(shù)值，是一種加權(quán)求和的計算法則，即

(1)

式中：S為綜合指標數(shù)值；Wi為各項指標組合的權(quán)重值；n為一級指標個數(shù)；Pi(v)為測評人對第i個一級指標第v個二級指標給出的分值。

利用AHP方法確定每個指標在評價體系中所占權(quán)重，建立多維層次模型，構(gòu)造判斷矩陣進行兩兩比較，通過計算得到每個指標的權(quán)重，即特征向量和最大特征值，然后進行一致性檢驗。

1.2.2 構(gòu)建層次結(jié)構(gòu)模型

采用 Saaty的九級標度法對重要性程度進行賦值[11]，構(gòu)建進行兩兩比較的判斷矩陣A=(aij)N×N,aij表示ai與aj相對于上一層指標的重要性比例標度，ai、aj分別為對行、列指標重要程度的賦值，N為A的階數(shù)。

1.2.3 計算評價指標的權(quán)重值

層次結(jié)構(gòu)模型構(gòu)造后，使用方根計算方法求出各級指標的特征根和特征向量，即得到指標的權(quán)重值[12]。

1)將矩陣A的每行元素相乘，得到行元素的乘積，

(2)

2)將所得乘積開N次方，即

(3)

(4)

4)計算判斷矩陣A的最大特征根，

(5)

(6)

1.2.4 一致性檢驗

通過計算獲得評價指標權(quán)重后，為確保其科學(xué)性、有效性，需要對判斷矩陣A進行一致性檢驗。

1)求A的一致性指標ACI，

(7)

式中N′為一致性指標個數(shù)。

2)通過1—12階矩陣的平均隨機一致性指標取值表(如表2所示)，查找同階數(shù)的隨機一致性指標ARI[13]。

表2 隨機一致性指標ARI的取值

3)求A的隨機一致性比例ACR,

(8)

4)判斷一致性。當(dāng)ACR<0.1時，認為判斷矩陣的一致性可以接受；當(dāng)ACR≥0.1時，則需要繼續(xù)調(diào)整判斷矩陣，使之具有滿意的一致性。1、2階矩陣總是一致的，此時ACR=0。

1.3 模糊綜合評估

在構(gòu)建省級政務(wù)信息資源共享平臺的績效評估指標體系時，使用層次分析法計算獲得每個指標的權(quán)重后，需要找到合適的方法對信息資源共享平臺進行評估。省級政務(wù)信息資源共享平臺的績效評估涉及多個指標且需要加以綜合，考慮到其績效評估的多目標性和復(fù)雜性，本文中選擇模糊綜合評價法對其進行績效評估。

1)建立模糊評估因素集和評估等級集。依據(jù)省級政務(wù)信息資源共享平臺績效評估指標體系，將各個因素進行層次劃分。

標層的因素集為

A=(A1,A2,A3,A4)。

準則層的因素集為

A1=(B1,B2,B3)，

A2=(B4,B5,B6,B7)，

A3=(B8,B9,B10,B11,B12)，

A4=(B13,B14,B15,B16)。

將評價結(jié)果V劃分為5個等級，建立評價結(jié)果等級矩陣V=(V1,V2,V3,V4,V5)，其中V1、V2、V3、V4、V5分別代表不合格、合格、一般、良好、優(yōu)秀，相對應(yīng)的分數(shù)分別為50、60、70、80、90，即V=(50,60,70,80,90)。

2)構(gòu)建模糊關(guān)系矩陣。通過專家打分法對每個評估指標進行合理打分，并按照等級比例建立隸屬關(guān)系矩陣。根據(jù)具體評估的結(jié)果建立省級政務(wù)信息資源共享平臺模糊評估矩陣，依據(jù)獲得的模糊評估矩陣，構(gòu)建共享平臺績效評估模型，用于衡量省級政務(wù)信息資源共享平臺的運行績效水平，建立模糊關(guān)系矩陣[14],即

i=1,2,…,m;j=1,2,…,n，

(9)

式中γij為被評估對象能被評為Vj的隸屬度，即第i個指標在第j個評語Vj上的頻率分布。

3)綜合分析評估。利用構(gòu)建確立的矩陣Wi(i=1,2,…,n)和Ri(i=1,2,…,n)，進行復(fù)合運算Ai=WiRi，通過對Ai歸一化處理，算出模糊綜合評估向量A1、A2、A3、A4。

依據(jù)計算得到的省級政務(wù)信息資源共享平臺指標集的相關(guān)結(jié)果，構(gòu)建模糊評估矩陣R=(A1,A2,A3,A4)T，然后算出評估向量B=WR=(a1,a2,a3,a4,a5)，并按照最大隸屬度原則，取aj=max{a1,a2,a3,a4,a5}，得到最終綜合評價結(jié)果為aj。

4)計算評估結(jié)果。按照制定的評估等級集，運用公式E=BM，計算得到省級政務(wù)信息資源共享平臺評估各級指標的最終得分，其中E為各級評估指標得分，M=VT。

2 共享平臺評估

利用以上評估方法，以山東省政務(wù)信息資源共享平臺為例進行共享平臺績效評估驗證。

2.1 計算結(jié)果

根據(jù)已構(gòu)建的省級政務(wù)信息資源共享平臺績效評估指標體系，通過專家依據(jù)指標對照山東省政務(wù)信息資源共享平臺打分，最后利用層次分析法軟件Yaahp10.3進行計算，得到以下評價結(jié)果。

平臺判斷矩陣為

平臺質(zhì)量判斷矩陣為

平臺功能判斷矩陣為

運維管理判斷矩陣為

運行績效判斷矩陣為

針對上述所有的判斷矩陣，分別進行一致性檢驗，得出如下結(jié)果。

平臺一致性比例0.026 6<0.1；對總目標的權(quán)重為1.000 0；最大特征值為4.071 0。

平臺質(zhì)量一致性比例0.051 6<0.1；對總目標的權(quán)重為0.292 6；最大特征值為3.053 6。

平臺功能一致性比例0.045 4<0.1；對總目標權(quán)重為0.415 5；最大特征值為4.121 3。

運維管理一致性比例0.043 5<0.1；對總目標的權(quán)重為0.184 9；最大特征值為5.194 7。

運行績效一致性比例0.026 6<0.1；對總目標的權(quán)重為0.107 0；最大特征值為4.071 0。

2.2 確定模糊關(guān)系矩陣

邀請山東省政務(wù)信息化建設(shè)領(lǐng)域內(nèi)15位專業(yè)人員，針對當(dāng)前山東省政務(wù)信息資源共享平臺建設(shè)狀況，根據(jù)評估等級對各項指標進行評級，然后統(tǒng)計每項指標在每項評語下的專家贊同率，作為每項指標對評語集的隸屬度。

表3為山東省政務(wù)信息資源共享平臺績效評估專家打分統(tǒng)計表(表中給出部分字段打分值)。依據(jù)專家打分計算B1—B16對應(yīng)等級的關(guān)系隸屬度，求得平臺質(zhì)量A1、平臺功能A2、運維管理A3、運行績效A4的模糊關(guān)系矩陣為

表3 山東省政務(wù)信息資源共享平臺績效評估專家打分統(tǒng)計表

2.3 確定模糊綜合評估向量

根據(jù)上述計算，得到B1—B3對A1的權(quán)重為WA1，B4—B7對A2的權(quán)重為WA2，B8—B12對A3的權(quán)重為WA3，B13—B16對A4的權(quán)重為WA4。A1—A4對總目標的權(quán)重為WA，它們的值如下：

WA1=(0.310 8,0.493 4,0.195 8)，

WA2=(0.390 5,0.276 1,0.138 1,0.195 3)，

WA3=(0.244 7,0.106 5,0.140 5,0.185 4,0.322 9)，

WA4=(0.190 6,0.418 2,0.120 5,0.270 7)，

WA= (0.292 6,0.415 5,0.184 9,0.170 7)。

分別求出平臺質(zhì)量、平臺功能、運維管理、運行績效的模糊評估向量，結(jié)果如下：

BA1=WA1RA1=(0,0,0.066 7,0.560 8,0.372 5)，

BA2=WA2RA2=(0,0,0.150 2,0.355 6,0.494 3)，

BA3=WA3RA3=(0,0,0.057 5,0.443 6,0.498 9)，

BA4=WA4RA4=(0,0,0.141 4,0.573 9,0.284 7)。

在此基礎(chǔ)上得出總目標的模糊關(guān)系矩陣，

計算得到山東省政務(wù)信息資源共享平臺評估等級矩陣BA，

BA=WARA=(0,0,0.107 7,0.455 3,0.437 1)。

根據(jù)計算結(jié)果可知，山東省政務(wù)信息資源共享平臺績效評價隸屬于“不合格、合格、一般、良好、優(yōu)秀”的程度分別為{0,0,0.107 7,0.455 3,0.437 1}，根據(jù)最大隸屬度原則，隸屬于“良好”的程度最高。其中平臺質(zhì)量評價隸屬于“良好”的程度最高為0.560 8，平臺功能評價隸屬于“優(yōu)秀”的程度最高為0.494 3，運維管理評價隸屬于“優(yōu)秀”的程度最高為0.498 9，運行績效評價隸屬于“良好”的程度最高為0.573 9。

2.4 評估結(jié)果

將上述各等級轉(zhuǎn)化為V=(50,60,70,80,90)對應(yīng)的分數(shù)，則政務(wù)信息資源共享平臺績效總得分為

0.473 1×90+0.455 3×80+0.107 7×70=83.302；

其中，平臺質(zhì)量得分為

0.372 5×90+0.560 8×80+0.066 7×70=83.058；

平臺功能得分為

0.494 3×90+0.355 6×80+0.150 2×70=83.449；

運維管理得分為

0.498 9×90+0.443 6×80+0.057 5×70=84.414；

運行績效得分為

0.284 7×90+0.573 9×80+0.141 4×70=81.433。

采用本文中建立的績效評估指標體系和評估方法，對山東省政務(wù)信息資源共享平臺進行了績效評估，獲得各指標的具體分值。從結(jié)果來看，目前山東省政務(wù)信息資源共享平臺績效評估綜合得分83.302，發(fā)展情況良好。從各級指標比較來看，各一級指標得分良好，但仍存在進一步提升和發(fā)展的空間。

2.5 評估分析建議

基于大數(shù)據(jù)的政務(wù)信息資源共享平臺績效評估方法和對山東省政務(wù)信息資源共享平臺的評估結(jié)果，提出如下建議：1)完善、建立監(jiān)督考核及績效評估機制是提高省政務(wù)信息資源共享平臺建設(shè)水平的有效途徑；2)建設(shè)效能監(jiān)督考核數(shù)據(jù)庫，幫助省政府發(fā)現(xiàn)電子政務(wù)建設(shè)和管理中的問題，及時糾正和調(diào)整，不偏離政府改革目標，有助于提高省級政務(wù)信息資源共享平臺建設(shè)的效率和質(zhì)量，加強各參與主體間的互動交流，打造滿意政府、誠信政府；3)將績效考核評估納入人事管理范疇，建立專家考核、公眾考核、部門考核、日常督導(dǎo)與定期考核相結(jié)合的監(jiān)督考核機制，確保平臺建設(shè)科學(xué)、有效；4)幫助政務(wù)公開管理者不斷完善績效考核系統(tǒng)，對各部門行政權(quán)力和政務(wù)服務(wù)事項在線運行情況進行綜合評估、分析和預(yù)測，不斷推動轉(zhuǎn)變政務(wù)職能，促進電子政務(wù)服務(wù)能力水平，提高政府公信力。

3 結(jié)語

本文中通過對基于大數(shù)據(jù)的政務(wù)信息資源共享平臺績效評估方法的分析和研究，構(gòu)建了信息資源共享平臺績效評估的指標體系。以山東省政務(wù)信息資源共享平臺為例，通過市場調(diào)查和專家打分獲得評估數(shù)據(jù)，對提出的指標評價體系和評估方法進行了系統(tǒng)分析和求證，驗證了數(shù)據(jù)模型的建立和模糊綜合評估方法的有效性，為基于大數(shù)據(jù)下政務(wù)信息共享平臺績效評估的方法提供了依據(jù)，為推進政務(wù)信息共享平臺建設(shè)提供了借鑒。由于該領(lǐng)域的研究還存在例證的有限性，評價指標體系的復(fù)雜性、不確定性等問題，因此共享平臺績效評估方法還需要不斷總結(jié)完善，有待進一步研究探索和實踐。