面向不同人群的林業(yè)網(wǎng)站績(jī)效評(píng)估差異分析

董 晨，吳保國＋，靳愛仙，馮峻極，顧紅波

（1.北京林業(yè)大學(xué) 信息學(xué)院，北京100083；2.國家林業(yè)局 信息化管理辦公室，北京100714）

0 引 言

為了全面了解和掌握林業(yè)網(wǎng)站建設(shè)的情況，建立網(wǎng)站評(píng)估指標(biāo)體系是一項(xiàng)重要工作。國內(nèi)外目前在建立績(jī)效指標(biāo)體系的研究中有多種形式，其中，具有影響力的有：埃森哲公司提出的服務(wù)成熟度和客戶關(guān)系管理成熟度來衡量政府績(jī)效的方法［1］；美國公共行政學(xué)會(huì) （ASPA）制定的電子政務(wù)績(jī)效評(píng)估的指標(biāo)體系，體系包括政府網(wǎng)站狀況、基礎(chǔ)設(shè)置狀況和人力資源狀況［2］；新加坡南洋理工大學(xué)對(duì)新加坡政府門戶網(wǎng)站的網(wǎng)上服務(wù)指標(biāo)進(jìn)行了細(xì)分設(shè)計(jì)，構(gòu)建了專門用于評(píng)估新加坡電子政務(wù)績(jī)效水平的評(píng)估體系［3］；Papadomichelaki等構(gòu)建了政府網(wǎng)站信息服務(wù)評(píng)估模型，通過對(duì)希臘政府網(wǎng)站評(píng)估活動(dòng)，對(duì)模型進(jìn)行驗(yàn)證和確認(rèn)［4］；在歐洲，F(xiàn)rancisco等通過調(diào)查問卷的形式，構(gòu)建了政府門戶網(wǎng)站評(píng)價(jià)指標(biāo)體系，該體系主要包括網(wǎng)站信息可獲取性、導(dǎo)航功能、內(nèi)容質(zhì)量、運(yùn)行速度等重要因子［5］；在我國，中國軟件評(píng)測(cè)中心與中國信息化績(jī)效評(píng)估中心制定了中國政府網(wǎng)站績(jī)效評(píng)估指標(biāo)體系，該體系在每年的評(píng)估活動(dòng)中不斷進(jìn)行完善［6］；電子政務(wù)思想庫網(wǎng)站發(fā)布文件 《全國十大城市政府門戶網(wǎng)站的初步調(diào)查與比較》，開始逐步嘗試使用國際性的電子政務(wù)模型對(duì)政府網(wǎng)站予以初步的測(cè)評(píng)等［7］。

然而，網(wǎng)站評(píng)估工作中，指標(biāo)設(shè)定是難度最大，最受爭(zhēng)議的環(huán)節(jié)，其主要原因有兩個(gè)：①網(wǎng)站評(píng)估指標(biāo)的建立基本都是根據(jù)個(gè)人經(jīng)驗(yàn)或者借鑒其它網(wǎng)站評(píng)估指標(biāo)所得，具有較強(qiáng)的主觀性，同時(shí)，我國在網(wǎng)站評(píng)估指標(biāo)制定方面也沒有形成統(tǒng)一的標(biāo)準(zhǔn)；②目前我國的網(wǎng)站評(píng)估活動(dòng)，尤其是政府網(wǎng)站評(píng)估，基本都是政府自發(fā)舉行的，參與網(wǎng)站評(píng)估的人群通常是政府的相關(guān)人員，沒有面向社會(huì)其它群體。

本研究構(gòu)建了林業(yè)網(wǎng)站績(jī)效評(píng)估指標(biāo)體系，組織3類不同的人群對(duì)我國34個(gè)省 （區(qū)）市林業(yè)廳 （局）網(wǎng)站進(jìn)行了評(píng)估，以選取不同類型的評(píng)估者為切入點(diǎn)，分析不同人群評(píng)估結(jié)果的差異性，從而發(fā)現(xiàn)網(wǎng)站評(píng)估工作中存在的問題。

1 林業(yè)網(wǎng)站績(jī)效評(píng)估指標(biāo)體系建立

本研究在全國政府網(wǎng)站績(jī)效評(píng)估指標(biāo)體系［8］、全國各地行政單位網(wǎng)站評(píng)估指標(biāo)體［9］系基礎(chǔ)上，借鑒國內(nèi)外典型的網(wǎng)站評(píng)估指標(biāo)體系［10］，通過采用德爾菲法和層次分析法制定了我國省區(qū)市林業(yè)廳 （局）網(wǎng)站評(píng)估指標(biāo)體系。

1.1 網(wǎng)站績(jī)效評(píng)估指標(biāo)內(nèi)容確定

研究采用德爾菲法 （Delphi method）［11］確定指標(biāo)體系中的各項(xiàng)內(nèi)容。在運(yùn)用德爾菲法的結(jié)果判定中，采用專家意見的集中程度（式 （1））、專家意見的協(xié)調(diào)程度 （式 （2））和專家參與調(diào)查的程度［8］來證明判定的可信程度。在應(yīng)用德爾菲法時(shí)，若上述三方面的指標(biāo)均良好，則整個(gè)結(jié)果比較可信

式 （1）是專家意見的集中程度的數(shù)學(xué)表達(dá)式，其中，Kj代表滿分頻率，它表示對(duì)第j個(gè)方案打滿分的專家人數(shù)與對(duì)第j個(gè)方案參加評(píng)估的專家人數(shù)之比

式 （2）是專家意見協(xié)調(diào)程度的數(shù)學(xué)表達(dá)式，其中，σj表示專家對(duì)j方案評(píng)分的標(biāo)準(zhǔn)差，Mj表示j方案的算術(shù)平均值。

專家參與調(diào)查程度則采用專家人數(shù)來說明。

研究征集了20名專家 （德爾菲法樣本數(shù)中規(guī)定最低15人）對(duì)指標(biāo)體系雛形進(jìn)行判斷和意見采集，經(jīng)過三輪的專家意見征集、指標(biāo)內(nèi)容修改，在最終一輪中得到最低Kj值為97.5%，最大意見協(xié)調(diào)程度CVk＝0.2，結(jié)果可信，從而確定了省區(qū)市林業(yè)廳局網(wǎng)站評(píng)估指標(biāo)，其中一級(jí)指標(biāo)5個(gè)，二級(jí)指標(biāo)12項(xiàng)，三級(jí)指標(biāo)36項(xiàng)，見表1。

1.2 指標(biāo)權(quán)重確定

指標(biāo)權(quán)重采用層次分析法 （analytic hierarchy process）［12］制定。權(quán)重的制定按照以下步驟進(jìn)行：

（1）建立指標(biāo)層次分析模型。研究中由于指標(biāo)體系中二、三級(jí)指標(biāo)內(nèi)容較多，不便于兩兩比較，因此指標(biāo)權(quán)重只賦予一級(jí)指標(biāo)權(quán)重。

（2）構(gòu)造判斷矩陣。研究選取了具有相同權(quán)重的5 名專家對(duì)一級(jí)指標(biāo)進(jìn)行兩兩判斷，共收集了5組數(shù)據(jù)。

（3）層次排序及其一致性檢驗(yàn)。采用和積法［9］對(duì)每個(gè)專家所判斷的權(quán)重結(jié)果進(jìn)行排序，并對(duì)判斷矩陣的最大特征根進(jìn)行一致性檢驗(yàn) （CR 值）。5 名專家的層次排序及一致性檢驗(yàn)結(jié)果見表2。各專家的CR 系數(shù)均小于0.1，因此5個(gè)判斷矩陣都具有滿意的一致性。通過各專家排序向量加權(quán)幾何平均，得出各一級(jí)指標(biāo)的權(quán)重平均值。

實(shí)驗(yàn)經(jīng)過三輪的專家咨詢以及利用層次分析法進(jìn)行指標(biāo)權(quán)重賦予，最終確定了省區(qū)市林業(yè)廳局網(wǎng)站評(píng)估指標(biāo)體系。

2 指標(biāo)評(píng)測(cè)結(jié)果分析

2.1 評(píng)估過程與評(píng)測(cè)結(jié)果

研究利用上面制定的指標(biāo)體系，選擇了除了西藏自治區(qū)以外的全國30個(gè)省區(qū)市，4個(gè)林業(yè)森工集團(tuán)共計(jì)34個(gè)單位的林業(yè)政府門戶網(wǎng)站評(píng)估。為了從不同社會(huì)角度反映我國各省區(qū)市林業(yè)廳局網(wǎng)站的建設(shè)情況，結(jié)合樣本量的經(jīng)驗(yàn)判斷［13］，研究選取了國家林業(yè)局信息技術(shù)專家、信息化方向研究生和無林業(yè)專業(yè)背景的公眾三類不同性質(zhì)的人群作為評(píng)估專家，每類選擇10人。其中，國家林業(yè)局信息技術(shù)專家人群是政府內(nèi)部人員，代表林業(yè)網(wǎng)站建設(shè)的宏觀規(guī)劃和管理者。信息化方向研究生人群對(duì)與網(wǎng)站開發(fā)相關(guān)的信息技術(shù)了解程度較深，代表了IT 技術(shù)人員。無林業(yè)專業(yè)背景的公眾不具備林業(yè)知識(shí)和高深的信息技術(shù)水平，代表了社會(huì)人士。

評(píng)估者參考已建立的指標(biāo)體系，訪問各個(gè)省區(qū)市林業(yè)廳局網(wǎng)站，根據(jù)三級(jí)指標(biāo)內(nèi)容對(duì)網(wǎng)站進(jìn)行綜合評(píng)估打分，將三級(jí)指標(biāo)分值匯總到一級(jí)指標(biāo)下，結(jié)合根據(jù)每個(gè)一級(jí)指標(biāo)所分配的權(quán)重，計(jì)算出省區(qū)市林業(yè)網(wǎng)站建設(shè)評(píng)估分值。

表1 省 （區(qū)）市林業(yè)廳 （局）網(wǎng)站評(píng)估指標(biāo)體系

為了更好地考察網(wǎng)站評(píng)估指標(biāo)體系的合理性，將三類人群評(píng)估差異情況進(jìn)行一個(gè)系統(tǒng)的分析。

2.2 組內(nèi)差異分析

2.2.1 國家林業(yè)局林業(yè)信息技術(shù)專家組評(píng)分結(jié)果分析

將10名林業(yè)信息技術(shù)專家對(duì)各個(gè)林業(yè)網(wǎng)站的得分情況繪制成趨勢(shì)線，如圖1所示。由圖1 可知，除了1 名專家對(duì)內(nèi)蒙古森工集團(tuán)和龍江森工的兩個(gè)網(wǎng)站的得分走勢(shì)與其它9名專家相反之外，10名專家對(duì)34個(gè)網(wǎng)站的得分走勢(shì)幾乎接近一致，說明10名林業(yè)信息技術(shù)專家對(duì)指標(biāo)體系認(rèn)知程度基本一致。

從各項(xiàng)一級(jí)指標(biāo)的角度分析，經(jīng)過各指標(biāo)的加權(quán)、平均計(jì)算，求得每位專家對(duì)省區(qū)市林業(yè)廳局網(wǎng)站在一級(jí)指標(biāo)和總分上得分率 （每位專家對(duì)網(wǎng)站在一級(jí)指標(biāo)和總分上得分的平均分占相應(yīng)指標(biāo)總分的比例），見表3。從表3中得知，10名專家的總平均得分率為50.63%，說明信息技術(shù)專家對(duì)34個(gè)網(wǎng)站的打分情況普遍較低。在五項(xiàng)一級(jí)指標(biāo)中，“在線服務(wù)”指標(biāo)得分率最高為60.82%，說明專家對(duì)林業(yè)網(wǎng)站的在線服務(wù)功能相對(duì)較滿意，而 “特色服務(wù)”的平均得分率僅35.45%，說明各林業(yè)網(wǎng)站在特色功能建設(shè)、技術(shù)應(yīng)用情況等較為欠缺。在各專家的評(píng)分比較中，8 號(hào)專家給出總分值最高，得分率為52.18%，6號(hào)專家給出最低分，得分率為48.45%。最低分和最高分得分率跨度差為3.73個(gè)百分比，10名專家的平均評(píng)估結(jié)果差別不大。

為了科學(xué)衡量10名專家在各一級(jí)指標(biāo)中得分的差異，采用計(jì)算得分率標(biāo)準(zhǔn)差來進(jìn)行比較。計(jì)算了總平均分和5個(gè)一級(jí)指標(biāo)的得分率的標(biāo)準(zhǔn)差，10名專家總平均分的標(biāo)準(zhǔn)差為0.0138，在 “信息公開”指標(biāo)上的得分差異較小，僅為0.0189，而 “公眾參與”指標(biāo)的標(biāo)準(zhǔn)差相對(duì)最大，為0.0545，“在線服務(wù)”、 “網(wǎng)站設(shè)計(jì)與管理”和 “特色服務(wù)”指標(biāo)標(biāo)準(zhǔn)差介于兩者之間。從標(biāo)準(zhǔn)差值說明，10名信息技術(shù)專家對(duì)網(wǎng)站的信息公開、主動(dòng)公開和依申請(qǐng)公開等信息公開項(xiàng)目的認(rèn)知度較為一致，而相對(duì) “公眾參與”指標(biāo)，專家對(duì)網(wǎng)站的互動(dòng)交流、意見征集、訪談直播的建設(shè)情況的看法稍微些出入，說明公眾參與指標(biāo)需要更加完善。但所有的一級(jí)指標(biāo)得分率的標(biāo)準(zhǔn)差都在0.06以下，標(biāo)準(zhǔn)差很小，再次證實(shí)了專家內(nèi)部對(duì)網(wǎng)站及指標(biāo)體系的認(rèn)知程度近似于一致，沒有出現(xiàn)較大分歧。

2.2.2 信息化研究生評(píng)分結(jié)果差異分析

從信息化研究生評(píng)估走勢(shì)圖 （圖2）中可知，10 名信息專業(yè)研究生對(duì)網(wǎng)站的評(píng)估結(jié)果總體趨勢(shì)大體一致，也存在一些較小的差異，經(jīng)數(shù)據(jù)查看得知1號(hào)研究生對(duì)網(wǎng)站的打分有明顯的差異，最高分接近滿分，而最低分在10分以下，5號(hào)研究生對(duì)網(wǎng)站的打分普遍偏低，其余的研究生打分處在一個(gè)平均水平。從整體得分走勢(shì)圖說明信息化研究生內(nèi)部對(duì)網(wǎng)站的總體認(rèn)知程度差別不大。

信息化研究生的一級(jí)指標(biāo)得分率見表4，10名研究生對(duì)網(wǎng)站評(píng)估的總體得分率為68.78%，分值較高，10 名研究生評(píng)估分?jǐn)?shù)跨度為9.90%。各一級(jí)指標(biāo)中，“信息公開”指標(biāo)的總得分率較高，為77.77%，網(wǎng)站設(shè)計(jì)與管理的得分率最低，為52.96%。

表2 5名專家判斷矩陣排序及一致性檢驗(yàn)結(jié)果

圖1 林業(yè)信息技術(shù)專家得分走勢(shì)

表3 10名林業(yè)信息技術(shù)專家一級(jí)指標(biāo)得分率與標(biāo)準(zhǔn)差

圖2 信息研究生得分走勢(shì)

表4 10名信息研究生一級(jí)指標(biāo)得分率和標(biāo)準(zhǔn)差

從總平均分和各項(xiàng)指標(biāo)的得分率標(biāo)準(zhǔn)差來看，平均分標(biāo)準(zhǔn)差0.0434，指標(biāo) “信息公開”、“在線服務(wù)”的標(biāo)準(zhǔn)差相對(duì)較小，“公眾參與”和 “特色服務(wù)”的得分情況差異略大，“網(wǎng)站設(shè)計(jì)與管理”指標(biāo)的得分率標(biāo)準(zhǔn)差最大。由表4可知，1號(hào)研究生在 “網(wǎng)站設(shè)計(jì)與管理”指標(biāo)的平均得分率為75.74%，而5號(hào)專家的得分率只有39.8%，說明兩位研究生對(duì)該指標(biāo)的理解存在一定的分歧，從研究生的得分率標(biāo)準(zhǔn)差來看，以標(biāo)準(zhǔn)差值0.06為界， “特色服務(wù)”、 “公眾參與”和“網(wǎng)站設(shè)計(jì)與管理”指標(biāo)存在完善的必要性。

2.2.3 無林業(yè)專業(yè)背景的公眾評(píng)分結(jié)果分析

從圖3所知，無林業(yè)專業(yè)背景的公眾對(duì)林業(yè)網(wǎng)站的評(píng)估結(jié)果趨勢(shì)盡管較為一致，但在局部地區(qū)，如華北地區(qū)、西南地區(qū)和西北地區(qū)的林業(yè)網(wǎng)站評(píng)估結(jié)果，10名公眾的打分情況呈現(xiàn)出較為不規(guī)則狀態(tài)，相對(duì)于林業(yè)技術(shù)專家和信息化研究生，無林業(yè)專業(yè)背景的公眾則對(duì)網(wǎng)站建設(shè)的理解各有所求。

圖3 無林業(yè)專業(yè)背景的公眾得分走勢(shì)

在公眾對(duì)林業(yè)網(wǎng)站的評(píng)估結(jié)果中，各林業(yè)網(wǎng)站的總體平均得分率59.99%。10名公眾的各自評(píng)分值分布較均勻，但跨度較大，最高平均得分率為10號(hào)公眾的70.17%，最低為9號(hào)公眾的45.47%分，兩者差值達(dá)到了24.7%，說明2位評(píng)估者對(duì)指標(biāo)的理解分歧較大。在各項(xiàng)一級(jí)指標(biāo)中，“公眾參與”指標(biāo)得分率普遍較低， “信息公開”指標(biāo)得分率較高，其余在兩者之間，詳見表5。

從公眾的得分率標(biāo)準(zhǔn)差來看，較專家和研究生而言，公眾的總平均分標(biāo)準(zhǔn)差最大，為0.0760，指標(biāo) “信息公開”和 “特色服務(wù)”得分率標(biāo)準(zhǔn)差最大，通過訪談得知，公眾對(duì)政府網(wǎng)站的信息公開情況和網(wǎng)站特色功能建設(shè)、技術(shù)應(yīng)用情況政府技能不甚了解，因此得分差別較大，同時(shí)，其余三項(xiàng)一級(jí)指標(biāo)的標(biāo)準(zhǔn)差與其它兩類評(píng)估者相比，存在差異較大的現(xiàn)象。因此，對(duì)于無林業(yè)專業(yè)背景的公眾而言，網(wǎng)站的評(píng)估結(jié)果更加傾向于個(gè)人直覺的判斷，具有較大的主觀性。

經(jīng)過三類人群的組內(nèi)評(píng)估差異分析得知，10名林業(yè)技術(shù)專家評(píng)估結(jié)果大體一致，各項(xiàng)一級(jí)指標(biāo)的標(biāo)準(zhǔn)差較小，說明專家內(nèi)部對(duì)指標(biāo)的認(rèn)知程度和衡量網(wǎng)站建設(shè)的角度較統(tǒng)一。而10名研究生對(duì)網(wǎng)站的總體建設(shè)水平評(píng)估結(jié)果大體相同，但存在個(gè)別評(píng)估者對(duì)網(wǎng)站評(píng)分差值大的現(xiàn)象、同時(shí)在“網(wǎng)站設(shè)計(jì)與管理”、 “特色服務(wù)”及 “公眾參與”指標(biāo)的理解存在一定的差異。10名公眾的評(píng)分標(biāo)準(zhǔn)則更加受到個(gè)人主觀的影響，總體得分和一級(jí)指標(biāo)都存在差異較大的現(xiàn)象。

表5 10名無林業(yè)知識(shí)背景的公眾一級(jí)指標(biāo)得分率

2.3 組間差異分析

2.3.1 網(wǎng)站總體得分差異

圖4反映的是三類評(píng)估者在各個(gè)單位評(píng)估總分上的垂直分布情況，從圖中可以看出，三類人群對(duì)各個(gè)省區(qū)市林業(yè)網(wǎng)站評(píng)估結(jié)果的趨勢(shì)走向大體一致，東南部地區(qū)的林業(yè)網(wǎng)站建設(shè)優(yōu)于中西部地區(qū)。在三類評(píng)估人群中，林業(yè)信息技術(shù)專家打分最低，研究生打分大致偏高，公眾的打分位于兩者之間。

圖4 林業(yè)廳 （局）網(wǎng)站評(píng)估總分垂直線

將三類人群對(duì)每個(gè)林業(yè)網(wǎng)站的平均評(píng)估結(jié)果作一個(gè)頻數(shù)分析，得到的結(jié)果見表6，從標(biāo)準(zhǔn)差和全距兩個(gè)指標(biāo)的角度分析，研究生所評(píng)估的34個(gè)林業(yè)網(wǎng)站建設(shè)水平的離散程度最大，說明研究生評(píng)估結(jié)果兩極分化相對(duì)較嚴(yán)重。離散程度相對(duì)較小的是無林業(yè)知識(shí)背景的公眾，其標(biāo)準(zhǔn)差和全距的數(shù)值為三類人群中的最小值。專家和公眾的評(píng)估結(jié)果的偏度大于零，說明該兩類人群的評(píng)估結(jié)果呈右偏分布，且公眾的偏斜度更大 （0.666＞0.197），說明該兩類人群的評(píng)估結(jié)果中，更多的林業(yè)網(wǎng)站得分低于平均水平，公眾的評(píng)估結(jié)果更明顯，而在研究生的評(píng)估結(jié)果中，其偏度值小于零，有更多的網(wǎng)站得分高于平均值，這一現(xiàn)象也可以通過中值指標(biāo)體現(xiàn)。此外，三類人群的評(píng)估結(jié)果峰度值均小于零，數(shù)據(jù)分布較正態(tài)分布而言，更加平緩，由此可見三類人群的網(wǎng)站評(píng)估的分?jǐn)?shù)分布都較均勻。

表6 林業(yè)廳 （局）網(wǎng)站評(píng)估結(jié)果頻數(shù)分布統(tǒng)計(jì)

2.3.2 一級(jí)指標(biāo)得分差異

圖5顯示了三類人群對(duì)林業(yè)網(wǎng)站評(píng)估的一級(jí)指標(biāo)得分率 （該得分率為每類人群在各項(xiàng)一級(jí)指標(biāo)的平均得分與指標(biāo)項(xiàng)總分的比率）。從圖中看出，三類人群的評(píng)估結(jié)果在信息公開、公眾參與和特色服務(wù)3個(gè)指標(biāo)差異較大，在線服務(wù)指標(biāo)差異最小，網(wǎng)站設(shè)計(jì)與管理指標(biāo)其次。

表7和表8分別是三類評(píng)估者各項(xiàng)一級(jí)指標(biāo)評(píng)估結(jié)果的相關(guān)性統(tǒng)計(jì)和三類評(píng)估者各項(xiàng)一級(jí)指標(biāo)信度分析統(tǒng)計(jì)結(jié)果，現(xiàn)分別各一級(jí)指標(biāo)對(duì)指標(biāo)平均得分率、相關(guān)性和信度分析結(jié)果進(jìn)行分析。

（1）在信息公開。在三類人群對(duì)信息公開標(biāo)項(xiàng)的平均得分率中，其中林業(yè)信息技術(shù)專家打分較低，僅為48.65%，公眾其次，得分率66.15%，信息化研究生在該指標(biāo)上的得分率高出了29.12個(gè)百分點(diǎn)。

為了說明三類數(shù)據(jù)的可靠性，對(duì)三類評(píng)估者對(duì)34個(gè)網(wǎng)站在信息公開指標(biāo)所得的分?jǐn)?shù)值，使用α模型，F(xiàn)檢驗(yàn)，進(jìn)行信度分析，在檢驗(yàn)顯著的情況下，林業(yè)專家和公眾在信息公開指標(biāo)上的相關(guān)性高于與信息化研究生之間的評(píng)分相關(guān)性 （0.921＞0.682），說明了在各個(gè)單位的得分中，信息化研究生的評(píng)估結(jié)果與其他兩類人較為不同。以Alpha信度系數(shù)0.5為界，從表8中得知三類數(shù)據(jù)的Alpha信度系數(shù)為0.905，信度系數(shù)大于0.5，說明總體上三類人群的評(píng)估結(jié)果是合理的。但無論是從校正的項(xiàng)總計(jì)相關(guān)性和多相關(guān)性的平方兩個(gè)指標(biāo)的值來看，信息化研究生的系數(shù)值均小于其他兩類人，從剔除的信度系數(shù)來看，剔除研究生的評(píng)估結(jié)果后的Alpha 值大于總體的Alpha值，結(jié)合表8的結(jié)果，可以從標(biāo)準(zhǔn)差的差異和訪問每類評(píng)估者得出，研究生認(rèn)為只要有指標(biāo)項(xiàng)中提出的信息公開內(nèi)容，網(wǎng)站就能得到相應(yīng)的分?jǐn)?shù)，但專家除了查閱網(wǎng)站是否存在相應(yīng)的公開內(nèi)容以外，還關(guān)注內(nèi)容的質(zhì)量、更新情況等。從信度分析的結(jié)果說明，研究生的評(píng)估結(jié)果與其他兩類人群的評(píng)估結(jié)果有較大的偏離。以上分析說明了三類人群對(duì)信息公開指標(biāo)的理解程度具有較大差異，在指標(biāo)完善上，應(yīng)該更加詳細(xì)化或加上相應(yīng)的指標(biāo)說明。

（2）在線服務(wù)。在圖5所示的在線服務(wù)指標(biāo)的平均得分率中，林業(yè)專家和公眾的得分率值接近，分別為60.82%和60.89%，研究生得分率略高，為65.79%，最大值和最小值相差4.97個(gè)百分點(diǎn)。

從相關(guān)性分析中得出，信息化研究生的評(píng)估結(jié)果與公眾的評(píng)估結(jié)果相關(guān)性最低，而通過信度分析表明，三類數(shù)據(jù)的Alpha信度系數(shù)為0.778，大于0.5，總體上三類人群的評(píng)估結(jié)果具有合理性，但信息化研究生在校正的項(xiàng)總計(jì)相關(guān)性和多相關(guān)性的平方數(shù)據(jù)處于最低值，且剔除研究生的評(píng)估結(jié)果后的Alpha值大于總體的Alpha值，因此信息化研究生的評(píng)估結(jié)果具有較低的相關(guān)性，評(píng)估結(jié)果需要進(jìn)一步審核。

從以上分析得知，三類人群在在線服務(wù)指標(biāo)上的得分差異較小，說明三類人群在該指標(biāo)項(xiàng)上的認(rèn)知程度一致性較高，該指標(biāo)相對(duì)較完善，但研究生的評(píng)估結(jié)果依然與其他兩類人群的評(píng)估結(jié)果有所偏離。

圖5 一級(jí)指標(biāo)平均得分率

表7 三類評(píng)估者各項(xiàng)一級(jí)指標(biāo)評(píng)估結(jié)果相關(guān)性

表8 三類評(píng)估者各項(xiàng)一級(jí)指標(biāo)信度分析統(tǒng)計(jì)量

（3）公眾參與。在公眾參與指標(biāo)中，研究生給予的分值最高，得分率為61.31%，公眾給了最低分，得分率為47.90%，兩者相差13.41個(gè)百分點(diǎn)，而專家的得分率位于兩者之間。

經(jīng)過信度分析可知，與前面兩個(gè)指標(biāo)相比，三類評(píng)估者在公眾參與指標(biāo)的評(píng)估結(jié)果的差異性相對(duì)較大，研究生和公眾的相關(guān)性指標(biāo)僅為0.462，總體Alpha信度系數(shù)數(shù)據(jù)大于0.5，盡管說明總體上三類人群的評(píng)估結(jié)果具有合理性，但校正的項(xiàng)總計(jì)相關(guān)性和多相關(guān)性的平方數(shù)據(jù)均低于前面兩項(xiàng)指標(biāo)，尤其是研究生的評(píng)估結(jié)果，剔除后的Alpha值大于總體的Alpha值。

三類人群對(duì)公眾參與指標(biāo)的評(píng)估結(jié)果存在較大的差異，經(jīng)過實(shí)際的訪談得知，研究生的評(píng)估更加注重互動(dòng)交流平臺(tái)的建設(shè)，而公眾看重于平臺(tái)的真實(shí)運(yùn)用，而目前多數(shù)林業(yè)網(wǎng)站建設(shè)了公眾參與平臺(tái)，但與用戶的互動(dòng)情況不夠理想。從信度分析得知，信息化研究生的評(píng)估結(jié)果較專家和公眾而言，依然具有一定的爭(zhēng)議性。

（4）網(wǎng)站設(shè)計(jì)與管理。在該指標(biāo)的評(píng)估結(jié)果中，林業(yè)專家的分?jǐn)?shù)最低，得分率47.97%，其次分別是研究生（52.96%）和公眾 （56.89%），兩兩得分率呈現(xiàn)非絕對(duì)的等差數(shù)列分布，差值在4－5個(gè)百分點(diǎn)。

在相關(guān)性分析中，研究生和公眾的評(píng)估結(jié)果系數(shù)最低，為0.592，專家與公眾的相關(guān)性最高，為0.770。而公眾和研究生的多相關(guān)性平方均相對(duì)較低，但所有評(píng)估者剔除后的Alpha都想與總體的Alpha值，充分說明說明總體上三類人群的評(píng)估結(jié)果具有較高的合理性和緊湊性。

從標(biāo)準(zhǔn)差值和信度分析的結(jié)果得知，三類人群在網(wǎng)站設(shè)計(jì)與管理指標(biāo)上的得分差異并不大，說明該項(xiàng)指標(biāo)設(shè)計(jì)相對(duì)較合理，同時(shí)三類人群的評(píng)估結(jié)果相關(guān)性較高。通過之前的分析得知研究生在該項(xiàng)指標(biāo)上打分較大地低于其所打的其它指標(biāo)的分值，說明林業(yè)專家和研究生其對(duì)網(wǎng)站的美觀程度和總體功能服務(wù)有著較高的要求。

（5）特色服務(wù)。三類評(píng)估者在特色服務(wù)指標(biāo)的評(píng)估結(jié)果中，研究生和公眾的得分率差異較小，分別為59.27%和55.41%，而林業(yè)專家在該項(xiàng)上的得分率較低，僅為34.45%，得分率落差達(dá)到23.82個(gè)百分點(diǎn)。

三類人群在該指標(biāo)項(xiàng)評(píng)估結(jié)果的相關(guān)系數(shù)均低于0.7，研究生和公眾的相關(guān)系數(shù)最低，為0.573，多相關(guān)性平方的系數(shù)均較低，但從總體的Alpha值和項(xiàng)已刪除的Alpha值來看，三類評(píng)估者的評(píng)估結(jié)果還是具有一定的合理性和緊湊性。

經(jīng)過得分率差異分析和實(shí)際調(diào)查得知，林業(yè)專家對(duì)該指標(biāo)項(xiàng)的理解是網(wǎng)站達(dá)到其余指標(biāo)項(xiàng)要求后的創(chuàng)新之處，而85%的研究生和公眾對(duì)該指標(biāo)的理解則是網(wǎng)站的整體功能服務(wù)建設(shè)。說明該指標(biāo)面對(duì)不同的人群有不同的見解，因此指標(biāo)內(nèi)容需要完善。信度分析則說明了三類人群的評(píng)估結(jié)果沒有出現(xiàn)偏離。

通過組間差異分析得知，三類人群在34個(gè)網(wǎng)站的總分趨勢(shì)上大體一致，但在各一級(jí)指標(biāo)得分的兩兩相關(guān)性分析中，依然存在不同程度的差異性。從標(biāo)準(zhǔn)差差異分析得知，信息公開、公眾參與和特色服務(wù)指標(biāo)存在差異較大，需要進(jìn)一步完善。在信度分析中得知，信息化研究生與其他兩類人的相關(guān)系數(shù)均處于最低值，同時(shí)，其對(duì)34個(gè)網(wǎng)站的評(píng)估結(jié)果離散程度最大，且在信息公開、在線服務(wù)和公眾參與三項(xiàng)指標(biāo)上的評(píng)估結(jié)果較為不同。而林業(yè)專家和公眾的評(píng)估結(jié)果則相對(duì)具有較高的一致性。

3 結(jié)束語

本文采用德爾菲法和層次分析法制定了省區(qū)市林業(yè)廳（局）網(wǎng)站評(píng)估指標(biāo)體系，選用三類不同人群對(duì)網(wǎng)站進(jìn)行評(píng)估，評(píng)估指標(biāo)基本合理，評(píng)估結(jié)果得到各省 （區(qū)）市林業(yè)廳 （局）的認(rèn)可。

通過分析不同人群的評(píng)估差異，結(jié)果表明，一級(jí)指標(biāo)中的 “信息公開”、“網(wǎng)站設(shè)計(jì)與管理”和 “特色服務(wù)”3個(gè)指標(biāo)評(píng)估結(jié)果在不同的人群中相對(duì)差異較大。評(píng)估的差異性說明了這些指標(biāo)存在一定的定性因素，公眾在評(píng)估過程中注重的是對(duì)網(wǎng)站的第一感覺，對(duì)林業(yè)政府網(wǎng)站的信息公開、林業(yè)政策制度建設(shè)、政府功能服務(wù)等情況相對(duì)陌生，研究生更多關(guān)注了網(wǎng)站開發(fā)的信息技術(shù)水平，而林業(yè)專家則更多地站在林業(yè)政府的角度，對(duì)網(wǎng)站內(nèi)容給予更加專業(yè)的要求。每人都有自己的判定標(biāo)準(zhǔn)，因此造成了評(píng)估結(jié)果的不一致。

因此，在今后的政府網(wǎng)站評(píng)估工作中，必須注意以下三點(diǎn)：

（1）提高指標(biāo)體系內(nèi)容和權(quán)重的合理性。在指標(biāo)的篩選和完善上，增加指標(biāo)定量因素，適當(dāng)?shù)亟档椭笜?biāo)的定性因素，使得定量與定性指標(biāo)相結(jié)合，同時(shí)指標(biāo)內(nèi)容要便于理解。

（2）建立具有代表性的評(píng)估隊(duì)伍。評(píng)估對(duì)象涉及面要廣泛，進(jìn)行分類選擇人群，每類都要有一定數(shù)量的人，盡可能讓評(píng)估結(jié)果反應(yīng)出政府對(duì)社會(huì)的作用。

（3）對(duì)指標(biāo)體系進(jìn)行有針對(duì)性地分類。根據(jù)不同的人群，對(duì)指標(biāo)體系進(jìn)行分類，不同的指標(biāo)類別由與之最相關(guān)的人群進(jìn)行評(píng)估。

［1］Zhu X H，Zhang J.Situation and countermeasure research of government website performance ［J］.Applied Mechanics and Materials，2013，380：1986－1990.

［2］Zou K，Liu L.Design and implementation of local government gateway website performance evaluation system ［C］//International Conference on Computer Science and Service System.IEEE，2011：3141－3144.

［3］Jeremy Lim，Clive Tan.Strategic orientations in singapore healthcare［J］.The Business Times，2011 （9）：16－22.

［4］Papadomichelaki X，Mentzas G.e－GovQual：A multiple－item scale for assessing e－government service quality ［J］.Government Information Quarterly，2012，29 （1）：98－109.

［5］Francisco Javier Miranda.Quantitative assessment of European municipal web sites development and use of an evaluation tool［J］.Internet Research，2009，19 （4）：425－441.

［6］CHENG Fei.Research on e－government websites evaluation models and methods of the science and technology department［D］.Hefei：Hefei University of Technology，2007 （in Chinese）.［程飛.科技系統(tǒng)電子政務(wù)網(wǎng)站評(píng)價(jià)模型與方法研究［D］.合肥：合肥工業(yè)大學(xué)，2007.］

［7］A preliminary investigation and comparison of the government portal websites in top ten cities in China ［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org（in Chinese）.［全國十大城市政府門戶網(wǎng)站的初步調(diào)查與比較［EB/OL］.［2010－08－30］.http：//www.1st－eg.Org.］

［8］ZHOU Liang，ZHANG Shaotong.Design of Chinese government website performance evaluation index system in 2008 ［J］.E－government，2009 （12）：51－55 （in Chinese）.［周亮，張少彤.2008年中國政府網(wǎng)站績(jī)效評(píng)估指標(biāo)體系設(shè)計(jì)說明 ［J］.電子政務(wù)，2009 （12）：51－55.］

［9］ZHOU Liang，WANG Qingmeng，BAI Chao，et al.Design of the local government websites performance evaluation index in 2010 ［J］.E－Government，2011 （1）：30－35 （in Chinese）.［周亮，王慶蒙，白超，等.2010年地方政府網(wǎng)站績(jī)效評(píng)估指標(biāo)設(shè)計(jì)思路 ［J］.電子政務(wù)，2011 （1）：30－35.］

［10］Guo Y，Shou Z.The government website performance evaluation system based on the third－party assessment model［C］//International Conference on E－Business and E－Government.IEEE，2011：1－3.

［11］Wang X，Gao Z，Guo H.Delphi method for estimating uncertainty distributions［J］.Information：An International Interdisciplinary Journal，2012，15 （2）：449－460.

［12］Saaty T L.Analytic hierarchy process［M］.Encyclopedia of Operations Research and Management Science.Springer US，2013：52－64.

［13］YUAN Jianwen，LI Keyan.A comparative study on sample size calculation method［J］.Statistics and Decision，2013，29 （1）：22－24（in Chinese）.［袁建文，李科研.關(guān)于樣本量計(jì)算方法的比較研究［J］.統(tǒng)計(jì)與決策，2013，29 （1）：22－24.］