科技服務(wù)平臺(tái)質(zhì)量評(píng)價(jià)體系構(gòu)建的過程和方法

鄭燕 吳一旻 李宏汀

摘 要：“不可衡量，則無法管理?！边@個(gè)理念指出任何一項(xiàng)事物想要發(fā)展、想要完善就要有一套評(píng)價(jià)的制度和體系。本文結(jié)合現(xiàn)有關(guān)于網(wǎng)站評(píng)價(jià)、科普平臺(tái)、政務(wù)平臺(tái)的評(píng)價(jià)指標(biāo)，擬定了一套質(zhì)量評(píng)價(jià)體系。該體系統(tǒng)共包括4個(gè)一級(jí)指標(biāo)（分別是站內(nèi)內(nèi)容、服務(wù)情況、網(wǎng)站便利性、使用效果）和細(xì)化后的27個(gè)二級(jí)指標(biāo)，通過問卷調(diào)查法和層次分析法分別調(diào)研用戶和專家，對(duì)指標(biāo)進(jìn)行權(quán)重賦值，從而建立了一套適合科技服務(wù)平臺(tái)的評(píng)價(jià)體系。研究結(jié)果表明用戶偏向站內(nèi)內(nèi)容，專家則更關(guān)注服務(wù)情況，兩者都認(rèn)為網(wǎng)站便利性中，一系列網(wǎng)站技術(shù)指標(biāo)所占權(quán)重可以置后。

關(guān)鍵詞：科技服務(wù)平臺(tái);用戶體驗(yàn);評(píng)價(jià)體系

中圖分類號(hào)：F27 文獻(xiàn)標(biāo)識(shí)碼：A doi：10.19311/j.cnki.1672-3198.2021.11.029

科技服務(wù)平臺(tái)（Science and Technology Service Platform）作為一種非常重要的政府服務(wù)網(wǎng)站，隨著“互聯(lián)網(wǎng)+”的發(fā)展越發(fā)重要和成熟。在推進(jìn)中國(guó)科技創(chuàng)新的道路上，科技服務(wù)平臺(tái)既是鏈接用戶和政府之間的橋梁，也是用戶和用戶之間交流成果、共享技術(shù)的綠洲。它既有一般網(wǎng)站的性質(zhì)，也有政府服務(wù)網(wǎng)的特點(diǎn)。目前我國(guó)還沒有公認(rèn)的對(duì)科技服務(wù)平臺(tái)的評(píng)價(jià)體系;因此，為了科技服務(wù)平臺(tái)能夠更好的管理和適應(yīng)用戶需求，本文擬定了一套評(píng)價(jià)體系，并通過用戶評(píng)價(jià)和專家評(píng)價(jià)兩種方法進(jìn)行權(quán)重計(jì)算。

1 科技服務(wù)平臺(tái)質(zhì)量評(píng)價(jià)體系建立

1.1 總體目標(biāo)

建立一套針對(duì)性強(qiáng)，且便于科技服務(wù)平臺(tái)之間相互比較，查缺補(bǔ)漏，更好的服務(wù)用戶的評(píng)價(jià)系統(tǒng)。因此評(píng)價(jià)體系不宜過于繁瑣，實(shí)際測(cè)評(píng)時(shí)應(yīng)盡量簡(jiǎn)單，并且各指標(biāo)若有不足之處，應(yīng)該都是能改進(jìn)的。其次，也要注意評(píng)價(jià)的整體性，也就是能全面評(píng)價(jià)平臺(tái)的優(yōu)缺點(diǎn)，而不是孤立片面的考慮某一因素。以上目標(biāo)基本符合吳瓊提出的科學(xué)性、系統(tǒng)性、可行性、前瞻性的四原則。在分析和總結(jié)現(xiàn)有科普網(wǎng)站和政府服務(wù)平臺(tái)的評(píng)價(jià)體系之后。兼顧定性指標(biāo)和定量指標(biāo)，結(jié)合以往文獻(xiàn)所列舉的指標(biāo)和科技服務(wù)平臺(tái)本身特點(diǎn)，擬定如下4個(gè)一級(jí)指標(biāo)：A1：站內(nèi)內(nèi)容;A2：服務(wù)情況;A3網(wǎng)站便利性;A4：使用效果。

1.2 目標(biāo)分解

確定了需要評(píng)價(jià)的4個(gè)維度后，將一級(jí)指標(biāo)繼續(xù)細(xì)化為以下27個(gè)二級(jí)指標(biāo)，層級(jí)和所屬關(guān)系如圖1所示。

明確評(píng)價(jià)體系和各個(gè)評(píng)價(jià)指標(biāo)的定義后，分別通過問卷調(diào)查和層次分析的方法調(diào)研用戶和專家意見，最終確定各指標(biāo)所占的權(quán)重值。

2 權(quán)重確立

2.1 基于問卷調(diào)查法的用戶評(píng)價(jià)

通過問卷網(wǎng)，發(fā)放網(wǎng)絡(luò)問卷的形式，收集用戶群體對(duì)平臺(tái)評(píng)價(jià)指標(biāo)的看法。問卷題目編選時(shí)，使用權(quán)重題考察用戶的需求。例如有一個(gè)以A、B、C三個(gè)指標(biāo)構(gòu)成的評(píng)價(jià)體系，用戶需要根據(jù)自身觀點(diǎn)給三個(gè)指標(biāo)進(jìn)行權(quán)重打分，若用戶的評(píng)價(jià)結(jié)果A為50分，B為20分，C為30分（評(píng)價(jià)權(quán)重之和為100），則認(rèn)為三個(gè)指標(biāo)中，A的重要性占整體評(píng)價(jià)的50%，B和C指標(biāo)的重要性分別占20%和30%。本次問卷共收集數(shù)據(jù)191份。剔除題目中選擇對(duì)科技平臺(tái)不熟悉的數(shù)據(jù)，計(jì)算各項(xiàng)指標(biāo)權(quán)重，以均值±2個(gè)標(biāo)準(zhǔn)差為依據(jù)，剔除極端數(shù)據(jù)。最后獲得有效數(shù)據(jù)128份，回收率67%。

從用戶的角度出發(fā)，一級(jí)指標(biāo)中網(wǎng)站的內(nèi)容是最重要的，其中權(quán)重最高的兩項(xiàng)指標(biāo)分別是可獲得性（00613）和及時(shí)性（0.0537），而在下載量（0.0259）和功能性（0.0287）兩個(gè)方面權(quán)重值較低。充分反映了目前用戶對(duì)科技服務(wù)平臺(tái)的需求，還是集中在政策查詢和項(xiàng)目申報(bào)中，因此需要科技服務(wù)平臺(tái)及時(shí)公布和更新科技相關(guān)的政策和項(xiàng)目信息。從用戶自身角度出發(fā)，平臺(tái)的下載量其實(shí)和用戶關(guān)系不大，因此權(quán)重偏低可以理解?？萍柬?xiàng)目的申請(qǐng)量（0.0651）和平臺(tái)的訪問量（0.0617）是所有二級(jí)指標(biāo)中占權(quán)重最大的。因?yàn)槠脚_(tái)的項(xiàng)目申請(qǐng)量和訪問量能反映出一個(gè)科技服務(wù)平臺(tái)的規(guī)模大小和質(zhì)量好壞。一個(gè)集成式的科技服務(wù)平臺(tái)如浙江省科技大腦相較于浙江省縣市級(jí)的科技服務(wù)平臺(tái)，會(huì)有更多的資源和知名度，也由此會(huì)有更高的申請(qǐng)量和訪問量。此外占比較小的是反向鏈接數(shù)（00135）、網(wǎng)站兼容性（0.0160）在內(nèi)的網(wǎng)站技術(shù)指標(biāo)。其實(shí)這并不意味著網(wǎng)站的技術(shù)指標(biāo)不重要，而是得益于當(dāng)今社會(huì)互聯(lián)網(wǎng)技術(shù)的發(fā)展，普遍的技術(shù)水平提高，由此帶來重要性的相對(duì)減小。

2.2 基于層次分析法的專家評(píng)價(jià)

2.2.1 層次分析法概述

層次分析法（Analytic Hierarchy Process，AHP）在20世紀(jì)70年代初，由美國(guó)運(yùn)籌學(xué)家薩蒂提出，該方法將一個(gè)復(fù)雜的決策問題梳理出多個(gè)與問題相關(guān)的目標(biāo)或準(zhǔn)則，進(jìn)而將這些準(zhǔn)則分成若干層次，再通過求解判斷矩陣特征向量的辦法，求得每一層次的各元素對(duì)上一層次某元素的優(yōu)先權(quán)重，最后再用加權(quán)求和的方法遞階歸并各備擇方案對(duì)總目標(biāo)的最終權(quán)重，權(quán)重最大者即為最優(yōu)方案。

2.2.2 操作步驟

（1）確定決策目標(biāo)和準(zhǔn)則，并構(gòu)建模型：將各影響因素分別分為目標(biāo)層、準(zhǔn)則層（或指標(biāo)層）、對(duì)象層（或方案層），同一層之間的因素基本上相對(duì)獨(dú)立，上層因素受下層因素的影響。在實(shí)際操作中可以通過文獻(xiàn)檢索或?qū)＜疑套h的方法構(gòu)建評(píng)價(jià)指標(biāo)體系。

（2）構(gòu)造判斷（成對(duì)比較）矩陣：根據(jù)1-9標(biāo)度法（本文采用1-5標(biāo)度法）和成對(duì)比較法，構(gòu)造兩兩對(duì)比矩陣，用同等重要（1分）、有一點(diǎn)重要（2分）、重要（3分）、很重要（4分）以及非常重要（5分）（用倒數(shù)表示相反的重要性判斷）9個(gè)等級(jí)做判斷表示各層上的每一個(gè)因素兩兩對(duì)比的情況。

（3）層次單排序：計(jì)算單一判斷矩陣的最大特征根和特征向量，然后進(jìn)行一致性檢驗(yàn)，如果符合一致性檢驗(yàn)要求，那么計(jì)算出的特征向量可以作為該層的權(quán)向量。在進(jìn)行兩兩比較的判斷矩陣時(shí)，背后有一定的數(shù)理邏輯。比如在重要性上A>B;B>C，則可推斷A>C。然而，實(shí)際評(píng)價(jià)時(shí)采用的方法是兩兩比較法，而不是排序法，因此可能存在某些指標(biāo)數(shù)據(jù)中出現(xiàn)A>B;B>C，而A

（4）層次總排序：在層次單排序的基礎(chǔ)上，從上到下逐次計(jì)算每一層的組合權(quán)重。每一層指標(biāo)的權(quán)重等于上一層的權(quán)重乘以該層指標(biāo)的權(quán)重。既Wn=W1W2…Wn，n為指標(biāo)層數(shù)，通常不超過3。

（5）一致性檢驗(yàn)：計(jì)算步驟如下：

①計(jì)算每一行元素乘積的n次方根wi，wi=n∏nj=1aij其中aij為判斷矩陣中的元素，n為矩陣階數(shù)（即該層次中指標(biāo)個(gè)數(shù)），i和j=1，2，…，n。

②對(duì)wi歸一化，得到：Wi=wi∑ni=1wi，w=（w1，w2，…，wn），Wi就是選取的評(píng)價(jià)體系中量化后各個(gè)參選因素的權(quán)重值。

③計(jì)算判斷矩陣的最大特征根λ，λ=1n∑ni=1（Aw）i/wi

④對(duì)判斷矩陣進(jìn)行邏輯一致性檢驗(yàn)，先計(jì)算CI，CI=（λ-n）/（n-1），再計(jì)算CR，CR=CI/RI。當(dāng)CR<0.1時(shí)，認(rèn)為判斷矩陣滿足邏輯一致性，可進(jìn)行后續(xù)權(quán)重計(jì)算，當(dāng)CR>0.1時(shí)，則說明判斷矩陣內(nèi)部存在較大的判斷矛盾，需要聯(lián)系專家進(jìn)行修改或?qū)?shù)據(jù)進(jìn)行適當(dāng)取舍。

2.2.3 計(jì)算結(jié)果

邀請(qǐng)八位專家進(jìn)行兩兩比較的判斷矩陣打分，最終六位專家的邏輯一致性系數(shù)CR<0.1，納入權(quán)重計(jì)算。結(jié)果如下（數(shù)據(jù)處理采用yaahp決策分析軟件）。

表1展示了六位專家對(duì)一級(jí)指標(biāo)重要性的判斷矩陣評(píng)分?jǐn)?shù)據(jù)。（注：每位專家原始判斷矩陣的數(shù)據(jù)只有包含1到5及其倒數(shù)在內(nèi)的9個(gè)等級(jí)。表1中的分?jǐn)?shù)和小數(shù)為整合專家數(shù)據(jù)后得出的結(jié)果）。此時(shí)必須要通過前文介紹的邏輯一致性指標(biāo)CR進(jìn)行判斷，邏輯一致性檢驗(yàn)通過才能說明權(quán)重計(jì)算是有效的。

專家評(píng)價(jià)更強(qiáng)調(diào)科技服務(wù)平臺(tái)的功能性，尤其是政務(wù)服務(wù)功能。服務(wù)情況所占比重為34.8%（0.348）?？萍柬?xiàng)目的申請(qǐng)量（0.0998）和平臺(tái)的操作流程（00936）是占比最高的二級(jí)指標(biāo)?？梢苑从吵銎脚_(tái)設(shè)計(jì)的出發(fā)點(diǎn)就是簡(jiǎn)化申請(qǐng)流程、提高辦事效率和辦件量。專家評(píng)價(jià)數(shù)據(jù)中，網(wǎng)站的技術(shù)性指標(biāo)所占權(quán)重同樣偏低，可達(dá)性（00021）、垃圾鏈接和廣告（00133）。原因可能同用戶評(píng)價(jià)結(jié)果。

對(duì)比專家評(píng)價(jià)和用戶評(píng)價(jià)兩組數(shù)據(jù)后發(fā)現(xiàn)，差異較大的在站內(nèi)內(nèi)容，用戶評(píng)價(jià)中所占權(quán)重最高，而專家評(píng)價(jià)中所占權(quán)重最低。其原因可能，其一雙方立場(chǎng)不同，出于對(duì)平臺(tái)的不同訴求，考慮角度不同;其二對(duì)于專家而言，科技服務(wù)平臺(tái)本身所包含的內(nèi)容大多是科技政策和科技資訊，科技政策在各平臺(tái)中大相徑庭，往往是轉(zhuǎn)發(fā)國(guó)家或者省委要求和指示，因此不能光憑借站內(nèi)內(nèi)容來區(qū)別一個(gè)科技服務(wù)平臺(tái)的優(yōu)劣。而對(duì)于用戶來說，卻需要掌握這些信息才能有針對(duì)性的申請(qǐng)自己需要的項(xiàng)目。

2.3 整體權(quán)重

通過用戶評(píng)價(jià)和專家評(píng)價(jià)的數(shù)據(jù)，既能看出兩者的共同之處，也能發(fā)現(xiàn)背后雙方基于自身實(shí)際出發(fā)所表達(dá)的不同訴求。因此最終的整體權(quán)重計(jì)算采用用戶和專家數(shù)據(jù)求算術(shù)平均的方法，權(quán)值如表2。

根據(jù)評(píng)價(jià)層的各指標(biāo)建立線性評(píng)價(jià)函數(shù)：y=W1X1+W2X2+…WiXi，（i=1，2，3，…，n）其中Wi為表2中的合成權(quán)重，i為二級(jí)指標(biāo)層的指標(biāo)數(shù)（此評(píng)價(jià)體系中i=27），Xi為評(píng)測(cè)時(shí)的評(píng)分，y為網(wǎng)站綜合評(píng)分。通過賦值、層次分析法的方法將各指標(biāo)重要性進(jìn)行量化，從而使得各指標(biāo)能夠放在一起評(píng)分，簡(jiǎn)化了科技服務(wù)平臺(tái)之間的比較，今后還需要運(yùn)用評(píng)價(jià)體系對(duì)各科技服務(wù)平臺(tái)進(jìn)行評(píng)估做進(jìn)一步考察。

3 未來展望

3.1 科技平臺(tái)質(zhì)量的提升

（1）整合更多創(chuàng)新資源。平臺(tái)的功能從原有較為有限的發(fā)布政策和項(xiàng)目申請(qǐng)，慢慢發(fā)展為多中科技服務(wù)功能相結(jié)合的產(chǎn)研高地。如今有了科技服務(wù)平臺(tái)的支持，使原來“單打獨(dú)斗”的企業(yè)可以聯(lián)合起來，降低參與門檻，共享創(chuàng)新資源，甚至可以不同產(chǎn)品之間聯(lián)合，打造新型產(chǎn)業(yè)鏈。

（2）繼續(xù)精簡(jiǎn)辦事流程。以往申請(qǐng)科技項(xiàng)目、驗(yàn)收科研成果，都需要提交大量的紙質(zhì)材料，甚至由于材料審核涉及多個(gè)部門，需要重復(fù)遞交材料。如今通過科技服務(wù)平臺(tái)網(wǎng)上申請(qǐng)，網(wǎng)絡(luò)大數(shù)據(jù)實(shí)時(shí)共享企業(yè)上交材料的方式，精簡(jiǎn)了辦事流程，減少了企業(yè)負(fù)擔(dān)。企業(yè)現(xiàn)在可以通過網(wǎng)上申請(qǐng)的科研項(xiàng)目驗(yàn)收結(jié)果，直接打通和財(cái)務(wù)部門、稅務(wù)部門的聯(lián)系。在之后的發(fā)展中，仍可以繼續(xù)精簡(jiǎn)辦事流程，提高效率。例如可以由人工智能代替一部分的人工審核。當(dāng)然，科技服務(wù)也有其自身特點(diǎn)，例如在項(xiàng)目申請(qǐng)時(shí)，人工智能無法識(shí)別項(xiàng)目的創(chuàng)新性，需要進(jìn)行專家評(píng)審。

（3）提升用戶的使用體驗(yàn)。平臺(tái)的設(shè)計(jì)也是一門學(xué)問比如設(shè)置明確的分類導(dǎo)航，靈活使用圖片和文字排版，在項(xiàng)目進(jìn)程中設(shè)置明顯的進(jìn)程反饋，在操作時(shí)有清晰的流程介紹和模板文件等。希望科技服務(wù)平臺(tái)能夠更好的完善自身，吸引更多創(chuàng)新人才，為祖國(guó)的科技發(fā)展做更有力的保障。

3.2 科技平臺(tái)質(zhì)量評(píng)價(jià)體系的完善

正如專家所說的，無法測(cè)量就無法管理，科技平臺(tái)質(zhì)量評(píng)價(jià)體系非常需要完善。除了個(gè)別指標(biāo)的取舍外，更重要的應(yīng)是以下兩個(gè)方面：

（1）實(shí)踐應(yīng)用：通過對(duì)多個(gè)平臺(tái)的評(píng)價(jià)探究平臺(tái)的好壞，同時(shí)也探究評(píng)價(jià)體系的好壞。

（2）發(fā)展變更：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展、科技服務(wù)平臺(tái)自身的發(fā)展，用戶對(duì)平臺(tái)的需求也在發(fā)生變化，因此評(píng)價(jià)體系也需要相應(yīng)地間隔一段時(shí)間做出部分修改。就目前而言，手機(jī)端和電腦端適配還會(huì)出現(xiàn)問題，因此技術(shù)因素仍需加強(qiáng)。但是未來可能網(wǎng)站技術(shù)性地指標(biāo)最終并不需要納入評(píng)價(jià)體系。

參考文獻(xiàn)

[1]張成福，唐鈞.電子政務(wù)績(jī)效評(píng)估：模式比較與實(shí)質(zhì)分析[J].中國(guó)行政管理，2004，（05）：21-23.

[2]常建娥，蔣太立.層次分析法確定權(quán)重的研究[J].武漢理工大學(xué)學(xué)報(bào)（信息與管理工程版），2007，（01）：153-156.

[3]鄧雪，李家銘，曾浩健，等.層次分析法權(quán)重計(jì)算方法分析及其應(yīng)用研究[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí)，2012，42（07）：93-100.

[4]周濤，魯耀斌.層次分析法在b2c電子商務(wù)網(wǎng)站評(píng)價(jià)中的應(yīng)用[J].圖書情報(bào)工作，2005，（12）：111-114.

[5]莊鎖法.基于層次分析法的綜合評(píng)價(jià)模型[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2000，（04）：582-585.

[6]汪勇，魏巍.電子商務(wù)網(wǎng)站的層次分析法評(píng)價(jià)模型構(gòu)建[J].湖北大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，32（01）：50-53.