智慧法院建設(shè)評(píng)價(jià)體系之實(shí)證分析與完善建議

上海市第一中級(jí)人民法院課題組

黨的十九大報(bào)告提出，要加快建設(shè)創(chuàng)新型國家，為建設(shè)科技強(qiáng)國、網(wǎng)絡(luò)強(qiáng)國、數(shù)字中國、智慧社會(huì)提供有力支撐。為積極貫徹黨的十九大精神，有效破解人民群眾對(duì)司法的廣泛需求和智慧法院發(fā)展不平衡、不充分之間的主要矛盾，需要進(jìn)一步深入推進(jìn)全國的智慧法院建設(shè)，最大限度地發(fā)揮智慧法院的建設(shè)成效。因此，科學(xué)評(píng)價(jià)、客觀審視目前智慧法院的建設(shè)水平，通過發(fā)現(xiàn)問題、解決問題、總結(jié)經(jīng)驗(yàn)，進(jìn)一步深化智慧法院建設(shè)，是當(dāng)前亟待重點(diǎn)研究的課題。本文擬以最高人民法院信息中心研究制定的《智慧法院建設(shè)評(píng)價(jià)指標(biāo)體系（2017征求意見版）》（以下簡(jiǎn)稱《評(píng)價(jià)體系（征求意見版）》）為藍(lán)本，在全國法院內(nèi)選取5家具有代表性的樣本法院進(jìn)行對(duì)標(biāo)實(shí)測(cè)，分析目前評(píng)價(jià)體系存在的問題與不足，并提出相關(guān)對(duì)策建議，以期為進(jìn)一步完善智慧法院評(píng)價(jià)體系，指引智慧法院建設(shè)發(fā)展方向提供裨益。

一、《評(píng)價(jià)體系（征求意見版）》初步簡(jiǎn)析

1.體系框架及特點(diǎn)分析

圖1

根據(jù)《評(píng)價(jià)體系（征求意見版）》，智慧法院建設(shè)的理論架構(gòu)分為基礎(chǔ)支撐、綜合保障及智慧應(yīng)用、規(guī)劃引領(lǐng)等三個(gè)層次（如圖1所示）。具體包括6項(xiàng)一級(jí)指標(biāo)、17項(xiàng)二級(jí)指標(biāo)、62項(xiàng)三級(jí)指標(biāo)及2項(xiàng)附加指標(biāo)，總計(jì)100分。該體系的特點(diǎn)在于：

（1）注重系統(tǒng)性建設(shè)。從規(guī)劃引領(lǐng)、基礎(chǔ)設(shè)施、綜合保障、網(wǎng)絡(luò)化應(yīng)用、陽光化應(yīng)用、智能化應(yīng)用、示范性創(chuàng)新等多方面構(gòu)建了智慧法院建設(shè)的整體系統(tǒng)，可以從信息技術(shù)、軟硬件設(shè)施、政策環(huán)境、信息化人才儲(chǔ)備、信息化幾大類應(yīng)用情況等相互協(xié)調(diào)的整體視角來評(píng)價(jià)智慧法院的建設(shè)狀況。

（2）注重個(gè)性與共性相結(jié)合。引入信息化創(chuàng)新示范等個(gè)性指標(biāo)，并配以5分的分值，充分體現(xiàn)了最高人民法院鼓勵(lì)各地依托地方優(yōu)勢(shì)在建設(shè)過程中有所創(chuàng)新和突破，從而避免建設(shè)模式化、缺乏特色。

（3）注重辦案及審判輔助類應(yīng)用。一級(jí)指標(biāo)中，應(yīng)用成效類的3項(xiàng)指標(biāo)分值均在20分以上，且分值總和達(dá)70分，其中分值最高的為網(wǎng)絡(luò)化應(yīng)用成效指數(shù)（30分）。二級(jí)指標(biāo)中，網(wǎng)上辦案（13分）、審判智能輔助（11分）兩項(xiàng)指標(biāo)分值均超過10分。三級(jí)指標(biāo)中，除了2項(xiàng)附加指標(biāo)分值為5分、2項(xiàng)指標(biāo)（信息化宣傳報(bào)道、文書輔助）分值為3分外，其他指標(biāo)均在1-2分之間。

2.實(shí)測(cè)前梳理階段發(fā)現(xiàn)的問題

最高人民法院發(fā)布《評(píng)價(jià)體系（征求意見版）》并面向全國征求意見之時(shí)，恰逢上海市第一中級(jí)人民法院正在積極推進(jìn)其承擔(dān)的最高人民法院2016年度司法研究重大課題《建設(shè)智慧型法院?jiǎn)栴}研究》。實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)，課題組遂決定以《評(píng)價(jià)體系（征求意見版）》為標(biāo)準(zhǔn)，選取5家有代表性的法院為樣本進(jìn)行對(duì)標(biāo)檢測(cè)，以便就該體系的科學(xué)性、合理性、可操作性以及完善建議等向最高人民法院作出客觀反饋。檢測(cè)之前，課題組首先對(duì)評(píng)價(jià)指標(biāo)得分計(jì)算規(guī)則進(jìn)行了初步分析和梳理，發(fā)現(xiàn)小部分指標(biāo)在實(shí)際計(jì)算得分時(shí)存在一些問題。

（1）數(shù)據(jù)測(cè)量的準(zhǔn)確性。主要包括兩種情況：一是歷史案件數(shù)據(jù)的處理。如果按照最高人民法院的計(jì)算規(guī)則，分母為案件總數(shù)的話，那得出的系數(shù)必然接近0。故實(shí)際檢測(cè)時(shí)以2017年上半年案件數(shù)據(jù)為分母，得出的系數(shù)才相對(duì)真實(shí)；二是實(shí)際使用量實(shí)在太小，導(dǎo)致法院之間無法區(qū)分層次。

涉及13項(xiàng)三級(jí)指標(biāo)：案件電子卷宗匯聚率、庭審錄音錄像率、電子簽章率、審判流程信息公開率、裁判文書公開率、網(wǎng)上立案率、網(wǎng)上繳費(fèi)率、網(wǎng)上證據(jù)交換率、網(wǎng)上開庭率、電子送達(dá)率、12368熱線服務(wù)率、視頻接訪率和破產(chǎn)重整案件信息公開率。其中，視頻接訪率和破產(chǎn)重整案件信息公開率就屬于第二種情況。

（2）計(jì)算范圍的科學(xué)性。僅涉及三級(jí)指標(biāo)中的庭審公開率。傳統(tǒng)意義上，允許公眾現(xiàn)場(chǎng)旁聽屬于庭審公開范疇。但本次計(jì)算規(guī)則中，此種情況被排除在外。故照此計(jì)算5家樣本法院的庭審公開率都將接近為0。

（3）數(shù)據(jù)統(tǒng)計(jì)的操作性。主要是難以確定參考值，或是實(shí)際數(shù)據(jù)難以統(tǒng)計(jì)。涉及5項(xiàng)三級(jí)指標(biāo)：法院專網(wǎng)平均帶寬、四級(jí)網(wǎng)站使用率、集中匯聚數(shù)據(jù)質(zhì)量、政務(wù)網(wǎng)站更新率和微博微信關(guān)注度。

（4）評(píng)價(jià)對(duì)象的完備性。有些指標(biāo)僅確定了當(dāng)?shù)馗咴旱目己艘?guī)則，卻對(duì)中、基層法院沒有確定具體要求。涉及2項(xiàng)三級(jí)指標(biāo)：大數(shù)據(jù)專題分析數(shù)、質(zhì)效型運(yùn)維體系完備度。

對(duì)此，課題組在實(shí)際對(duì)標(biāo)檢測(cè)時(shí)對(duì)上述4方面問題的系數(shù)計(jì)算規(guī)則進(jìn)行了相應(yīng)調(diào)整（詳見正文后附表1）。

二、樣本法院對(duì)標(biāo)檢測(cè)結(jié)果簡(jiǎn)述

當(dāng)前，我國法院信息化建設(shè)過程中，不平衡、不充分的矛盾較為突出，地區(qū)之間、系統(tǒng)之間、層級(jí)之間、人員之間的不平衡現(xiàn)象普遍存在。因此，在樣本法院的選擇上，課題組認(rèn)為應(yīng)考慮“一縱一橫”兩個(gè)維度，通過對(duì)不同地域的高、中、基三級(jí)法院進(jìn)行對(duì)標(biāo)檢測(cè)，以便更準(zhǔn)確地展現(xiàn)智慧法院建設(shè)的真實(shí)情況。其中，“一縱”的樣本是從S市的三級(jí)法院中選取，即S市高級(jí)人民法院（以下簡(jiǎn)稱S市高院）、S市一中院和S市X區(qū)人民法院（系S市一中院轄區(qū)基層法院，以下簡(jiǎn)稱S市X區(qū)法院）三家?！耙粰M”的樣本則是選取東部、中部和西部的三家中級(jí)法院，即S市一中院、G省Z市中級(jí)人民法院（以下簡(jiǎn)稱G省Z市中院）和X省R市中級(jí)人民法院（以下簡(jiǎn)稱X省R市中院）。

課題組在對(duì)5家樣本法院的具體指標(biāo)得分進(jìn)行詳細(xì)比較的基礎(chǔ)上，再對(duì)定量計(jì)算出的每項(xiàng)指標(biāo)得分進(jìn)行“優(yōu)、中、劣”的定級(jí)分類，并對(duì)各項(xiàng)指標(biāo)進(jìn)行標(biāo)注。其中，“優(yōu)”是既完成任務(wù)且效果又較好的情形，通常其指標(biāo)得分是或接近滿分?！爸小笔侵鸽m完成任務(wù)但效果待改善的情形，通常其指標(biāo)得分為滿分的一半。“劣”則是指未完成任務(wù)，通常其指標(biāo)得分是0或接近0。

（一）同一地域三級(jí)法院智慧法院建設(shè)情況特點(diǎn)

總體來說，如附表2所示，S市三級(jí)法院指標(biāo)的共性優(yōu)勢(shì)有39項(xiàng)，共性劣勢(shì)13項(xiàng)，差異指標(biāo)12項(xiàng)（詳見正文后附表2）。

在共性優(yōu)勢(shì)方面，S市法院信息化建設(shè)領(lǐng)導(dǎo)力強(qiáng)，人才配備充足，運(yùn)維和安全保障措施到位。基礎(chǔ)建設(shè)方面的網(wǎng)絡(luò)接入、科技法庭和音視頻建設(shè)都已完成，實(shí)現(xiàn)全面覆蓋。訴訟服務(wù)特別是12368接入方面，遙遙領(lǐng)先全國其他法院，實(shí)現(xiàn)司法公開100%覆蓋。執(zhí)行指揮、查控、曝光和拍賣按照最高人民法院要求實(shí)現(xiàn)全上網(wǎng)。案件信息資源質(zhì)量、匯聚和利用情況都走在全國前列。智能輔助辦案方面，涉及維度廣，注重應(yīng)用推廣和成效。宣傳方面，新聞報(bào)道、網(wǎng)站、微博微信等數(shù)量和活躍度基本滿意。共性劣勢(shì)方面，S市法院專有云、開放云、移動(dòng)專網(wǎng)有待S市政府計(jì)劃統(tǒng)一規(guī)劃后再行建設(shè)。受制于S市公安、檢察院和監(jiān)獄局是涉密網(wǎng)，而S市法院屬于非涉密網(wǎng)的關(guān)系，S市法院與政法部門協(xié)同辦案能力較弱。訴訟服務(wù)應(yīng)用建設(shè)較全面但是使用情況仍有待改善。

在差異方面，S市高、中院較基層法院規(guī)劃和宣傳報(bào)道較好。案件量較大的中基層法院在電子簽章、電子送達(dá)、網(wǎng)上立案、庭審語音轉(zhuǎn)錄方面較高院好，而信訪量較大的中高院的視頻接訪使用率較高。大數(shù)據(jù)分析方面，人才、技術(shù)較好的高、中院開展程度較基層法院較好，但S市法院均未建成移動(dòng)辦案系統(tǒng)。

（二）不同地域同級(jí)法院智慧法院建設(shè)情況特點(diǎn)

總體來說，如附表3所示，S市、G省Z市、X省R市三地的中級(jí)法院共性優(yōu)勢(shì)有15項(xiàng)，共性劣勢(shì)8項(xiàng)，差異指標(biāo)41項(xiàng)（詳見正文后附表3）。

在共性優(yōu)勢(shì)方面，三地均對(duì)智慧法院建設(shè)工作非常重視，領(lǐng)導(dǎo)規(guī)劃力強(qiáng)，運(yùn)維與保障工作落實(shí)到位。三地網(wǎng)站使用率、執(zhí)行業(yè)務(wù)網(wǎng)上辦理率都較好，且實(shí)現(xiàn)案件電子卷宗和庭審錄音錄像全覆蓋。司法公開方面的裁判文書公開和執(zhí)行信息公開基本符合最高人民法院要求，達(dá)到較好水平。共性劣勢(shì)方面，三地中院在與政法部門協(xié)同辦案方面均存在困難，均未實(shí)現(xiàn)移動(dòng)辦案。雖然建設(shè)諸多訴訟服務(wù)應(yīng)用，但實(shí)際效果都有待提高。

在差異方面，表現(xiàn)出來的問題主要有：（1）東部地區(qū)的S市一中院，信息化建設(shè)早、基礎(chǔ)好、內(nèi)容全面，因此在優(yōu)勢(shì)指標(biāo)方面總體數(shù)量占優(yōu)，特別在應(yīng)用類的數(shù)據(jù)管理、審判執(zhí)行智能輔助應(yīng)用、大數(shù)據(jù)分析服務(wù)以及綜合保障方面占絕對(duì)優(yōu)勢(shì)。同時(shí)S市一中院的信息化人員是超額配置，人才積淀優(yōu)勢(shì)明顯。但是技術(shù)的不斷進(jìn)步、軟件和硬件產(chǎn)品的更新加快，會(huì)使得已建成的信息系統(tǒng)貶值速度加快、實(shí)際效果弱化，因此信息化起步早的法院雖然具有先發(fā)優(yōu)勢(shì)，但也可能因此影響信息化的后續(xù)發(fā)展。同時(shí)受S市市政府信息化建設(shè)統(tǒng)一規(guī)劃和協(xié)調(diào)等因素的影響，相較后發(fā)地區(qū)的G省Z市中院，反而在網(wǎng)絡(luò)支撐方面（專有云、開放云、移動(dòng)云）方面暫時(shí)落后。（2）中部地區(qū)的G省Z市中院，信息化建設(shè)起步相對(duì)較晚，但是近年來投入較大。在G省政府的支持下，Z市建設(shè)了云計(jì)算中心因此，G省Z市中院在基礎(chǔ)設(shè)施建設(shè)方面占絕對(duì)優(yōu)勢(shì)。但其在深度應(yīng)用特別是審判執(zhí)行智能輔助方面相對(duì)薄弱，和S市差距明顯。同時(shí)G省Z市中院未足額配置信息化人員。（3）西部地區(qū)的X省R市中院，信息化建設(shè)基礎(chǔ)薄弱、發(fā)展晚。建設(shè)費(fèi)用投入相較中、東部地區(qū)較少，因此在各個(gè)方面都明顯落后于S市和G省的步伐。同時(shí)X省R市中院的信息化人員明顯不足。

（三）縱向和橫向法院分析結(jié)果匯總

1.總體情況：同一地域的三級(jí)法院信息化整體水平接近，同質(zhì)化明顯。而不同地域的法院信息化水平差異明顯，即便總體得分相近，優(yōu)劣指標(biāo)也不盡相同（見表1）。

表1

2.存在一些共性優(yōu)勢(shì)。例如：（1）領(lǐng)導(dǎo)均高度重視智慧法院建設(shè)，大多數(shù)都編制了信息化發(fā)展具體規(guī)劃。（2）最高人民法院長(zhǎng)效推進(jìn)的工作都做得較好，比如庭審錄音錄像和卷宗電子化。（3）最高人民法院在全國范圍統(tǒng)一推廣的系統(tǒng)（例如執(zhí)行相關(guān)系統(tǒng)），普遍使用率高、效果好。

3.同時(shí)存在一些共性劣勢(shì)。例如：樣板法院與其他政法部門協(xié)同辦案水平不高，且訴訟服務(wù)的實(shí)際效果（特別是網(wǎng)上立案率、網(wǎng)上繳費(fèi)率、網(wǎng)上證據(jù)交換率、網(wǎng)上開庭率和電子送達(dá)率）普遍不理想。

三、當(dāng)前智慧法院建設(shè)評(píng)價(jià)體系存在的問題

通過前述實(shí)際對(duì)標(biāo)檢測(cè)，課題組對(duì)于《評(píng)價(jià)體系（征求意見版）》有了更為深入的認(rèn)識(shí)和理解。最終的檢測(cè)結(jié)果表明《評(píng)價(jià)體系（征求意見版）》有著較高的科學(xué)性、合理性和可操作性，同時(shí)也存在可以繼續(xù)提高、完善的空間。結(jié)合實(shí)測(cè)經(jīng)驗(yàn)，課題組再次對(duì)《評(píng)價(jià)體系（征求意見版）》進(jìn)行了深度梳理，并提煉問題、提出建議，供最高人民法院今后調(diào)整充實(shí)評(píng)價(jià)體系時(shí)予以參考。

（一）主要問題之一：指標(biāo)設(shè)計(jì)不夠規(guī)范

1.指標(biāo)評(píng)價(jià)范圍不太統(tǒng)一

64項(xiàng)三級(jí)指標(biāo)的評(píng)價(jià)對(duì)象未能全部適用所有法院。35項(xiàng)的評(píng)價(jià)對(duì)象為所有法院，其余29項(xiàng)的評(píng)價(jià)對(duì)象僅為最高人民法院、地方高院。評(píng)價(jià)最高人民法院、地方高院的指標(biāo)總分100分，而評(píng)價(jià)中基層法院的指標(biāo)總分僅58分，對(duì)各級(jí)法院不能以同等的基準(zhǔn)進(jìn)行衡量。

2.指標(biāo)定義標(biāo)準(zhǔn)不盡合理

64項(xiàng)三級(jí)指標(biāo)中，功能性指標(biāo)（39項(xiàng)）明顯多于效果性指標(biāo)（25項(xiàng)），前者分值（66分）明顯高于后者（34分）。在指標(biāo)設(shè)置時(shí)應(yīng)當(dāng)是考慮了很多應(yīng)用系統(tǒng)還處于初建階段尚未廣泛使用。對(duì)標(biāo)檢測(cè)過程中，課題組發(fā)現(xiàn)對(duì)于同類指標(biāo)，指標(biāo)定義標(biāo)準(zhǔn)不同。主要存在以下具體問題：

（1）部分指標(biāo)值未對(duì)功能進(jìn)行細(xì)化。在功能性指標(biāo)中，大部分指標(biāo)的定義思路是按照系統(tǒng)應(yīng)具備的主要功能涵蓋程度予以計(jì)算。如“網(wǎng)上辦公”指標(biāo)，其定義為“是否具備公文起草、審批、查閱等公文管理能力”，取值只有0或1，并未將各個(gè)功能予以細(xì)化定義。這可能會(huì)助長(zhǎng)評(píng)價(jià)過程中打分的隨意性。

（2）部分指標(biāo)值無區(qū)分度。如前文所述，一些指標(biāo)數(shù)據(jù)幾乎一致，如一些比例型指標(biāo)在計(jì)算時(shí)存在分母過大導(dǎo)致指標(biāo)值過小接近0的情形，這樣的指標(biāo)對(duì)不同評(píng)價(jià)對(duì)象區(qū)分度不高，導(dǎo)致法院之間無法區(qū)分層次，如視頻接訪率、破產(chǎn)重整率等。

（3）部分指標(biāo)以參考值形式定義略顯模糊。有10項(xiàng)三級(jí)指標(biāo)在指標(biāo)定義中引入了不確定的“參考值”，課題組在對(duì)這類指標(biāo)進(jìn)行評(píng)分的過程中因參考值的不確定無法計(jì)算出指標(biāo)值。

（4）部分指標(biāo)趨向不一致不具可加性。64項(xiàng)三級(jí)指標(biāo)中，既有正向指標(biāo)也有逆向指標(biāo)。其中，正向指標(biāo)是指標(biāo)值越大評(píng)價(jià)越好，相應(yīng)地，逆向指標(biāo)是指標(biāo)值越小評(píng)價(jià)越好。由于兩類指標(biāo)數(shù)值趨勢(shì)相同具有相反的評(píng)價(jià)效果，故不具有直接可加性。指標(biāo)體系中重大信息安全事件指標(biāo)（指標(biāo)定義見圖2）即為逆向指標(biāo)，所發(fā)生的信息安全事件越嚴(yán)重指標(biāo)值越大。

圖2

（5）部分指標(biāo)計(jì)算不同量綱直接累加不合理。存在不同量綱值直接累加的情形，如科技法庭覆蓋度指標(biāo)，其指標(biāo)定義為“（法院科技法庭數(shù)量/法院法庭數(shù)量+是否實(shí)現(xiàn)科技法庭與辦案系統(tǒng)對(duì)接）/2”，合成該指標(biāo)的前后兩項(xiàng)數(shù)值量綱不同，應(yīng)不能直接相加。

3.指標(biāo)數(shù)據(jù)采集存有困難

指標(biāo)數(shù)據(jù)是否能容易、及時(shí)且科學(xué)的采集，是選用評(píng)價(jià)指標(biāo)很重要的因素，如果評(píng)價(jià)指標(biāo)的數(shù)據(jù)不準(zhǔn)確、不可信，那么評(píng)價(jià)方法再科學(xué)也難以達(dá)到客觀、準(zhǔn)確評(píng)價(jià)的效果。從指標(biāo)數(shù)據(jù)收集方式看，64項(xiàng)三級(jí)指標(biāo)中只有12項(xiàng)可以通過最高人民法院直接采集，其余52項(xiàng)均需通過調(diào)研表的形式向各地法院采集（見表2）。

表2

此種數(shù)據(jù)采集方式容易出現(xiàn)數(shù)據(jù)滯后情形，從而導(dǎo)致評(píng)價(jià)結(jié)果與智慧法院建設(shè)進(jìn)程相關(guān)性聯(lián)系較差，同時(shí)讓各地法院給自己“打分”，不具有指標(biāo)獲取的中立性，可能存在指標(biāo)數(shù)據(jù)失真、評(píng)價(jià)標(biāo)準(zhǔn)不統(tǒng)一等情形，從而影響評(píng)價(jià)結(jié)果的客觀性。此外，在各地智慧法院建設(shè)過程中，各地建設(shè)情況不同，存在部分地區(qū)、部分系統(tǒng)只有建設(shè)沒有記錄數(shù)據(jù)的情形，致使一些系統(tǒng)的數(shù)據(jù)不可采或者采集不全。故在評(píng)價(jià)指標(biāo)設(shè)計(jì)中應(yīng)該盡量壓縮和避免這種有不能自動(dòng)獲取或需要人工主觀判斷因素的指標(biāo)。只有指標(biāo)體系具有認(rèn)知性，數(shù)據(jù)來源具有可靠依據(jù)，指標(biāo)體系衡量結(jié)果才易得到認(rèn)可。

4.主觀評(píng)價(jià)指標(biāo)完全缺失

建設(shè)智慧法院就是為了更好地服務(wù)審判執(zhí)行、服務(wù)人民群眾、服務(wù)司法管理。但如前所述，當(dāng)前的評(píng)價(jià)體系主要考察的是功能性指標(biāo)，效果性指標(biāo)分值占比相對(duì)較低，且在效果性指標(biāo)中缺少對(duì)應(yīng)用主體主觀評(píng)價(jià)（即用戶滿意度）的關(guān)注，這與智慧法院建設(shè)的發(fā)展目標(biāo)不一致。功能性指標(biāo)評(píng)價(jià)的是系統(tǒng)從無到有，效果性指標(biāo)評(píng)價(jià)的是系統(tǒng)從有到用，主觀評(píng)價(jià)指標(biāo)評(píng)價(jià)的是系統(tǒng)從用到好用。在智慧法院不同建設(shè)階段側(cè)重點(diǎn)不同，缺少主觀評(píng)價(jià)使評(píng)價(jià)體系不夠完備。〔1〕郭素嫻：《智慧城市評(píng)價(jià)指標(biāo)體系的構(gòu)建及應(yīng)用》，浙江工商大學(xué)2013碩士學(xué)位論文。

（二）主要問題之二：權(quán)重設(shè)置不盡合理

當(dāng)前評(píng)價(jià)體系中的權(quán)重通過分值予以體現(xiàn)。從64項(xiàng)三級(jí)指標(biāo)的分值分配情況看，除了2項(xiàng)附加指標(biāo)分值為5分、2項(xiàng)指標(biāo)（“信息化宣傳報(bào)道”和“文書輔助”）分值為3分外，其他指標(biāo)均在1-2分之間，指標(biāo)之間權(quán)重差異較大，即便在同一二級(jí)指標(biāo)下的不同指標(biāo)間，指標(biāo)間權(quán)重分配差異也較大?！?〕孫靜，劉葉婷：《智慧城市評(píng)價(jià)指標(biāo)體系的現(xiàn)狀分析》，《智慧城市》，2015年第2期。

如以分值較大的二級(jí)指標(biāo)“審判智能輔助”為例（見表3），該二級(jí)指標(biāo)分值為11分，下設(shè)7項(xiàng)三級(jí)指標(biāo)分值從1分到3分不等，比較其中“電子卷宗材料智能復(fù)用”與“庭審語音識(shí)別轉(zhuǎn)錄”兩項(xiàng)指標(biāo)，前者是基于對(duì)電子卷宗涉及案件信息要素的提取，后者是基于庭審語音識(shí)別轉(zhuǎn)錄，不管是在技術(shù)實(shí)現(xiàn)難度上還是對(duì)審判輔助工作的意義上都不至于是兩倍的差異。此外，對(duì)于逆向指標(biāo)“重大信息安全事件”的分值為負(fù)數(shù)也較不易理解，因?yàn)樵谥笜?biāo)體系中權(quán)重代表的是重要性程度，不存在為負(fù)數(shù)的情形。

表3

（三）主要問題之三：評(píng)價(jià)方法不太明晰

當(dāng)前的評(píng)價(jià)指標(biāo)體系對(duì)指標(biāo)的設(shè)計(jì)及權(quán)重的分配做了較為詳細(xì)的規(guī)劃，但涉及評(píng)價(jià)方法較為概括和模糊。評(píng)價(jià)方法是評(píng)價(jià)工作真正落地不可或缺的保障，評(píng)價(jià)方法主要包括對(duì)指標(biāo)無量綱化處理〔3〕無量綱化處理是綜合評(píng)價(jià)步驟中的一個(gè)環(huán)節(jié)，是將有單位的評(píng)價(jià)指標(biāo)進(jìn)行標(biāo)準(zhǔn)化去量綱的過程，為后續(xù)的指標(biāo)合成環(huán)節(jié)做準(zhǔn)備，從而使不同的指標(biāo)具有可加性。及指標(biāo)合成〔4〕指標(biāo)合成是將無量綱化處理的“量化值”合成為總評(píng)價(jià)值的過程。兩部分，不同類別的指標(biāo)體系及指標(biāo)形態(tài)對(duì)評(píng)價(jià)方法的選擇均有較大影響，只有在獲取到指標(biāo)數(shù)據(jù)并予以分析的基礎(chǔ)上才能探索、研究出較為科學(xué)、合理的評(píng)價(jià)方法?！?〕徐義嬌：《中國智慧城市評(píng)價(jià)指標(biāo)體系構(gòu)建與應(yīng)用研究》，東北師范大學(xué)碩士學(xué)位論文，2016年。

從現(xiàn)有指標(biāo)體系相關(guān)文件中，涉及評(píng)價(jià)計(jì)算方法概括為各指標(biāo)得分乘以分值之和，其中分值可理解為權(quán)重，指標(biāo)得分可理解為對(duì)指標(biāo)無量綱化后的值。其中指標(biāo)得分根據(jù)指標(biāo)特點(diǎn)分為3種計(jì)算類型：功能有無型、應(yīng)用效果型和比較型。功能有無型主要針對(duì)功能性指標(biāo)，對(duì)指標(biāo)所描述的功能是否已實(shí)現(xiàn)及實(shí)現(xiàn)的階段或程度來定義指標(biāo)的數(shù)據(jù)，實(shí)際上是對(duì)定性指標(biāo)的量化過程。應(yīng)用效果型主要針對(duì)一些效果型指標(biāo)，是對(duì)某項(xiàng)應(yīng)用具體應(yīng)用效果的指標(biāo)定義，該類指標(biāo)在案件質(zhì)量評(píng)估體系中較為多見。前兩類均未涉及對(duì)指標(biāo)數(shù)據(jù)的無量綱化處理。比較型指標(biāo)是將指標(biāo)值與參考值的比例，可視為對(duì)指標(biāo)的無量綱化處理方式。故三類指標(biāo)中僅比較型指標(biāo)體現(xiàn)了無量綱化過程，同時(shí)前文所述不同指標(biāo)類型數(shù)據(jù)不可加、中基層法院分值較低造成數(shù)據(jù)不可比等問題，對(duì)無量綱化方法的選擇及綜合評(píng)價(jià)辦法的選取均有影響。

四、智慧法院建設(shè)評(píng)價(jià)體系的完善建議

（一）篩選有效評(píng)價(jià)指標(biāo)，確保指標(biāo)數(shù)據(jù)精準(zhǔn)科學(xué)

在對(duì)標(biāo)檢測(cè)前，課題組已發(fā)現(xiàn)一些指標(biāo)在準(zhǔn)確性、科學(xué)性、操作性和完備性等四個(gè)方面存在一些問題，使得指標(biāo)值無法計(jì)算或者能夠計(jì)算但在各個(gè)評(píng)價(jià)對(duì)象之間無法區(qū)分，從而使法院之間的指標(biāo)數(shù)據(jù)缺乏可比性。有效的指標(biāo)應(yīng)具有可科學(xué)采集和指向性雙重特點(diǎn)，所以在指標(biāo)的篩選階段應(yīng)該對(duì)無效指標(biāo)進(jìn)行修正和排除。一是對(duì)于無法及時(shí)、準(zhǔn)確采集的指標(biāo)，在指標(biāo)篩選階段應(yīng)該予以排除，否則難將評(píng)價(jià)結(jié)果準(zhǔn)確量化〔6〕前引〔5〕,徐義嬌文。；二是對(duì)于存在各法院之間指標(biāo)值沒有差異的指標(biāo)，如庭審錄音錄像率、電子簽章率、裁判文書公開率等，在指標(biāo)采集后發(fā)現(xiàn)各家法院的值在百分比的形式區(qū)分不大，可進(jìn)一步將單位擴(kuò)大至千分位，若仍然區(qū)分不大且指標(biāo)所體現(xiàn)的是剛剛推行的系統(tǒng)效果，可將該效果性指標(biāo)轉(zhuǎn)化為功能性指標(biāo)，否則可先將該指標(biāo)暫予排除，待其能體現(xiàn)各法院差異化時(shí)再將其納入指標(biāo)體系中；三是對(duì)于指標(biāo)定義模糊，會(huì)產(chǎn)生理解歧義的指標(biāo)應(yīng)進(jìn)一步細(xì)化明確，保證不同的數(shù)據(jù)采集者對(duì)同一指標(biāo)的理解相同，使各家法院在采集數(shù)據(jù)時(shí)能夠標(biāo)準(zhǔn)統(tǒng)一，以確保能“公平”對(duì)待每一項(xiàng)指標(biāo)〔7〕顧德道、喬雯：《我國智慧城市評(píng)價(jià)指標(biāo)體系的構(gòu)建研究》，《未來與發(fā)展》，2012年第10期。；四是對(duì)于對(duì)比型指標(biāo)（在指標(biāo)值計(jì)算方法中涉及有參考值的指標(biāo)，如專網(wǎng)平均帶寬、四級(jí)網(wǎng)站使用率、集中匯聚數(shù)據(jù)質(zhì)量、政務(wù)網(wǎng)站更新率等），在指標(biāo)定義中將參考值去除，而在評(píng)價(jià)過程中統(tǒng)一對(duì)所有指標(biāo)進(jìn)行無量綱化處理，否則在數(shù)據(jù)采集過程中參考值并不能確定，這樣指標(biāo)值就無法確定，不具有可操作性；五是如指標(biāo)適用范圍僅限最高人民法院、地方高院的指標(biāo)（如大數(shù)據(jù)專項(xiàng)分析數(shù)、質(zhì)效型運(yùn)維體系完備度等），對(duì)于中、基層法院在這些指標(biāo)的取值規(guī)則應(yīng)予以明確，課題組認(rèn)為不應(yīng)取為0，如果中、基層法院在該項(xiàng)指標(biāo)有值則取自己的值，若沒有值可取所在區(qū)域?qū)?yīng)高院的值，以確保中、基層法院在評(píng)價(jià)中的滿分值均能達(dá)到100分，以便于后續(xù)評(píng)價(jià)分析中對(duì)各法院進(jìn)行橫向與縱向比較，更好地了解和把握不同城市智慧法院建設(shè)的實(shí)際水平和變化趨勢(shì)；六是對(duì)于指標(biāo)體系中存在的逆向指標(biāo)，可以通過取相反數(shù)等將逆向指標(biāo)轉(zhuǎn)化為正向指標(biāo)的形式，保證指標(biāo)體系中指標(biāo)的同向性。〔8〕何通、趙國斌、錢仁軍：《部隊(duì)器材倉庫保障能力指標(biāo)體系評(píng)價(jià)方法研究》，《中國市場(chǎng)》，2016年第14期。

（二）適度增加主觀評(píng)價(jià)，兼顧不同主體體驗(yàn)感受

智慧法院建設(shè)是系統(tǒng)工程，建設(shè)目的是為了更好地服務(wù)群眾訴訟、法官辦案和司法管理，不是僅靠幾個(gè)簡(jiǎn)單統(tǒng)計(jì)數(shù)據(jù)就能夠解釋和反映的，還需要考慮到用戶主體的心理和主觀感受?！?〕曹長(zhǎng)香：《數(shù)據(jù)可比性視角的指標(biāo)體系設(shè)計(jì)探討——以依據(jù)指標(biāo)體系評(píng)價(jià)的系列圖書為例》，《科技傳播》，2015年第4期。主觀指標(biāo)作為一種效益的特殊衡量指標(biāo)，在設(shè)立過程中應(yīng)注意與客觀指標(biāo)數(shù)量相平衡。〔10〕李寧、龔愷，顏鷹：《智慧城市評(píng)價(jià)指標(biāo)體系探討》，《標(biāo)準(zhǔn)應(yīng)用研究》，2014年第10期。主觀指標(biāo)能反映出當(dāng)事人、司法管理人員、法官等主體對(duì)于智慧法院建設(shè)成果的體驗(yàn)與評(píng)價(jià)，但可能會(huì)因?yàn)閭€(gè)人標(biāo)準(zhǔn)不同而產(chǎn)生偏差，不一定能準(zhǔn)確地反映智慧法院建設(shè)的效果。而客觀指標(biāo)雖然更加準(zhǔn)確且易于獲得，但不能反映出智慧法院的受益者對(duì)于智慧法院建設(shè)的滿意程度。

因此，對(duì)于一個(gè)科學(xué)的評(píng)價(jià)指標(biāo)體系來說，主觀指標(biāo)與客觀指標(biāo)的設(shè)立應(yīng)當(dāng)配套，建立以客觀評(píng)價(jià)為主、主觀評(píng)價(jià)為輔的評(píng)價(jià)體系。以智慧城市的指標(biāo)體系設(shè)置為例，許多國家或地區(qū)的指標(biāo)體系均將公民體驗(yàn)等主觀指標(biāo)納入評(píng)價(jià)中。智慧城市主觀指標(biāo)的評(píng)價(jià)方式一般分為兩種。一種如我國臺(tái)灣地區(qū)、歐盟，它們的智慧城市指標(biāo)體系將主觀指標(biāo)進(jìn)行量化直接納入綜合評(píng)價(jià)體系中。另一種如上海浦東新區(qū)的智慧城市評(píng)價(jià)，是將主觀指標(biāo)單獨(dú)作為一個(gè)類別，將所有主觀指標(biāo)歸入一個(gè)領(lǐng)域進(jìn)行專項(xiàng)調(diào)研評(píng)價(jià)?！?1〕王思雪、鄭磊：《國內(nèi)外智慧城市評(píng)價(jià)指標(biāo)體系比較》，《電子政務(wù)》，2013年第1期。通過引入主觀評(píng)價(jià)，一方面可以對(duì)智慧法院建設(shè)成效的外在體現(xiàn)進(jìn)行綜合分析，直觀體現(xiàn)智慧法院建設(shè)的效果；另一方面有助于正確把握智慧法院的建設(shè)“瓶頸”，為進(jìn)一步提升智慧法院的建設(shè)水平提供支持。

（三）建立動(dòng)態(tài)評(píng)價(jià)體系，客觀反映建設(shè)階段特征

智慧法院建設(shè)是持續(xù)發(fā)展、復(fù)雜的系統(tǒng)過程，在評(píng)價(jià)智慧法院時(shí)要強(qiáng)調(diào)指標(biāo)的動(dòng)態(tài)化特征〔12〕前引〔10〕,李寧、龔愷、顏鷹文。，指標(biāo)的內(nèi)容應(yīng)隨著信息技術(shù)的發(fā)展和智慧法院建設(shè)進(jìn)程的變化而調(diào)整，指標(biāo)的權(quán)重也應(yīng)根據(jù)該項(xiàng)指標(biāo)在整個(gè)指標(biāo)體系中的影響力進(jìn)行再分配?！?3〕前引〔2〕,孫靜、劉葉婷文。因各地法院起跑線及信息基礎(chǔ)不盡相同，在設(shè)計(jì)指標(biāo)體系過程中，針對(duì)功能與效果的評(píng)價(jià)分配應(yīng)更加科學(xué)。主要針對(duì)功能的評(píng)價(jià)將無法體現(xiàn)智慧法院建設(shè)進(jìn)展快的法院優(yōu)勢(shì)，主要針對(duì)效果的評(píng)價(jià)則可能忽略信息化基礎(chǔ)薄弱地域法院的進(jìn)步程度及其表現(xiàn)出的潛力。針對(duì)智慧法院建設(shè)這種多地域、多指標(biāo)、多因素的綜合評(píng)價(jià)，根據(jù)智慧法院的進(jìn)程合理分配主觀性指標(biāo)與客觀性指標(biāo)、功能性指標(biāo)與效果性指標(biāo)的權(quán)重將十分重要?！?4〕朱敏：《智慧城市評(píng)價(jià)指標(biāo)體系回顧及優(yōu)化建議》，《移動(dòng)通信》，2013年第3期。

（四）合理確定權(quán)重系數(shù)，構(gòu)建評(píng)價(jià)方法合成模型

智慧法院建設(shè)評(píng)價(jià)指標(biāo)體系的評(píng)價(jià)方法是典型的多指標(biāo)綜合評(píng)價(jià)法〔15〕多指標(biāo)綜合評(píng)估法是運(yùn)用多個(gè)指標(biāo)對(duì)多個(gè)評(píng)價(jià)對(duì)象進(jìn)行評(píng)價(jià)的方法，將多個(gè)指標(biāo)轉(zhuǎn)化為一個(gè)能夠反映綜合情況的指標(biāo)來進(jìn)行評(píng)價(jià)。，即將反映不同評(píng)價(jià)側(cè)面的不同量綱的多個(gè)指標(biāo)轉(zhuǎn)化成無量綱的相對(duì)評(píng)價(jià)值，并通過適當(dāng)?shù)暮铣煞椒ê铣删C合評(píng)價(jià)值得出整體評(píng)價(jià)分值的過程。在評(píng)價(jià)指標(biāo)已經(jīng)確定的情況下，接下來重要的就是確定各層級(jí)指標(biāo)權(quán)重、單項(xiàng)評(píng)價(jià)值（即指標(biāo)的無量綱化函數(shù)）及合成模型。因該部分專業(yè)性較強(qiáng)，建議咨詢專業(yè)人員，在對(duì)已有權(quán)重構(gòu)成方法、指標(biāo)無量綱化函數(shù)、合成模型等進(jìn)行比較和分析基礎(chǔ)上，篩選確定相關(guān)算法，從而整合形成符合智慧法院建設(shè)特點(diǎn)和規(guī)律的評(píng)價(jià)指標(biāo)合成模型。指標(biāo)權(quán)重構(gòu)成方面，通過研究發(fā)現(xiàn)，智慧城市的權(quán)重構(gòu)成可能因?yàn)橛袑ｉT的評(píng)價(jià)機(jī)構(gòu)支持，大多選用層次分析法，而案件質(zhì)量評(píng)價(jià)體系的權(quán)重構(gòu)成采用專家群組構(gòu)權(quán)法與直接構(gòu)權(quán)法結(jié)合。那么，對(duì)于智慧法院建設(shè)評(píng)價(jià)指標(biāo)體系的權(quán)重分配建議采取折中的方法，對(duì)于指標(biāo)數(shù)較少的一級(jí)、二級(jí)指標(biāo)的權(quán)重建議采用專家群組構(gòu)權(quán)法與直接構(gòu)權(quán)法相結(jié)合的方式，三級(jí)指標(biāo)則由于指標(biāo)數(shù)量較多，建議采取層次分析法。指標(biāo)無量綱化函數(shù)選擇方面，因?yàn)橹腔鄯ㄔ航ㄔO(shè)過程中各項(xiàng)指標(biāo)變化的不確定性，而且實(shí)踐中我們也沒有絕對(duì)的標(biāo)準(zhǔn)判斷“哪一個(gè)無量綱化函數(shù)更加精確”，只能大致判斷適合的函數(shù)“類型”是遞增還是遞減，是上凸、下凸還是S型，是急宕還是平緩。因此，在選擇無量綱化函數(shù)上，在追求精確的同時(shí)，更加需要的是實(shí)用性和可操作性，即在把握好無量綱化函數(shù)的方向、凹凸性、大致變動(dòng)速度的前提下，使其數(shù)學(xué)形式簡(jiǎn)明化。合成模型方面，可參考大多數(shù)智慧城市的評(píng)價(jià)體系，采用算術(shù)平均法。在指標(biāo)的合成中，先由三級(jí)指標(biāo)合成二級(jí)指標(biāo)，再由二級(jí)指標(biāo)合成一級(jí)指標(biāo)，最終獲得總評(píng)價(jià)分值。綜上可知，多指標(biāo)綜合評(píng)價(jià)方法是把多個(gè)描述“智慧法院”建設(shè)不同方面的指標(biāo)通過指標(biāo)定義、采集等方式予以篩選、量化，然后轉(zhuǎn)換為無量綱的相對(duì)評(píng)價(jià)值，并綜合評(píng)價(jià)值得出整體評(píng)價(jià)的方法系統(tǒng)。該系統(tǒng)任何一個(gè)環(huán)節(jié)的任何一個(gè)指標(biāo)、權(quán)數(shù)、計(jì)算方法不準(zhǔn)確、不科學(xué)都會(huì)導(dǎo)致評(píng)價(jià)結(jié)論的“失真”。

（五）完善相關(guān)配套機(jī)制，保障評(píng)價(jià)體系落實(shí)到位

評(píng)價(jià)指標(biāo)的采集需要有一套配套機(jī)制予以保障，這涉及采集主體、評(píng)價(jià)周期、激勵(lì)約束機(jī)制等方面?！?6〕前引〔14〕,朱敏文。首先，采集主體方面，建議減少各地法院自報(bào)等收集方式不中立的指標(biāo)，可以參考智慧城市評(píng)價(jià)中通過企業(yè)、各部委、第三方機(jī)構(gòu)等收集數(shù)據(jù)的模式〔17〕參見上海市經(jīng)濟(jì)和信息化發(fā)展研究中心2016年發(fā)布的《上海市智慧城市發(fā)展水平評(píng)估報(bào)告》。，在智慧法院建設(shè)評(píng)價(jià)指標(biāo)數(shù)據(jù)的收集中可以適當(dāng)增加通過最高人民法院各部門等條線收集的方式，如網(wǎng)上立案指標(biāo)，先通過立案庭條線收集，由最高人民法院立案庭初步予以審核后再轉(zhuǎn)到信息中心，以保障評(píng)價(jià)的公正性和公平性；評(píng)價(jià)周期方面，建議根據(jù)智慧法院建設(shè)的進(jìn)程，以年度為周期進(jìn)行評(píng)價(jià)；激勵(lì)約束機(jī)制方面，建議能夠和各法院信息化評(píng)優(yōu)評(píng)獎(jiǎng)工作直接掛鉤，最好能將指標(biāo)評(píng)價(jià)體系分解到各相關(guān)業(yè)務(wù)條線。從目前的指標(biāo)體系來看，絕大部分指標(biāo)并非能從最高人民法院現(xiàn)有的平臺(tái)系統(tǒng)中直接獲取，而需要從各地法院各自應(yīng)用系統(tǒng)或者通過人工調(diào)研的方式獲得相關(guān)數(shù)據(jù)，同時(shí)，涉及用戶感知的主觀性指標(biāo)的評(píng)價(jià)涉及社會(huì)學(xué)、統(tǒng)計(jì)學(xué)原理，可能需要專業(yè)的調(diào)研團(tuán)隊(duì)予以支持。

結(jié)語

創(chuàng)設(shè)智慧法院建設(shè)指標(biāo)體系，開展建設(shè)情況評(píng)價(jià)工作，有助于總結(jié)、評(píng)價(jià)、分析智慧法院建設(shè)的階段性建設(shè)成效。通過“梳理明確實(shí)際狀況，弘揚(yáng)先進(jìn)典型經(jīng)驗(yàn)，尋找發(fā)現(xiàn)不平衡、不充分發(fā)展的矛盾癥結(jié)所在，及時(shí)調(diào)整充實(shí)五年發(fā)展規(guī)劃，為智慧法院建設(shè)的深化完善提供科學(xué)合理、針對(duì)性強(qiáng)的頂層設(shè)計(jì)指導(dǎo)”。〔18〕人民法院新聞傳媒總社：《學(xué)習(xí)貫徹十九大精神 推進(jìn)智慧法院建設(shè)——最高人民法院信息中心主任許建峰接受中國法院網(wǎng)訪談》，http://www.court.gov.cn/zixun-xiangqing-69112.html，2017年11月20日訪問。因此，各級(jí)法院應(yīng)當(dāng)高度重視智慧法院建設(shè)評(píng)價(jià)工作，積極為智慧法院建設(shè)指標(biāo)體系的完善出謀劃策。

2017年12月，最高人民法院在充分調(diào)研論證、廣泛征求意見的基礎(chǔ)上，正式發(fā)布了《智慧法院建設(shè)評(píng)價(jià)指標(biāo)體系（2017年版）》，共包括7項(xiàng)一級(jí)指標(biāo)、21項(xiàng)二級(jí)指標(biāo)、68項(xiàng)三級(jí)指標(biāo)。目前在最高人民法院的領(lǐng)導(dǎo)下，全國性的智慧法院建設(shè)評(píng)價(jià)工作正在迅速推進(jìn)。我們相信，以更多的實(shí)測(cè)與反饋為基礎(chǔ)，智慧法院建設(shè)評(píng)價(jià)體系將會(huì)更加地科學(xué)完善。各級(jí)法院可以以評(píng)價(jià)活動(dòng)的開展為契機(jī)，看清自身差距與不足，并通過審判流程、管理流程、辦公流程等全方位的流程再造，切實(shí)提升智慧法院網(wǎng)絡(luò)化、陽光化、智能化的水平，不斷提高運(yùn)用信息化手段服務(wù)審判執(zhí)行、服務(wù)人民群眾、服務(wù)司法管理、服務(wù)廉潔司法的能力。

附表1：《評(píng)價(jià)體系（征求意見版）》指標(biāo)得分計(jì)算規(guī)則調(diào)整

續(xù)表

續(xù)表

附表2：S市三級(jí)法院縱向條線優(yōu)劣指標(biāo)

續(xù)表

續(xù)表

附表3：S市、G省Z市、X省R市三地中院橫向區(qū)域優(yōu)劣指標(biāo)

續(xù)表