地方法院數(shù)據(jù)中臺構建研究

徐小博 毛小龍 丁峰 王小兵 徐斌

（中國司法大數(shù)據(jù)研究院有限公司 北京市 100043）

全國法院經(jīng)過“十三五”的智慧法院信息化3.0建設，最高人民法院在“十四五”規(guī)劃中提出了智慧法院信息化4.0建設要求。智慧法院信息化3.0“以數(shù)據(jù)為中心”，充分整合、融合法院數(shù)據(jù)挖掘數(shù)據(jù)價值反哺提升業(yè)務應用，提高智能化輔助應用研究；隨著大數(shù)據(jù)、人工智能等新一代信息技術的發(fā)展，越來越多的應用場景需要信息化輔助更加先進、更加智能。在智慧法院信息化4.0建設規(guī)劃中明確提出建設數(shù)據(jù)中臺及智慧大腦，將在過去大數(shù)據(jù)管理與服務平臺基礎上開發(fā)知識應用，從數(shù)據(jù)轉(zhuǎn)變成知識，建立“以數(shù)據(jù)為基礎、以知識為中心”的新一代大數(shù)據(jù)管理體系，開發(fā)知識深度應用服務，為“智慧服務、智慧審判、智慧執(zhí)行、智慧管理、智慧協(xié)同”提供堅實的數(shù)據(jù)與知識基礎支撐。本文結合各地方法院實際調(diào)研情況，論述了地方法院存在的數(shù)據(jù)方面的問題，提出了切實可行的數(shù)據(jù)中臺架構及建設后可到的成果。

1 法院信息化數(shù)據(jù)存在的問題

1.1 信息孤島導致僵尸數(shù)據(jù)

目前各個系統(tǒng)建設時期跨度大，且有多家單位開發(fā)，由不同程序語言設計開發(fā)，在建設時缺乏統(tǒng)一的標準，并且經(jīng)常處于獨立應用的狀態(tài)，這就出現(xiàn)了各個管理系統(tǒng)間交互性變差，各種數(shù)據(jù)信息重復的錄入、重復分析、重復統(tǒng)計，形成了“數(shù)據(jù)孤島”。

1.2 數(shù)據(jù)質(zhì)量不高

各業(yè)務系統(tǒng)各自獨立開發(fā)，建設時缺乏統(tǒng)一的數(shù)據(jù)標準、采用不同的技術架構和業(yè)務規(guī)范、承建廠商技術水平參差不齊，導致數(shù)據(jù)復雜多樣、質(zhì)量差異很大，給數(shù)據(jù)分析應用造成很大困難，無法支撐上下級法院、法院內(nèi)部部門之間、法院同相關外部單位之間業(yè)務協(xié)作需要。

1.3 數(shù)據(jù)對接共享困難

法院業(yè)務系統(tǒng)來自不同家承建商，數(shù)據(jù)分散在各個業(yè)務系統(tǒng)中，形成數(shù)據(jù)壁壘，無法實現(xiàn)數(shù)據(jù)資源的集中統(tǒng)一管理，造成系統(tǒng)之間數(shù)據(jù)兼容性差、數(shù)據(jù)對接共享困難等問題。

1.4 數(shù)據(jù)分析應用不足

海量歷史數(shù)據(jù)不斷積壓，動態(tài)新增數(shù)據(jù)不斷增長，數(shù)據(jù)備份中心僅解決了數(shù)據(jù)存儲的問題，數(shù)據(jù)沒有被分析挖掘，結構化案件數(shù)據(jù)沒有充分融合利用，大量給結構化數(shù)據(jù)沒有充分解構價值挖掘，不能為訴訟服務、審判管理、司法統(tǒng)計、輔助決策和監(jiān)控預警提供智能化服務。

1.5 數(shù)據(jù)安全存在隱患。

各業(yè)務系統(tǒng)數(shù)據(jù)各自獨立存儲，缺乏統(tǒng)一管理機制，數(shù)據(jù)由承建商各自把控，數(shù)據(jù)和業(yè)務系統(tǒng)、承建商三者捆綁在一起，數(shù)據(jù)所有權沒有真正掌握在法院自己手中。

2 架構設計

2.1 總體構架

數(shù)據(jù)中臺定位計算后臺和業(yè)務前臺之間，向上承法院業(yè)務，向下啟大數(shù)據(jù)技術，是建設智能數(shù)據(jù)和催生數(shù)據(jù)智能的引擎。其關鍵職能與核心價值是大數(shù)據(jù)以業(yè)務視角而非純技術視角出發(fā)，智能化構建數(shù)據(jù)、管理數(shù)據(jù)資產(chǎn)與提供數(shù)據(jù)調(diào)用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析與數(shù)據(jù)展現(xiàn)等多種服務。數(shù)據(jù)中臺是集工具、方法論、組織于一體的智能大數(shù)據(jù)服務體系。數(shù)據(jù)開發(fā)工具是把數(shù)據(jù)加工、治理、質(zhì)量、監(jiān)控過程統(tǒng)一管理起來，提升數(shù)據(jù)中臺開發(fā)效率；方法論，是數(shù)據(jù)中臺建設方法論支撐，數(shù)據(jù)開發(fā)者按照統(tǒng)一模型、規(guī)范、標準、協(xié)議建設實施。

數(shù)據(jù)中臺建設具備包括數(shù)據(jù)接入、數(shù)據(jù)標準化、數(shù)據(jù)融合、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)模型設計、數(shù)據(jù)標簽設計、畫像分析以及數(shù)據(jù)資產(chǎn)管理和全程監(jiān)控等內(nèi)容，通過數(shù)據(jù)服務為上層應用提供標準、干凈的、智能的數(shù)據(jù)。打造數(shù)據(jù)中臺基礎，實現(xiàn)全量業(yè)務源數(shù)據(jù)統(tǒng)一管理與服務，建設內(nèi)容包含數(shù)據(jù)管理標準規(guī)范、平臺支撐中心、數(shù)據(jù)處理中心、數(shù)據(jù)融合中心、數(shù)據(jù)服務中心、數(shù)據(jù)資源運營管理中心、資源共享交換平臺、平臺安全運維體系，通過業(yè)務源數(shù)據(jù)的全量數(shù)據(jù)統(tǒng)一匯聚、治理、融合，實現(xiàn)法院全量數(shù)據(jù)的統(tǒng)一匯聚與集中管理，突破應用系統(tǒng)管控，解決數(shù)據(jù)孤島問題。

2.2 邏輯架構

平臺邏輯架構如圖1所示。

圖1：平臺邏輯架構

數(shù)據(jù)采集存儲：針對法院內(nèi)部及外部單位各相關的業(yè)務系統(tǒng)等不同數(shù)據(jù)來源，平臺依據(jù)各方數(shù)據(jù)資源情況，分別采用不同的采集方式，如API接口、數(shù)據(jù)庫對接進行采集儲存到原始庫中。其中，對于法院內(nèi)部業(yè)務系統(tǒng)數(shù)據(jù)，可采用ETL數(shù)據(jù)采集方式，直接從各個業(yè)務系統(tǒng)采集數(shù)據(jù)，并匯聚到數(shù)據(jù)采集平臺當中；使用共享交換技術，依托于大數(shù)據(jù)共享交換系統(tǒng)打通各方信息孤島，將不同層級法院各系統(tǒng)及法院外部各單位的數(shù)據(jù)匯集到原始庫中；對于不同的數(shù)據(jù)類型，采用不同的存儲方式，可支持結構化數(shù)據(jù)存儲，文書等半結構化數(shù)據(jù)存儲，及PDF、圖片、音視頻等非結構化數(shù)據(jù)存儲。

數(shù)據(jù)治理管理：依托于大數(shù)據(jù)分析應用平臺的計算能力，依據(jù)數(shù)據(jù)質(zhì)量管理和數(shù)據(jù)標準管理規(guī)則，對采集到的數(shù)據(jù)進行抽取、清洗、轉(zhuǎn)換等處理，保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)規(guī)范，并進行元數(shù)據(jù)管理、主數(shù)據(jù)管理、代碼集標準管理、非結構化數(shù)據(jù)管理。數(shù)據(jù)標準管理對數(shù)據(jù)輸入、利用、輸出全過程建立標準化體系，并按版本對標準進行維護，用于保障數(shù)據(jù)的規(guī)范性和一致性；數(shù)據(jù)質(zhì)量管理對數(shù)據(jù)的準確性、完整性、規(guī)范性、一致性、準確性、唯一性、關聯(lián)性等多維度進行數(shù)據(jù)質(zhì)量檢測和管控分類存儲至審判執(zhí)行、司法研究、司法政務、司法人事、信息化管理和外部數(shù)據(jù)等六大標準庫中。并建立基于數(shù)據(jù)分析需求的數(shù)據(jù)主題集市，依據(jù)主題或業(yè)務應用對數(shù)據(jù)進行抽取加工，形成主題集市庫。結合專家經(jīng)驗，對數(shù)據(jù)進行法律要素、案件要素及關系抽取，為后續(xù)數(shù)據(jù)分析和應用服務提供高性能的關聯(lián)分析及檢索支撐能力。

數(shù)據(jù)共享交換：進行數(shù)據(jù)資源全景管理、數(shù)據(jù)服務管理、數(shù)據(jù)訪問控制管理、數(shù)據(jù)交換監(jiān)控服務、數(shù)據(jù)模型管管理，并提供統(tǒng)一數(shù)據(jù)接口總線服務。依托數(shù)據(jù)共享交換系統(tǒng)，按照數(shù)據(jù)標準及用戶權限，將數(shù)據(jù)向法院各業(yè)務系統(tǒng)、上下級法院、外部單位進行共享交換，以滿足業(yè)務協(xié)同等需求。提供網(wǎng)頁查詢服務、接口訪問服務、點對點傳輸服務、消息的發(fā)布與訂閱等服務形式，使各類應用用戶能夠統(tǒng)一讀取其他法院的數(shù)據(jù)并進行功能操作和業(yè)務分析。提供靈活的數(shù)據(jù)模型服務，以滿足多樣化的共享需求。

數(shù)據(jù)分析應用及知識服務展現(xiàn)：通過大數(shù)據(jù)分析中的分析計算模塊，基于自然語言處理、大數(shù)據(jù)挖掘等技術，結合數(shù)據(jù)資源進行高性能計算，為數(shù)據(jù)服務應用提供算法和計算支撐。并進一步為用戶提供案件專題分析、態(tài)勢分析、宏觀預測分析等大數(shù)據(jù)分析功能，支持立體化、可視化結果展示，提供智能搜索等大數(shù)據(jù)應用功能，并提供集成數(shù)據(jù)分析功能和數(shù)據(jù)應用功能的數(shù)據(jù)服務門戶。

2.3 技術架構

為實現(xiàn)系統(tǒng)架構中的系統(tǒng)功能，制定平臺技術架構。數(shù)據(jù)中臺最核心的技術為基于Hadoop生態(tài)圈體系及微服務系統(tǒng)架構，微服務結構，以服務導向架構，將功能以一組松散耦合的服務形式提供，業(yè)務邏輯基于服務進行組裝。數(shù)據(jù)中臺基于Hadoop生態(tài)圈體系進行全量業(yè)務的數(shù)據(jù)實時采集、儲存、處理，基于微服務架構提供可無限擴展、定制化開發(fā)的共享交換、數(shù)據(jù)服務及業(yè)務支撐。技術架構主要分為如圖2所示層次，包括數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、共享交換、數(shù)據(jù)服務。

圖2：平臺技術架構圖

數(shù)據(jù)采集：將分散在法院（各級法院）各個業(yè)務系統(tǒng)，底層日志，外部的數(shù)據(jù)采集到數(shù)據(jù)中心，支持海量數(shù)據(jù)匯集。Maysol、prstgre、XML、Oracle、sybase等數(shù)據(jù)庫向關系數(shù)據(jù)庫、hadoop集群匯聚支持FTP文件、數(shù)據(jù)庫日志、JDBC數(shù)據(jù)庫同步、API接口、kettle、sqoop等工具；采集的方式分為離線采集，實時采集，增量采集，全量采集，以及文件采集。

數(shù)據(jù)存儲：將采集到的數(shù)據(jù)存儲到包括審判執(zhí)行庫、司法人事庫等六類司法審判信息資源庫中。大數(shù)據(jù)資源數(shù)據(jù)量多，數(shù)據(jù)增量大，多數(shù)以非結構化、異構數(shù)據(jù)為主。對非結構化數(shù)據(jù)，如大量的原始數(shù)據(jù)將存入HDFS中提供計算基礎，而Hbase支持數(shù)據(jù)查詢，MongDB存儲音視頻數(shù)據(jù)，GraphDB存儲圖片數(shù)據(jù)，ES即Elasticsearch縮寫，提供全文搜索，結構化搜索以及近實時分析；對結構化數(shù)據(jù)通過MySQL進行存儲，如專題分析的數(shù)據(jù)結果、系統(tǒng)調(diào)度等數(shù)據(jù)將使用MySQL存儲。

數(shù)據(jù)處理：通過對數(shù)據(jù)ETL處理，并進行整合、關聯(lián)，形成審判信息資源庫、數(shù)據(jù)主題庫、數(shù)據(jù)服務庫，其目的是從大量的、雜亂無章的、難以理解的司法數(shù)據(jù)中抽取、整理、校驗、推導出對于法院業(yè)務或社會公眾有價值、有意義的數(shù)據(jù)。采用Spark- Streaming/Flink進行實時計算，采用Hive/ MapRedeuce實現(xiàn)離線計算，YARN資源提供統(tǒng)一的資源管理和調(diào)度，采用數(shù)據(jù)中間件如Kafka，通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理，通過集群來提供實時的消費；針對數(shù)據(jù)挖掘處理需求，采用Spark-ML技術實現(xiàn)機器學習，進而實現(xiàn)專題應用的數(shù)據(jù)支撐。Zookeeper實現(xiàn)整體基于Hadoop生態(tài)圈各應用程序協(xié)調(diào)服務。

數(shù)據(jù)共享：共享交換功能提供司法信息交換和共享服務，其目的是滿足法院本級內(nèi)數(shù)據(jù)交互、上下級法院間縱向傳輸、與外部單位司法業(yè)務協(xié)同等需求。按照數(shù)據(jù)標準，實現(xiàn)集成應用系統(tǒng)中同構系統(tǒng)、異構系統(tǒng)之間數(shù)據(jù)共享和交換。共享交換提供網(wǎng)頁查詢服務、接口訪問服務、點對點傳輸服務、消息的發(fā)布與訂閱等，使各類應用用戶能夠統(tǒng)一讀取其他法院的數(shù)據(jù)并進行功能操作和業(yè)務分析。

數(shù)據(jù)可視化：采用Kibana、Impala、ES、Spark-ML等技術，將數(shù)據(jù)分析結果以各種類型圖形化直觀展示。

司法知識：采用Postgre、ES知識庫技術，結合OCR、NPL、知識圖譜、深度學習、神經(jīng)網(wǎng)絡、分類算法等計算庫，建設司法知識服務。

司法通用服務：司法通用服務采用微服務結構，通過Java Spring、JS、Json接口、HS接口、Python等技術提供司法通用服務。微服務結構是將單一應用程序作為由眾多小型服務構成之套件加以開發(fā)的方式，其中各項服務都擁有自己的進程并利用輕量化機制（通常為HTTP源API）實現(xiàn)通信。這些服務圍繞業(yè)務功能建立而成，且憑借自動化部署機制實現(xiàn)獨立部署。微服務架構有擴展性好、容易部署、容易開發(fā)、易于測試等傳統(tǒng)技術架構不具備的優(yōu)點，并且粒度更加精細，服務與服務之間低耦合，互不影響，實現(xiàn)快速且頻繁的開發(fā)、部署、測試。

2.4 數(shù)據(jù)架構

中臺首先匯集各業(yè)務數(shù)據(jù)，并進行融合治理、分類提取、知識計算，為提供數(shù)據(jù)應用服務支撐。數(shù)據(jù)構架如圖3所示，數(shù)據(jù)存儲架構包括信息資源庫（原始庫）、融合治理庫（問題庫、標準庫）、數(shù)據(jù)主題庫、數(shù)據(jù)服務庫。

圖3：平臺數(shù)據(jù)存儲架構圖

中臺匯集法院內(nèi)部和外部的業(yè)務數(shù)據(jù)，按照數(shù)據(jù)結構類型和業(yè)務分類將獲取的業(yè)務增量數(shù)據(jù)存入原始庫的相應子庫中。數(shù)據(jù)采集接入需要解決數(shù)據(jù)量大、應用場景復雜兩個問題。由于案件歷史數(shù)據(jù)不斷的累計，多年累積的文字、庭審圖片、音視頻類數(shù)據(jù)量龐大，針對不同類型的數(shù)據(jù)選擇合適的存儲方案尤為重要，同時為了支撐更多的應用場景（查詢、檢索、關聯(lián)、比對等），需要不同類型的數(shù)據(jù)存儲平臺完成數(shù)據(jù)倉庫功能。

原始庫（數(shù)據(jù)資源庫）從法院業(yè)務系統(tǒng)中提取業(yè)務數(shù)據(jù)，按照數(shù)據(jù)結構類型和業(yè)務分類將獲取的業(yè)務增量數(shù)據(jù)存入相應子庫。原始庫的存儲子庫包括案件、文檔、電子檔案、人事數(shù)據(jù)、辦公數(shù)據(jù)、公文事務、管理數(shù)據(jù)等。

融合治理庫庫是將原始庫數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗轉(zhuǎn)換、元數(shù)據(jù)管理、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)整合融合等數(shù)據(jù)質(zhì)檢治理得到的數(shù)據(jù)庫，分為問題庫和標準庫。問題庫儲存問題數(shù)據(jù)，標準庫存儲“判執(zhí)行、司法研究、司法政務、司法人事、信息化管理和外部數(shù)據(jù)”，融合治理庫提供了潔凈標準、結構清晰的數(shù)據(jù)，符合數(shù)據(jù)完整性、一致性、準確性等原則，為進一步提供數(shù)據(jù)服務、發(fā)揮數(shù)據(jù)價值的必要前提。

數(shù)據(jù)主題庫是依據(jù)主題規(guī)則將數(shù)據(jù)集市，是針對不同業(yè)務數(shù)據(jù)進行知識計算、加工處理的需要進行分類存儲的數(shù)據(jù)模型。為保障數(shù)據(jù)服務效率和質(zhì)量，進行數(shù)據(jù)篩選、統(tǒng)一格式、記錄排序等數(shù)據(jù)處理，建立起滿足多種應用服務的數(shù)據(jù)結構。數(shù)據(jù)處理從數(shù)據(jù)主題庫獲取相關數(shù)據(jù)，產(chǎn)生業(yè)務服務數(shù)據(jù)，并面向應用提供數(shù)據(jù)。比如“多元解紛、立案服務、分調(diào)裁審、審判輔助、涉訴信訪、審判服務、執(zhí)行服務”等的人、案、物等數(shù)據(jù)關聯(lián)保存的語義網(wǎng)模型。為提升數(shù)據(jù)完整度和數(shù)據(jù)準確性，提高數(shù)據(jù)分析精度，將文書數(shù)據(jù)與案件數(shù)據(jù)融合。首先，將文書數(shù)據(jù)進行結構化處理，提取關鍵實體信息。然后，依據(jù)語義網(wǎng)模型規(guī)則，將結構化處理后的文書數(shù)據(jù)融入語義網(wǎng)模型，從而形成更為完善和豐富的信息數(shù)據(jù)。

數(shù)據(jù)中臺提供系統(tǒng)時效性，全面采用實時流式處理技術，數(shù)據(jù)處理統(tǒng)一由計算層實時調(diào)度運行，實現(xiàn)數(shù)據(jù)從原始庫、融合庫、主題庫，以增量方式進行實時同步。即將匯集的數(shù)據(jù)直接存入原始庫，原始庫用于接收實時的增量數(shù)據(jù)，索引庫和統(tǒng)計結果庫統(tǒng)一歸入主題庫，依據(jù)系統(tǒng)監(jiān)控功能需要，在主題庫類別中增加系統(tǒng)監(jiān)控庫等。

3 關鍵成效

（1）建設自主管理數(shù)據(jù)中心，實現(xiàn)法院數(shù)據(jù)全盤管控，業(yè)務數(shù)據(jù)全面打通，數(shù)據(jù)服務統(tǒng)一出口。

（2）界面化采集調(diào)度配置，實現(xiàn)數(shù)據(jù)采集可視化操作，無需單獨開發(fā)。

（3）數(shù)據(jù)中心統(tǒng)一管理業(yè)務生產(chǎn)庫，對數(shù)據(jù)實時采集與共享，業(yè)務數(shù)據(jù)統(tǒng)一存儲。

（4）通過多重信息組合分析解決數(shù)據(jù)重復問題，實現(xiàn)數(shù)據(jù)唯一性。

（5）法標數(shù)據(jù)標準轉(zhuǎn)換、映射、數(shù)據(jù)融合，為數(shù)據(jù)共享和分析服務提供資源。

（6）非結構化數(shù)據(jù)分析，自定義標簽標識，實現(xiàn)補充字段信息回填。

（7）實現(xiàn)法院數(shù)據(jù)全方位共享。

4 結語

針對法院信息化建設的痛點問題提出了地方法院數(shù)據(jù)中臺建設方案，根據(jù)建設方案建設內(nèi)容在地方法院進行試點建設，建設達到了預期的建設成效。為后續(xù)地方法院數(shù)據(jù)中臺建設提供了建設思路及依據(jù)。