基于數(shù)據(jù)中心的公安大數(shù)據(jù)應(yīng)用研究

王海燕+胡婷+劉際鵬+謝燕

摘要：面對公安業(yè)務(wù)產(chǎn)生的海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，需要研究新型的大數(shù)據(jù)處理方法。按照公安行業(yè)技術(shù)規(guī)范，研究數(shù)據(jù)中心平臺(tái)架構(gòu)，并完成平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)。針對各警種業(yè)務(wù)對大數(shù)據(jù)定制服務(wù)、模型研發(fā)的需求，構(gòu)建匹配公安業(yè)務(wù)場景的大數(shù)據(jù)系統(tǒng)。結(jié)合應(yīng)用實(shí)例，構(gòu)建基礎(chǔ)設(shè)施云環(huán)境和混合存儲(chǔ)環(huán)境，實(shí)現(xiàn)對大數(shù)據(jù)資源存儲(chǔ)、整合、管控、共享服務(wù)及應(yīng)用的支撐，并通過大數(shù)據(jù)資源服務(wù)對內(nèi)外部數(shù)據(jù)資源進(jìn)行匯聚、清洗、管理、挖掘分析。最終實(shí)現(xiàn)公安大數(shù)據(jù)的智能信息處理，達(dá)到公安大數(shù)據(jù)實(shí)戰(zhàn)應(yīng)用的目的。該研究成果已成功應(yīng)用于全國公安數(shù)據(jù)標(biāo)準(zhǔn)化試點(diǎn)城市河北省邯鄲市公安局大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目，能夠?yàn)楣泊髷?shù)據(jù)應(yīng)用提供借鑒。

關(guān)鍵詞： 數(shù)據(jù)中心； 大數(shù)據(jù)； 數(shù)據(jù)挖掘； 資源融合

中圖分類號(hào)： TP391

[KG3]文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 2095-2163（2017）05-0060-06

Abstract：The public security business generates massive amounts of structured and unstructured data， so a new method of big data processing is needed. According to the technical specifications of the public security industry， research data center platform architecture， and complete the platform design and implementation. In view of the demand for the customized service and model research of the various police services， build a big data system matching the police business scene. Combining application examples， build an infrastructure cloud environment and a mixed storage environment， realize the support for storage， integration， control， sharing service and application of big data resources. After that， Gather， clean， manage and mine to analyze the internal and external data resource through large data resource service， finally achieve the intelligent information processing and reach the goal of practical application in public security big data. The results of this research have been successfully applied to Handan city， which is a pilot city of national public security data standardization. The results of this study can be used to provide reference for the big data application of public security.

Keywords： data center； big data； data mining； resource integration

0引言

大數(shù)據(jù)是以容量大、類型多、存取速度快和應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)，對其進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析可從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值和提升新能力，逐漸成為新一代信息計(jì)算和服務(wù)業(yè)態(tài)。近年來，公安行業(yè)大力實(shí)施“科技強(qiáng)警”戰(zhàn)略，產(chǎn)生了海量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，包括軌跡信息、工作信息、多媒體信息等。公安數(shù)據(jù)中蘊(yùn)藏著人、事、物、組織和案件等豐富的信息，充分利用這些信息，挖掘海量數(shù)據(jù)背后隱藏的關(guān)聯(lián)關(guān)系，對于維護(hù)社會(huì)大局穩(wěn)定、預(yù)防和打擊犯罪、輔助指揮決策都具有重要的價(jià)值。

隨著公安業(yè)務(wù)對前端采集的大數(shù)據(jù)的存儲(chǔ)和計(jì)算能力需求以及應(yīng)用系統(tǒng)整合需求不斷提高，基于數(shù)據(jù)中心平臺(tái)，大力加強(qiáng)大數(shù)據(jù)時(shí)代公安基層基礎(chǔ)工作，將能夠不斷提高維護(hù)公共安全和服務(wù)人民群眾的能力水平。

1研究目標(biāo)

公安大數(shù)據(jù)系統(tǒng)是面向各警種的大數(shù)據(jù)管理和分析平臺(tái)，通過對海量數(shù)據(jù)的收集、整理、歸檔、分析、預(yù)測，從復(fù)雜的數(shù)據(jù)中挖掘出各類數(shù)據(jù)背后所蘊(yùn)含的、內(nèi)在的、必然的因果關(guān)系，找到隱秘的規(guī)律，促使這些數(shù)據(jù)從量變到質(zhì)變，實(shí)現(xiàn)對海量數(shù)據(jù)的深度應(yīng)用、綜合應(yīng)用和高端應(yīng)用。依托數(shù)據(jù)中心構(gòu)建基于全警采集、全警共享的統(tǒng)一的能夠匹配公安業(yè)務(wù)場景的大數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)PB級(jí)數(shù)據(jù)存儲(chǔ)管理、多種數(shù)據(jù)類型與協(xié)議支持、高質(zhì)量的數(shù)據(jù)整合、高效的數(shù)據(jù)分析能力、可管理和開放性、安全可靠及自主可控[1]。

2數(shù)據(jù)中心平臺(tái)設(shè)計(jì)

2.1總體架構(gòu)

遵循公安部《公安信息中心技術(shù)建設(shè)總體框架》、《資源服務(wù)平臺(tái)建設(shè)任務(wù)書》，確保與省級(jí)數(shù)據(jù)中心平臺(tái)技術(shù)路線相同?？傮w架構(gòu)如圖1所示。

2.2功能設(shè)計(jì)

數(shù)據(jù)中心平臺(tái)由基礎(chǔ)支撐層、數(shù)據(jù)資源層、服務(wù)資源層、資源應(yīng)用層、標(biāo)準(zhǔn)規(guī)范體系、安全保障體系等6部分組成。平臺(tái)功能架構(gòu)如圖2所示。endprint

2.2.1基礎(chǔ)支撐層設(shè)計(jì)

基于OpenStack規(guī)范對云平臺(tái)各類虛擬化資源進(jìn)行分配管理，使信息資源服務(wù)平臺(tái)能夠支撐復(fù)雜多變的應(yīng)用部署場景[2]。

2.2.2數(shù)據(jù)資源層設(shè)計(jì)

信息資源目錄建設(shè)是平臺(tái)數(shù)據(jù)體系建設(shè)的核心，從3個(gè)方面進(jìn)行信息資源庫數(shù)據(jù)資源目錄建設(shè)。對其可做闡釋表述如下。

1）部門資源目錄。以數(shù)據(jù)獲取來源部門組織數(shù)據(jù)目錄，分為警綜平臺(tái)數(shù)據(jù)、情報(bào)平臺(tái)數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)數(shù)據(jù)、社會(huì)數(shù)據(jù)，并且一次進(jìn)行子目錄和劃分。其中，警綜、情報(bào)和業(yè)務(wù)系統(tǒng)數(shù)據(jù)子目錄完全依照來源數(shù)據(jù)的目錄結(jié)構(gòu)進(jìn)行組織；社會(huì)數(shù)據(jù)根據(jù)數(shù)據(jù)來源單位進(jìn)行子目錄劃分設(shè)計(jì)。

2）主題數(shù)據(jù)目錄。整合基礎(chǔ)數(shù)據(jù)是信息資源庫對外提供數(shù)據(jù)和服務(wù)的核心數(shù)據(jù)庫。依據(jù)公安五要素組織原則，進(jìn)行數(shù)據(jù)資源目錄建設(shè)，以“人、地、事、物、組織”進(jìn)行二次目錄劃分，三級(jí)目錄根據(jù)不同的數(shù)據(jù)業(yè)務(wù)特征進(jìn)一步劃分。

3）專題數(shù)據(jù)目錄。平臺(tái)面向不同業(yè)務(wù)警種提供的各類數(shù)據(jù)，其以各業(yè)務(wù)警種類型進(jìn)行二級(jí)目錄組織，如、治安、刑偵、交通、案件等。三級(jí)資源目錄根據(jù)各業(yè)務(wù)警種的實(shí)際業(yè)務(wù)內(nèi)容進(jìn)行細(xì)化分類。

資源體系目錄如圖3所示。

2.2.3服務(wù)資源層設(shè)計(jì)

平臺(tái)通過統(tǒng)一的接入請求服務(wù)，經(jīng)過內(nèi)部平臺(tái)數(shù)據(jù)和功能分析，提供多種方式的結(jié)果返回，如離線數(shù)據(jù)文件、在線的XML數(shù)據(jù)等。針對平臺(tái)直接具備通用和專業(yè)服務(wù)，經(jīng)過使用授權(quán)，可以通過直接調(diào)用平臺(tái)服務(wù)接口實(shí)現(xiàn)應(yīng)用。針對較個(gè)性化的需求，平臺(tái)通過提供基礎(chǔ)的元服務(wù)集，應(yīng)用系統(tǒng)通過對元服務(wù)集內(nèi)的服務(wù)進(jìn)行靈活自主的編排，形成基于元服務(wù)的自定義服務(wù)流程，滿足個(gè)性化業(yè)務(wù)需求。服務(wù)結(jié)構(gòu)總體設(shè)計(jì)如圖4所示。

服務(wù)接口整體架構(gòu)分為負(fù)載均衡服務(wù)器集群、服務(wù)接口服務(wù)器、內(nèi)存數(shù)據(jù)庫、數(shù)據(jù)庫和緩存數(shù)據(jù)庫中間件層、數(shù)據(jù)庫層。基于服務(wù)接口系統(tǒng)，大量增加了緩存設(shè)計(jì)，并使用分布式緩存系統(tǒng)MemCache來加大緩存空間，提高緩存命中率。

遵循《資源服務(wù)總線系列標(biāo)準(zhǔn)》，主要包括接入適配、授權(quán)管理、訪問控制、路由調(diào)度、數(shù)據(jù)交換、資源同步、日志采集分析等功能。采用基于動(dòng)態(tài)可插拔組件的先進(jìn)系統(tǒng)架構(gòu)，提供開放的、有針對性的二次開發(fā)API接口。

2.2.4平臺(tái)管理層設(shè)計(jì)

服務(wù)資源管理子系統(tǒng)主要為服務(wù)使用者提供服務(wù)共享、數(shù)據(jù)交換的便捷平臺(tái)，可讓用戶及時(shí)了解最新發(fā)布服務(wù)。

服務(wù)資源監(jiān)控子系統(tǒng)實(shí)現(xiàn)對資源服務(wù)總線、服務(wù)接口等相關(guān)資源的運(yùn)行狀態(tài)監(jiān)控、性能監(jiān)控、負(fù)載監(jiān)控及異常自動(dòng)告警；實(shí)現(xiàn)對服務(wù)接口的可用性、性能等服務(wù)質(zhì)量指標(biāo)的評(píng)價(jià)；采集資源服務(wù)總線、服務(wù)接口的日志，支持日志審計(jì)及運(yùn)行統(tǒng)計(jì)。主要由3部分構(gòu)成，監(jiān)控Agent、監(jiān)控Server、監(jiān)控Web。3個(gè)組成部分采用分布式部署，逐級(jí)遞進(jìn)式的監(jiān)控，通過狀態(tài)巡檢機(jī)制，實(shí)現(xiàn)各類資源狀態(tài)的實(shí)時(shí)監(jiān)控，并且對發(fā)生故障或者超過報(bào)警預(yù)警閾值信息進(jìn)行郵件、短信等多種方式進(jìn)行報(bào)警。

資源服務(wù)總線通過級(jí)聯(lián)組件和注冊中心使用樹狀拓?fù)鋵?shí)現(xiàn)多級(jí)互聯(lián)訪問功能，支持多個(gè)總線系統(tǒng)的互聯(lián)部署，形成服務(wù)共享網(wǎng)絡(luò)。應(yīng)用系統(tǒng)可從一個(gè)總線系統(tǒng)上訪問另外一個(gè)總線系統(tǒng)共享的服務(wù)，服務(wù)級(jí)聯(lián)可組織成多級(jí)互聯(lián)。在系統(tǒng)中，存在公安部->省廳->市這3級(jí)行政組織架構(gòu)，系統(tǒng)數(shù)據(jù)交換支持級(jí)聯(lián)架構(gòu)。

統(tǒng)一用戶權(quán)限管理。具體包括統(tǒng)一用戶認(rèn)證和統(tǒng)一用戶授權(quán)兩個(gè)功能。其中，統(tǒng)一用戶認(rèn)證基于公安部PKI證書體系。統(tǒng)一用戶授權(quán)管理是以資源的授權(quán)、訪問決策控制集中管理為目標(biāo)，以資源的訪問控制為導(dǎo)向，以資源的安全、防擴(kuò)散為前提，將各個(gè)應(yīng)用系統(tǒng)的所有受控資源進(jìn)行統(tǒng)一授權(quán)，不僅可以保護(hù)應(yīng)用系統(tǒng)的信息安全、建立全面的信息保密制度，同時(shí)滿足對系統(tǒng)文檔加密和授權(quán)需求，構(gòu)建安全可控的文檔安全、防擴(kuò)散管理系統(tǒng)[3]。

實(shí)時(shí)采集平臺(tái)應(yīng)用及數(shù)據(jù)的訪問日志，建立面向終端用戶及對接應(yīng)用系統(tǒng)的資源應(yīng)用審計(jì)功能，實(shí)現(xiàn)用戶和應(yīng)用行為的全程記錄，實(shí)現(xiàn)異常行為審計(jì)追蹤及預(yù)警提示。

2.2.5平臺(tái)門戶設(shè)計(jì)

面向公安內(nèi)網(wǎng)用戶，提供內(nèi)網(wǎng)統(tǒng)一登錄功能、導(dǎo)航功能，信息推送、集成各類前臺(tái)應(yīng)用系統(tǒng)、發(fā)布預(yù)警信息、平臺(tái)內(nèi)網(wǎng)公告以及以圖表方式發(fā)布平臺(tái)數(shù)據(jù)、應(yīng)用、效益等信息。平臺(tái)門戶網(wǎng)站的欄目劃分為信息資訊類、數(shù)據(jù)統(tǒng)計(jì)類、共享服務(wù)類、分析類、個(gè)性化服務(wù)、互動(dòng)交流類、輔助類、應(yīng)用系統(tǒng)訪問入口等幾大模塊。

提供快速開發(fā)平臺(tái)。主要包括應(yīng)用開發(fā)框架、Web應(yīng)用引擎、流程引擎、建模設(shè)計(jì)工具以及二次開發(fā)接口等部分，基于SOA體系架構(gòu)及BPMN2.0國際標(biāo)準(zhǔn)，通過應(yīng)用服務(wù)組件化的開發(fā)模式，能夠提升開發(fā)效率、降低維護(hù)復(fù)雜度、規(guī)范開發(fā)過程。支持各種集群、多數(shù)據(jù)庫以及多Web服務(wù)器的部署環(huán)境。設(shè)計(jì)器基于Eclipse平臺(tái)圖形化開發(fā)，方便了代碼的編寫與調(diào)試查詢[4]。

2.2.6智能搜索子系統(tǒng)

智能全文檢索應(yīng)用是基于成熟的全文檢索產(chǎn)品，結(jié)合公安實(shí)際的檢索業(yè)務(wù)需求，提供綜合檢索，以及“人”、“地”、“案”、“物”、“組織”等多種專題檢索功能。智能全文檢索應(yīng)用主要包括索引管理、檢索服務(wù)和前端檢索應(yīng)用三大組成部分。實(shí)現(xiàn)對結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)構(gòu)建索引，并根據(jù)給定條件進(jìn)行查詢?？商幚淼臄?shù)據(jù)來源包括數(shù)據(jù)庫中的數(shù)據(jù)、遠(yuǎn)程FTP上的數(shù)據(jù)以及本地文件系統(tǒng)中的數(shù)據(jù)；可處理的數(shù)據(jù)類型包括txt、doc、pdf、html/htm、xml等，還可以使用增強(qiáng)功能對一些特殊的pdf、wps、s2文件和ceb文件做處理。全文索引庫可以存儲(chǔ)在HDFS中，在節(jié)點(diǎn)內(nèi)的所有服務(wù)都可以去共享一套索引資料信息，實(shí)現(xiàn)全網(wǎng)分布信息查詢[5]。

2.3非功能設(shè)計(jì)

平臺(tái)命名、主要功能和界面設(shè)計(jì)遵循《信息服務(wù)應(yīng)用門戶界面設(shè)計(jì)規(guī)范》。采用主流、穩(wěn)定的開發(fā)技術(shù)，兼容 IE6 等主流瀏覽器，適應(yīng) PC 終端接入和主流移動(dòng)終端接入。引入 HTML5 技術(shù)提高可用性和用戶體驗(yàn)；采用 JQuery 框架實(shí)現(xiàn)前端頁面的交互，輕量級(jí)別 JS 封裝；采用 DIV+CSS 架構(gòu) WEB 設(shè)計(jì)標(biāo)準(zhǔn)，實(shí)現(xiàn)網(wǎng)頁的合理、優(yōu)化布局。endprint

平臺(tái)性能主要考慮查準(zhǔn)率、查全率和系統(tǒng)響應(yīng)時(shí)間等指標(biāo)。一方面確保數(shù)據(jù)采集、轉(zhuǎn)換、整合的過程數(shù)據(jù)準(zhǔn)確無誤，另一方面模糊查詢、檢索查詢等應(yīng)用功能盡可能人性化，返回的結(jié)果能夠符合查詢用戶本意；對每一次查詢操作，要盡可能返回與權(quán)限對應(yīng)的全部數(shù)據(jù)；從系統(tǒng)架構(gòu)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、代碼優(yōu)化等方面確保系統(tǒng)響應(yīng)時(shí)間。

嚴(yán)格遵循安全保密工作規(guī)范，在滿足應(yīng)用需求的同時(shí)，防止信息濫用，有效保護(hù)公民隱私和警務(wù)秘密，按照安全保障體系建設(shè)的具體要求，分類建設(shè)安全防護(hù)設(shè)施和容災(zāi)備份機(jī)制，確保數(shù)據(jù)安全[6]。

接口相對穩(wěn)定；明確接口語義，包括接口調(diào)用方法、接口名稱、參數(shù)的類型和名稱；采用版本定義來區(qū)分接口差異。接口設(shè)計(jì)遵循公安部制訂、發(fā)布的《公安資源服務(wù)總線體系架構(gòu)標(biāo)準(zhǔn)》，接口對接遵循公安部制訂的《全網(wǎng)資源服務(wù)總線對接標(biāo)準(zhǔn)（待發(fā)布）》。接口定義時(shí)需要嚴(yán)格控制接口的訪問權(quán)限，以免出現(xiàn)非法授權(quán)使用。對接口進(jìn)行擴(kuò)充時(shí)須保證能夠兼容前一版本，否則就應(yīng)定義為新的服務(wù)接口。

3公安大數(shù)據(jù)應(yīng)用實(shí)踐

在未建設(shè)數(shù)據(jù)中心平臺(tái)之前，河北省邯鄲市公安局擁有幾十個(gè)公安業(yè)務(wù)系統(tǒng)，各系統(tǒng)資源相對獨(dú)立，基層民警使用起來也極為不便，原有的系統(tǒng)已經(jīng)不能滿足當(dāng)前數(shù)層民警的辦公需要，各類海量信息資源也有待整合共享，基于此開展大數(shù)據(jù)平臺(tái)建設(shè)，大數(shù)據(jù)平臺(tái)由科信部門牽頭，協(xié)調(diào)各警種共同參與建設(shè)的平臺(tái)。按照公安信息資源服務(wù)平臺(tái)的總體規(guī)劃，結(jié)合全國公安數(shù)據(jù)標(biāo)準(zhǔn)化試點(diǎn)的建設(shè)要求，深度整合公安及社會(huì)數(shù)據(jù)資源，以建成的云平臺(tái)為基礎(chǔ)構(gòu)建公安大數(shù)據(jù)資源庫，再通過大數(shù)據(jù)資源服務(wù)及應(yīng)用體系面向業(yè)務(wù)警種提供全方位支撐。

邯鄲市局通過構(gòu)建基礎(chǔ)設(shè)施云環(huán)境，部署并建設(shè)由Oracle關(guān)系數(shù)據(jù)庫、Hadoop分布式存儲(chǔ)環(huán)境、全文索引庫、MPP等構(gòu)成的混合存儲(chǔ)環(huán)境。以基礎(chǔ)云平臺(tái)實(shí)現(xiàn)對大數(shù)據(jù)資源進(jìn)行存儲(chǔ)、整合、管控、共享服務(wù)及應(yīng)用的支撐。平臺(tái)依托云計(jì)算環(huán)境，以應(yīng)用商店為主建立開放式應(yīng)用生態(tài)環(huán)境，以大數(shù)據(jù)分析挖掘?yàn)橹鞯娜闹悄軝z索、人員車輛電子檔案、電話號(hào)碼專題應(yīng)用，對接場所無線WIFI大數(shù)據(jù)、實(shí)名制信息采集、視頻偵察平臺(tái)，全面支撐警務(wù)實(shí)戰(zhàn)平臺(tái)應(yīng)用，通過統(tǒng)一門戶登錄，實(shí)現(xiàn)對公安內(nèi)部和社會(huì)信息資源的有效整合，實(shí)現(xiàn)對全警信息化應(yīng)用提供全方位的服務(wù)支撐，發(fā)揮平臺(tái)應(yīng)用價(jià)值。

3.1整合硬件資源，實(shí)現(xiàn)計(jì)算資源和網(wǎng)絡(luò)資源的共享

本次數(shù)據(jù)中心建設(shè)包括Hadoop大數(shù)據(jù)集群、全文索引集群、虛擬機(jī)硬件資源，其中Hadoop大數(shù)據(jù)集群由3臺(tái)管理節(jié)點(diǎn)，14臺(tái)數(shù)據(jù)節(jié)點(diǎn)組成，共計(jì)300 T存儲(chǔ)空間。全文索引4臺(tái)集群，共計(jì)64T存儲(chǔ)空間。其它應(yīng)用服務(wù)器所需硬件均為虛擬化資源，包括數(shù)據(jù)管控服務(wù)器、數(shù)據(jù)交接服務(wù)器、門戶運(yùn)維服務(wù)器、服務(wù)集、應(yīng)用集等共計(jì)10臺(tái)。可以滿足全局警務(wù)實(shí)戰(zhàn)未來3～5年的應(yīng)用計(jì)算能力。

采用混合存儲(chǔ)體系，將一般的關(guān)系數(shù)據(jù)放到Oracle數(shù)據(jù)庫中，海量的流式數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)放到HBase中。集成Apache開源社區(qū)Hadoop多種版本，內(nèi)置Hadoop基礎(chǔ)軟件，包括：Hive、Zookeeper、Oozie、Flume、Kafka等，組件內(nèi)核與Hadoop開源社區(qū)版本保持兼容。支持最新版本的HDFS；支持統(tǒng)一調(diào)度管理系統(tǒng)YARN；支持對HBase和Hive中的數(shù)據(jù)進(jìn)行快速查詢，分組統(tǒng)計(jì)等；支持多計(jì)算框架融合，包括流式計(jì)算、內(nèi)存計(jì)算、M/R離線計(jì)算等；支持分布式消息隊(duì)列來進(jìn)行數(shù)據(jù)攝取等[7]。

3.2開展全局?jǐn)?shù)據(jù)標(biāo)準(zhǔn)化工作

借助大數(shù)據(jù)平臺(tái)建設(shè)的契機(jī)對全局公安數(shù)據(jù)標(biāo)準(zhǔn)體系開展建設(shè)工作，建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)體系及相應(yīng)的管理系統(tǒng)，并在全局范圍組建數(shù)據(jù)標(biāo)準(zhǔn)化機(jī)構(gòu)，制定公安信息化應(yīng)用建設(shè)的標(biāo)準(zhǔn)對標(biāo)與審核流程及規(guī)范，從源頭上保障數(shù)據(jù)資源的質(zhì)量和規(guī)范性，實(shí)現(xiàn)數(shù)據(jù)資源的持續(xù)優(yōu)化和不斷提升。

3.3建立大數(shù)據(jù)關(guān)聯(lián)庫

覆蓋之前多個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源，并建立關(guān)聯(lián)關(guān)系，使得基層民警從之前的面向多個(gè)數(shù)據(jù)查詢系統(tǒng)的困境中解脫出來，轉(zhuǎn)而面向大數(shù)據(jù)平臺(tái)以關(guān)聯(lián)庫為核心的更高質(zhì)量的數(shù)據(jù)資源，關(guān)聯(lián)庫是平臺(tái)數(shù)據(jù)資源建設(shè)的核心和重點(diǎn)，本平臺(tái)中關(guān)聯(lián)庫的建設(shè)，不但實(shí)現(xiàn)數(shù)據(jù)資源質(zhì)量和規(guī)范性的提升，而且實(shí)現(xiàn)與基礎(chǔ)庫數(shù)十億數(shù)據(jù)資源的關(guān)聯(lián)，形成以“人、地、事、物、組織”五要素為核心的主數(shù)據(jù)資源，是實(shí)現(xiàn)“數(shù)據(jù)”向“信息”轉(zhuǎn)變、從“信息”向“知識(shí)”提升的關(guān)鍵，也是發(fā)揮信息資源實(shí)戰(zhàn)價(jià)值的關(guān)鍵，其直接支撐電子檔案等應(yīng)用，并通過服務(wù)接口面向業(yè)務(wù)警種提供數(shù)據(jù)查詢訪問能力[8]。

3.4建立數(shù)據(jù)清洗整合機(jī)制

通過對數(shù)據(jù)資源進(jìn)行清洗整合，對數(shù)據(jù)資源的冗余情況、可信性、完整性、數(shù)據(jù)來源進(jìn)行全面分析，并通過主數(shù)據(jù)整合提供對不同數(shù)據(jù)來源的數(shù)據(jù)質(zhì)量實(shí)施評(píng)核和監(jiān)控，構(gòu)筑對數(shù)據(jù)采集單位的數(shù)據(jù)質(zhì)量整治機(jī)制，從工作機(jī)制上促進(jìn)數(shù)據(jù)質(zhì)量由來源獲得提升。大數(shù)據(jù)平臺(tái)通過對不同數(shù)據(jù)來源的質(zhì)量評(píng)分整合主數(shù)據(jù)，使業(yè)務(wù)警種在應(yīng)用中能獲取可信度高、完整精確、符合標(biāo)準(zhǔn)的數(shù)據(jù)資源[9]。

3.5整合對接各類數(shù)據(jù)資源

數(shù)據(jù)中心平臺(tái)實(shí)現(xiàn)與室內(nèi)外場所無線WIFI數(shù)據(jù)、視頻偵查卡口數(shù)據(jù)、實(shí)名制采集數(shù)據(jù)，以及現(xiàn)有警綜業(yè)務(wù)系統(tǒng)等進(jìn)行資源對接，通過對數(shù)據(jù)的標(biāo)準(zhǔn)化和清洗、抽取、整合建庫，目前，公安和社會(huì)數(shù)據(jù)資源共計(jì)320種，共計(jì)約300億條，其中公安資源約20億條，社會(huì)資源約280億條。

3.6為警務(wù)實(shí)戰(zhàn)數(shù)據(jù)提供全面支撐

公安大數(shù)據(jù)平臺(tái)對外發(fā)揮價(jià)值的核心是提供種類豐富、類型多樣的服務(wù)接口和服務(wù)能力。從服務(wù)類型來看，可分為通用類服務(wù)、研判類服務(wù)和智能類服務(wù)。針對各類服務(wù)給出功能概述如下。

1）通用類服務(wù)。在大數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)資源基礎(chǔ)上，結(jié)合分布式計(jì)算、可視化分析和展現(xiàn)等技術(shù)，可實(shí)現(xiàn)綜合查詢、搜索引擎、數(shù)據(jù)比對、布控預(yù)警、分類統(tǒng)計(jì)等常用功能，以及趨勢分析、異常分析、相關(guān)性分析等挖掘功能[10]。endprint

2）研判類服務(wù)。基于大數(shù)據(jù)分析挖掘，實(shí)現(xiàn)各類戰(zhàn)法集市、積分預(yù)警模型、全要素分析工具、社交網(wǎng)絡(luò)分析、隱性重點(diǎn)人挖掘、治安態(tài)勢分析等綜合情報(bào)研判功能。

3）智能類服務(wù)。綜合情報(bào)研判功能，實(shí)現(xiàn)案件多維分析、人流激增預(yù)警、犯罪預(yù)測模型、人員智能畫像、涉恐系數(shù)分析、人員親密度模型分析等功能。

數(shù)據(jù)中心匯集警綜、網(wǎng)監(jiān)無線WIFI上網(wǎng)，實(shí)名制采集，視頻卡口以及大量社會(huì)數(shù)據(jù)資源，給警務(wù)實(shí)戰(zhàn)應(yīng)用平臺(tái)提供一手?jǐn)?shù)據(jù)，為警務(wù)實(shí)戰(zhàn)平臺(tái)比對碰撞、智能研判、軌跡分析等起重要數(shù)據(jù)支撐。資源服務(wù)平臺(tái)提供數(shù)據(jù)訪問查詢、大數(shù)據(jù)平臺(tái)、資源服務(wù)總線等服務(wù)接口和專題應(yīng)用接口，給警務(wù)實(shí)戰(zhàn)應(yīng)用提供服務(wù)支撐[11]。

3.7建設(shè)大數(shù)據(jù)平臺(tái)的服務(wù)總線

聚合PGIS平臺(tái)的地圖服務(wù)接口、業(yè)務(wù)數(shù)據(jù)資源的查詢訪問接口、數(shù)據(jù)分析接口以及人員、機(jī)動(dòng)車檔案頁面接口等各類服務(wù)資源，在警務(wù)實(shí)戰(zhàn)應(yīng)用系統(tǒng)過程中發(fā)揮重要作用，初步建立基礎(chǔ)開發(fā)體系，顯著降低開發(fā)、協(xié)調(diào)的成本。并且在基于服務(wù)總線建立的數(shù)據(jù)密級(jí)等安全機(jī)制支撐之上，實(shí)現(xiàn)基層對數(shù)據(jù)資源的可控訪問。

采用數(shù)據(jù)緩存、多級(jí)緩存、分布式緩存設(shè)計(jì)、LRU替代算法、B+樹磁盤索引技術(shù)、日志結(jié)構(gòu)合并樹（LSM Tree）批量轉(zhuǎn)儲(chǔ)技術(shù)等進(jìn)行快速響應(yīng)設(shè)計(jì)[12]。使用多線程技術(shù)與多核CPU技術(shù)聯(lián)合、IO與計(jì)算的并行化、分布式系統(tǒng)架構(gòu)設(shè)計(jì)等高并發(fā)設(shè)計(jì)。能夠確保每個(gè)請求平均返回時(shí)間在1 s內(nèi)，每個(gè)請求數(shù)據(jù)吞吐量小于等于10 K，使用硬件資源在4核雙線程CPU/32 G內(nèi)存的情況下，資源服務(wù)總線的并發(fā)能力大于5 k/s；每個(gè)請求的平均響應(yīng)時(shí)間小于2秒；資源服務(wù)總線正常運(yùn)行率大于99%[13]。

3.8開發(fā)高效率智能全文索引應(yīng)用，實(shí)現(xiàn)各類信息一鍵搜索

在數(shù)據(jù)整合的基礎(chǔ)上，對各類信息資源進(jìn)行分類和建立索引，使用全文檢索的技術(shù)，利用中文分詞和倒排索引的方式進(jìn)行大數(shù)據(jù)信息的快速檢索，實(shí)現(xiàn)通過一個(gè)輸入框的形式向民警提供全數(shù)據(jù)搜索功能。

3.9開發(fā)電話號(hào)碼等特色專題查詢應(yīng)用

整合各類公安信息資源、社會(huì)資源、互聯(lián)網(wǎng)虛擬身份資源和各類辦理業(yè)務(wù)信息，從中提取人員的電話信息包括：固定電話信息、移動(dòng)電話信息，根據(jù)各類業(yè)務(wù)系統(tǒng)登記的電話信息和人員信息進(jìn)行整合綁定，將所有和某一電話有關(guān)聯(lián)的信息提取，并建立電話專題檔案，利用大數(shù)據(jù)的手段實(shí)現(xiàn)電話號(hào)碼的分析研判功能。

3.10開發(fā)基于無線WIFI軌跡查詢應(yīng)用

通過獲取的無線上網(wǎng)終端信息，數(shù)據(jù)中心系統(tǒng)關(guān)聯(lián)網(wǎng)監(jiān)特征庫，可通過手機(jī)號(hào)碼、手機(jī)MAC地址等條件，查詢終端上網(wǎng)軌跡到PGIS地圖中[14]。

4結(jié)束語

按照公安行業(yè)技術(shù)規(guī)范搭建以云計(jì)算為基礎(chǔ)支撐，以大數(shù)據(jù)為核心特點(diǎn)的新一代公安數(shù)據(jù)中心，通過對公安內(nèi)外部數(shù)據(jù)資源進(jìn)行匯聚、清洗、管理、挖掘分析等大數(shù)據(jù)應(yīng)用，能夠?yàn)楦骶N提供高質(zhì)量、有針對性的大數(shù)據(jù)定制服務(wù)。該研究成果已成功應(yīng)用于全國公安數(shù)據(jù)標(biāo)準(zhǔn)化試點(diǎn)城市邯鄲市公安局大數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目，對公安大數(shù)據(jù)分析與實(shí)戰(zhàn)綜合應(yīng)用意義深遠(yuǎn)。

參考文獻(xiàn)

張兆端. 關(guān)于公安大數(shù)據(jù)建設(shè)的戰(zhàn)略思考[J]. 中國人民公安大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014，30（4）：17-23.

[2] 楊宏亮. 公安機(jī)關(guān)大數(shù)據(jù)平臺(tái)構(gòu)建研究[D]. 長春：吉林大學(xué)，2016：20-25.

[3] 張文元，馬麗雅. 警務(wù)大數(shù)據(jù)在公安實(shí)踐中的應(yīng)用[J]. 中國人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，22（2）：51-54.

[4] 趙源泉. 公安工作大數(shù)據(jù)管理平臺(tái)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 上海：東華大學(xué)，2016：32-36.

[5] 劉海英. 數(shù)據(jù)挖掘技術(shù)在警務(wù)數(shù)據(jù)分析系統(tǒng)的應(yīng)用研究[D]. 長春：吉林大學(xué)，2015：28-33.

[6] 李棟科. 基于大數(shù)據(jù)的智慧公安系統(tǒng)研究與應(yīng)用[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào)，2016，2（12）：63-68.

[7] 劉云恒，劉耀宗. 基于Hadoop的公安視頻大數(shù)據(jù)的處理方法[J]. 計(jì)算機(jī)科學(xué)，2016，43（S1）：448-451，475.

[8] 張明旺. 基于大數(shù)據(jù)的公安情報(bào)工作研究[J]. 現(xiàn)代計(jì)算機(jī)（專業(yè)版），2017（7）：34-37.

[9] 彭知輝. 論大數(shù)據(jù)環(huán)境下公安情報(bào)流程的優(yōu)化[J]. 情報(bào)雜志，2016，35（4）：15-20.

[10]Agrawal D，Bernstein P，Bertino E，et al.Challenges and opportunities with big data[R/OL].[2016- 01-26].http：//cra.org/ccc/docs/init/bigdatawhitepaper.

[11]沈曉磊. 基于“大數(shù)據(jù)”的重點(diǎn)人員管控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 蘇州：蘇州大學(xué)，2014：40-45.

[12]Manyika J，Chui M，Brown B， et al. Big data： The next frontier for innovation，competition and productivity[R/OL].[2011- 05].http：//www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation.

[13][美]HURWITZ J， NUGENT A， HALPER F， et al.寫給大家看的大數(shù)據(jù)[M]. 麥稈創(chuàng)智， 譯. 北京： 人民郵電出版社，2014： 162-165.

[14]向庭勇，向庭波. 用大數(shù)據(jù)技術(shù)構(gòu)建公安wifi偵測系統(tǒng)的研究與應(yīng)用[J]. 中國公共安全，2016（13）：75-81.endprint