基于大數(shù)據(jù)的警用知識(shí)處理框架的研究

湛浩旻　呂益民　馬　川　曲　平　李　牧　程　實(shí)

（1.北京仿真中心，北京 100854；2.廣州市公安局，廣州 510001；3.中拓聯(lián)興（北京）科技有限公司，北京 100080）

基于大數(shù)據(jù)的警用知識(shí)處理框架的研究

湛浩旻1呂益民2馬川1曲平3李牧3程實(shí)3

（1.北京仿真中心，北京 100854；2.廣州市公安局，廣州 510001；3.中拓聯(lián)興（北京）科技有限公司，北京 100080）

當(dāng)前，大數(shù)據(jù)已成為學(xué)術(shù)界、企業(yè)界乃至政府關(guān)注的焦點(diǎn)。將大數(shù)據(jù)應(yīng)用于公安領(lǐng)域，將大大推動(dòng)公安情報(bào)工作的發(fā)展與變革。分析了公安大數(shù)據(jù)知識(shí)處理系統(tǒng)的需求和關(guān)鍵技術(shù)，提出了警用大數(shù)據(jù)知識(shí)處理框架，為新一代協(xié)同智慧警用信息系統(tǒng)的構(gòu)建提供了參考。

警用信息，知識(shí)處理，大數(shù)據(jù)

引　言

大數(shù)據(jù)的興起，以一種前所未有的方式，改變著人們的生活、工作與思維方式。而隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，以及其應(yīng)用范圍的不斷擴(kuò)展，大數(shù)據(jù)也必然會(huì)對(duì)目前的公安情報(bào)工作形成沖擊。目前，公安機(jī)關(guān)所擁有的信息資源多為結(jié)構(gòu)化數(shù)據(jù)，公安情報(bào)部門主要從整齊劃一、標(biāo)準(zhǔn)化的數(shù)據(jù)庫(kù)中挖掘情報(bào)。據(jù)Gartner集團(tuán)預(yù)計(jì)，全球信息量每年的最低增長(zhǎng)率為59％，其中有15％是結(jié)構(gòu)化數(shù)據(jù)，其余的85％則由各種非結(jié)構(gòu)化數(shù)據(jù)組成。這就意味著，占絕大多數(shù)的非結(jié)構(gòu)化數(shù)據(jù)尚未得到有效利用，未進(jìn)入公安情報(bào)工作領(lǐng)域。因此，公安機(jī)關(guān)首先要在觀念上容納各種混雜無(wú)序的大數(shù)據(jù)，變“廢”為寶，將本非“廢品”的各種非結(jié)構(gòu)化數(shù)據(jù)視為公安情報(bào)工作的重要工作對(duì)象。

目前，警用信息資源在獲取、整合等方面存在一些弊端和問(wèn)題，制約了知識(shí)層面情報(bào)工作模式的拓展。一是過(guò)于依賴源頭信息采集，導(dǎo)致基層民警信息采集工作量大。盡可能廣泛地獲取各種信息資源，是確保公安情報(bào)工作有效開(kāi)展的重要前提。目前，公安機(jī)關(guān)倡導(dǎo)信息“全警采集”，通過(guò)建立健全“信息工作基礎(chǔ)化、基礎(chǔ)工作信息化”的工作機(jī)制，將信息采集建立在扎實(shí)的基層基礎(chǔ)工作之上。但是，由于信息采集覆蓋面廣，必然導(dǎo)致基層民警信息采集任務(wù)繁重，信息采集效率低下，也影響了日常警務(wù)活動(dòng)的開(kāi)展。二是信息加工處理及匯集整合面臨諸多困難。面對(duì)龐雜而豐富的信息資料，只有進(jìn)行整序、濃縮、升華、系統(tǒng)化，使之成為一個(gè)有機(jī)的整體即信息資源，才能發(fā)揮其整體效益、系統(tǒng)效益，并從中提煉出有價(jià)值的情報(bào)信息。當(dāng)前，公安機(jī)關(guān)“條”與“條”、“塊”與“塊”、“條”與“塊”之間缺乏有效的信息交流，不同部門、不同地區(qū)的信息資料互設(shè)壁壘、互不共享，導(dǎo)致信息資源網(wǎng)絡(luò)化、集成化程度低。三是信息資源的時(shí)效性難以得到保障。目前，公安情報(bào)部門所掌握的信息資源一部分是從各公安業(yè)務(wù)信息系統(tǒng)中抽取的，一部分是從社會(huì)其他部門通過(guò)交流交換以定期復(fù)制、提取的方式獲得的。這些信息資源都存在一定程度的時(shí)差，時(shí)效性較差，這使得情報(bào)分析及情報(bào)應(yīng)用受到限制。

為了使公安信息化資源為整個(gè)社會(huì)提供及時(shí)有效的信息服務(wù)，與其他政法部門、政府機(jī)關(guān)、社會(huì)單位實(shí)現(xiàn)安全、有效的信息共享，浙江合眾信息技術(shù)公司構(gòu)建了公安信息通信網(wǎng)邊界接入平臺(tái)，如圖1所示［1］。

圖1　公安信息通信網(wǎng)邊界接入平臺(tái)

浙江平湖公安局以大數(shù)據(jù)為支撐，利用可視化智慧平臺(tái)系統(tǒng)，各個(gè)派出所綜合指揮室每天、每周、每月將轄區(qū)內(nèi)的警情發(fā)生時(shí)間、地點(diǎn)自動(dòng)生成圖表進(jìn)行分析研判，然后發(fā)布預(yù)警，合理安排警力開(kāi)展巡邏和車輛視頻偵察，對(duì)案件進(jìn)行防控。而每天北京時(shí)間19時(shí)30分，各派出所將當(dāng)天有關(guān)情況向局里匯報(bào)，再由局里預(yù)警分析統(tǒng)一部署各派出所警力，從而構(gòu)建起了一個(gè)立體化的防控體系［2］。

隨著公安信息化建設(shè)的不斷深入開(kāi)展，適應(yīng)公安信息服務(wù)智慧化、協(xié)作化的發(fā)展趨勢(shì)，必須基于網(wǎng)絡(luò)（包括電信網(wǎng)、廣播電視網(wǎng)、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等）建立警用大數(shù)據(jù)知識(shí)處理框架，用以解決結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)多維度處理問(wèn)題。警用大數(shù)據(jù)知識(shí)處理框架是在大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策過(guò)程中產(chǎn)生的，體現(xiàn)了大數(shù)據(jù)生態(tài)系統(tǒng)對(duì)知識(shí)、服務(wù)、資源和過(guò)程等的知識(shí)服務(wù)配置和整合的能力。

1　警用大數(shù)據(jù)與知識(shí)處理

1.1大數(shù)據(jù)

大數(shù)據(jù)將現(xiàn)實(shí)世界中的事物和現(xiàn)象以數(shù)據(jù)的形式存儲(chǔ)到賽博空間中，這些數(shù)據(jù)記錄了人類的行為，包括工作、生活和社會(huì)發(fā)展。探索賽博空間中數(shù)據(jù)的規(guī)律和現(xiàn)象，是探索宇宙的規(guī)律、探索生命的規(guī)律、尋找人類行為的規(guī)律、尋找社會(huì)發(fā)展的規(guī)律的一種重要手段，例如：可以通過(guò)研究數(shù)據(jù)來(lái)研究生命（生物信息學(xué)）、研究人類行為（行為信息學(xué)）。與自然科學(xué)和社會(huì)科學(xué)不同，數(shù)據(jù)科學(xué)的研究對(duì)象是賽博空間的數(shù)據(jù)。

數(shù)據(jù)科學(xué)研究主要有兩個(gè)內(nèi)涵：一是研究數(shù)據(jù)本身，研究數(shù)據(jù)的各種類型、狀態(tài)、屬性及變化形式和變化規(guī)律；二是為自然科學(xué)和社會(huì)科學(xué)研究提供一種新的方法，稱為科學(xué)研究的數(shù)據(jù)方法，其目的在于揭示自然界和人類行為的現(xiàn)象和規(guī)律［3］。

1.2警用大數(shù)據(jù)

公安情報(bào)工作是公安工作的重要組成部分。早期的情報(bào)工作以人力情報(bào)活動(dòng)為主。進(jìn)入21世紀(jì)以來(lái)，隨著公安信息化建設(shè)的不斷深入推進(jìn)，公安機(jī)關(guān)實(shí)施情報(bào)主導(dǎo)警務(wù)戰(zhàn)略，并大力推進(jìn)公安情報(bào)體系建設(shè)，公安情報(bào)工作進(jìn)入了全面發(fā)展時(shí)期。開(kāi)發(fā)利用各種信息資源，從中發(fā)掘出有效的情報(bào)信息，成為當(dāng)前公安情報(bào)工作的中心任務(wù)，形成了一種新的公安情報(bào)工作模式——信息資源開(kāi)發(fā)模式。這一工作模式，既順應(yīng)了公安信息化發(fā)展的趨勢(shì)，促進(jìn)了公安信息化建設(shè)的高端化發(fā)展，實(shí)現(xiàn)了公安情報(bào)工作與公安信息化建設(shè)的緊密結(jié)合，也有助于公安情報(bào)工作的發(fā)展創(chuàng)新。

將警用信息與大數(shù)據(jù)處理相結(jié)合，具有多方面的優(yōu)勢(shì)：一是信息量大。大數(shù)據(jù)涉及與事物相關(guān)的所有數(shù)據(jù)，可以說(shuō)是一種全數(shù)據(jù)模式，可以從不同角度，更細(xì)致地觀察和研究數(shù)據(jù)的方方面面，提高分析預(yù)測(cè)特別是微觀層面分析預(yù)測(cè)的準(zhǔn)確性。二是信息獲取便利。當(dāng)前已經(jīng)擁有最先進(jìn)的數(shù)據(jù)處理、存儲(chǔ)能力和分析技術(shù)，各種大數(shù)據(jù)的獲取簡(jiǎn)單易行，無(wú)需付出很高的代價(jià)。大數(shù)據(jù)取之不盡，用之不竭。三是信息容錯(cuò)性提高。掌握大量甚至全部數(shù)據(jù)，可以抵消掉錯(cuò)誤數(shù)據(jù)所造成的影響，因此，可以不用執(zhí)迷于數(shù)據(jù)的精確性，不必以高昂的代價(jià)消除數(shù)據(jù)的不確定性。四是信息具有實(shí)時(shí)性。在大數(shù)據(jù)環(huán)境下，各種非關(guān)系型數(shù)據(jù)庫(kù)允許處理超大量、結(jié)構(gòu)多樣化的數(shù)據(jù)，無(wú)需進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，可以實(shí)現(xiàn)對(duì)大數(shù)據(jù)的實(shí)時(shí)分析、應(yīng)用。五是信息獲取渠道公開(kāi)。大數(shù)據(jù)來(lái)自日常生活產(chǎn)生的各種開(kāi)源信息，可以采用公開(kāi)的手段獲得，在獲取方式上與現(xiàn)有法律法規(guī)沒(méi)有沖突，也不存在嚴(yán)重的部門或地區(qū)信息壁壘。

此外，一大批知名企業(yè)開(kāi)發(fā)了一批大數(shù)據(jù)分析、應(yīng)用產(chǎn)品（如IBM的InfoSphere大數(shù)據(jù)分析平臺(tái)、亞馬遜的彈性MapReduce、甲骨文的Oracle大數(shù)據(jù)機(jī)、Google的BigQuery服務(wù)、EMC的Greenplum統(tǒng)一分析平臺(tái)等），為警用信息的利用提供了技術(shù)支持［4］。

圖2　知識(shí)處理框架

1.3知識(shí)處理

知識(shí)是從給定的信息中抽取出來(lái)的并不明顯知道的東西，而當(dāng)人們想要懂得某一件事情的意義時(shí)，不管他是否自覺(jué)，總是采用了一定的定性處理過(guò)程。所以，知識(shí)的擁有（知識(shí)庫(kù)）和定性處理的執(zhí)行結(jié)合在一起，構(gòu)成了知識(shí)處理的基本條件。圖2即為一種知識(shí)處理框架。

2　警用大數(shù)據(jù)知識(shí)處理框架

大數(shù)據(jù)知識(shí)處理框架是一個(gè)實(shí)現(xiàn)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析與決策服務(wù)資源和服務(wù)能力共享、交易和協(xié)作的智慧平臺(tái)，可依據(jù)不同行業(yè)、不同領(lǐng)域、不同需求的大數(shù)據(jù)處理需求，在平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)、知識(shí)、資源、能力、服務(wù)、過(guò)程和任務(wù)等資源和能力的共享、協(xié)作和交易，平臺(tái)的服務(wù)內(nèi)容是大數(shù)據(jù)知識(shí)服務(wù)全生命周期，服務(wù)對(duì)象是信息服務(wù)行業(yè)的上下游知識(shí)服務(wù)產(chǎn)業(yè)鏈。

構(gòu)建大數(shù)據(jù)知識(shí)處理框架主要是將其作為一種研究方法或是一種服務(wù)工具，而不是把平臺(tái)構(gòu)建當(dāng)成研究目標(biāo)。而作為一種研究方法或工具，大數(shù)據(jù)的知識(shí)處理與數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、個(gè)性化搜索等人工智能方法有著不可分割的聯(lián)系，也與物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)相輔相成，同時(shí)具有不同于統(tǒng)計(jì)學(xué)、人工智能方法和信息技術(shù)的本質(zhì)內(nèi)涵、典型特征及運(yùn)行機(jī)理。

大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)的開(kāi)發(fā)、實(shí)施和應(yīng)用是一項(xiàng)復(fù)雜的系統(tǒng)工程，涉及諸多亟待解決的關(guān)鍵技術(shù)。結(jié)合大數(shù)據(jù)知識(shí)服務(wù)模式的內(nèi)涵、典型特征、運(yùn)行機(jī)理和概念模型，本文提出了一種警用大數(shù)據(jù)知識(shí)處理框架，如圖3所示，主要描述了大數(shù)據(jù)知識(shí)處理框架形成過(guò)程，以及構(gòu)建過(guò)程中所涉及的關(guān)鍵技術(shù)，共分5層。

圖3　警用知識(shí)處理框架

數(shù)據(jù)來(lái)源層：提供大數(shù)據(jù)知識(shí)處理全生命周期管理過(guò)程中所涉及的各類大數(shù)據(jù)來(lái)源，如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和流數(shù)據(jù)。其中，傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)將成為知識(shí)處理領(lǐng)域未來(lái)大數(shù)據(jù)的幾個(gè)主要來(lái)源。

數(shù)據(jù)存儲(chǔ)層：主要包括數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)、知識(shí)庫(kù)，實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)的智能化清洗、整合、主題抽取等處理，從而為大數(shù)據(jù)知識(shí)處理平臺(tái)對(duì)數(shù)據(jù)的智能化管理提供支持。

數(shù)據(jù)加工層：大數(shù)據(jù)知識(shí)處理系統(tǒng)的核心，包括數(shù)據(jù)挖掘、分類與聚類等功能。

業(yè)務(wù)應(yīng)用層：結(jié)合用戶的大數(shù)據(jù)處理需求及數(shù)據(jù)特征，提供各類大數(shù)據(jù)知識(shí)需求的發(fā)布、大數(shù)據(jù)知識(shí)處理過(guò)程的交互等。

前端展示層：是數(shù)據(jù)可視化過(guò)程，主要是利用圖形、圖像處理、計(jì)算機(jī)視覺(jué)，以及用戶界面，通過(guò)表達(dá)、建模，以及對(duì)立體、表面、屬性和動(dòng)畫的顯示，對(duì)數(shù)據(jù)加以解釋。

警用信息經(jīng)過(guò)大數(shù)據(jù)知識(shí)處理后，進(jìn)入前端展示層，圖4顯示了“用戶畫像”警用大數(shù)據(jù)知識(shí)處理的結(jié)果。

3　結(jié)束語(yǔ)

綜上所述，發(fā)展迅猛的大數(shù)據(jù)分析、處理技術(shù)，可以為公安機(jī)關(guān)信息資源開(kāi)發(fā)提供技術(shù)支持，促進(jìn)情報(bào)分析能力的提升。目前，公安機(jī)關(guān)基本上是基于傳統(tǒng)“小數(shù)據(jù)”來(lái)開(kāi)展公安情報(bào)工作的，大數(shù)據(jù)尚未進(jìn)入公安情報(bào)工作視野，制約了公安情報(bào)工作的發(fā)展。公安機(jī)關(guān)應(yīng)順應(yīng)大數(shù)據(jù)發(fā)展趨勢(shì)，提高大數(shù)據(jù)獲取、處理及分析能力，加強(qiáng)大數(shù)據(jù)在公安工作中的應(yīng)用，增強(qiáng)從大數(shù)據(jù)中挖掘價(jià)值的能力。

1公安信息通信網(wǎng)邊界接入平臺(tái)［EB/OL］.［2014-09-11］http://www.unimassystem.com/cshow/id-1.html

2平湖公安［EB/OL］.http://pinghu.jxgaj.gov.cn/

3孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)［J］.計(jì)算機(jī)研究與發(fā)展，2013，50（1）∶ 146～169

4彭加輝.大數(shù)據(jù)∶開(kāi)啟公安情報(bào)工作新時(shí)代［J］.公安研究，2014，（231）∶ 77～78

圖4　警用大數(shù)據(jù)分析結(jié)果

1009-8119（2016）10（1）-0063-03