面向公安大數(shù)據(jù)的特征搜索原型系統(tǒng)設(shè)計

廣州市公安局　呂益民

北京仿真中心　湛浩旻　馬　川

北方工業(yè)大學(xué)　戴　瀾

面向公安大數(shù)據(jù)的特征搜索原型系統(tǒng)設(shè)計

廣州市公安局呂益民

北京仿真中心湛浩旻馬川

北方工業(yè)大學(xué)戴瀾

本文對大數(shù)據(jù)應(yīng)用的發(fā)展現(xiàn)狀和廣州公安視頻數(shù)據(jù)進行分析，發(fā)現(xiàn)在進行特征搜索時，主要是通過人工手段，并且在遇到模糊圖像時無法人工辨別，造成特征搜索的誤判斷。針對此問題，本文從公安大數(shù)據(jù)入手，使用圖像超分算法、并行處理技術(shù)以及數(shù)據(jù)倉庫技術(shù)，完成了面向公安大數(shù)據(jù)的特征搜索原型系統(tǒng)設(shè)計。該原型系統(tǒng)設(shè)計能夠滿足日常特征搜索的環(huán)境假定，并對系統(tǒng)的實際建設(shè)起到規(guī)劃和指導(dǎo)作用。

公安大數(shù)據(jù)；特征搜索；原型系統(tǒng)；Hadoop；圖像超分辨率

1.引言

美國互聯(lián)網(wǎng)數(shù)據(jù)中心研究指出，近年來互聯(lián)網(wǎng)數(shù)據(jù)以年增長50%的速度快速增長，并且目前世界上90%以上的數(shù)據(jù)是近幾年才產(chǎn)生的，數(shù)據(jù)增長呈現(xiàn)爆照行增長趨勢，面對如此海量數(shù)據(jù)，如何提高數(shù)據(jù)分析和處理能力極為迫切。在國家“十三五”規(guī)劃綱要中明確提出全面實施促進大數(shù)據(jù)發(fā)展行動，把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源，加快推動數(shù)據(jù)資源共享開發(fā)和開發(fā)利用，助力產(chǎn)業(yè)轉(zhuǎn)型升級和社會治理創(chuàng)新。

作為大數(shù)據(jù)應(yīng)用的重點領(lǐng)域，大數(shù)據(jù)在公安系統(tǒng)的審計［1］、情報［2，3］以及警務(wù)平臺［4］方面都有應(yīng)用，公安大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用，對社會穩(wěn)定和治安。公安業(yè)務(wù)領(lǐng)域中治安系統(tǒng)、智能交通視頻數(shù)據(jù)呈爆發(fā)性增長，具有非結(jié)構(gòu)化等大數(shù)據(jù)典型特征，也是政府部門重要的信息資源。各類視頻監(jiān)控系統(tǒng)仍在進行補充建設(shè)及高清化處理能力，預(yù)計未來廣州市公安業(yè)務(wù)領(lǐng)域每天將產(chǎn)生PB規(guī)模的視頻及圖像數(shù)據(jù)。面對海量的公安業(yè)務(wù)數(shù)據(jù)，面臨以下難題：⑴從海量數(shù)據(jù)中獲取支持公安業(yè)務(wù)的關(guān)聯(lián)特征；⑵對公安視頻類大數(shù)據(jù)進行高效組織、智能分析處理；⑶如何應(yīng)用大數(shù)據(jù)輔助公安人員快速開展治安防控、警情研判及指揮決策；同時，如何發(fā)掘公安信息資源價值，提高公安大數(shù)據(jù)的利用率也是當(dāng)前公安大數(shù)據(jù)應(yīng)用關(guān)注的重點問題。

目前公安大數(shù)據(jù)處理方式采用的方式一般是人工比對圖像特征，工作量大，容易產(chǎn)生視覺疲勞，遺漏數(shù)據(jù)；對于清晰度不高等圖像質(zhì)量差的影響無法進行比對；數(shù)據(jù)搜索效率不高。鑒于此，針對公安領(lǐng)域視頻、圖像數(shù)據(jù)規(guī)模大、數(shù)據(jù)關(guān)聯(lián)性強等特點，亟需構(gòu)建公安大數(shù)據(jù)的特征搜索系統(tǒng)。本課題組從廣州市公安大數(shù)據(jù)入手，采用圖像超分算法，結(jié)合數(shù)據(jù)倉庫技術(shù)以及面向多數(shù)據(jù)類型的Hadoop和MapReduce的并行處理技術(shù)，完成了面向公安大數(shù)據(jù)的特征搜索原型系統(tǒng)設(shè)計。

2.相關(guān)技術(shù)

2.1大數(shù)據(jù)

大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合［5］。業(yè)界將其歸納為4個“V”——Volum、Variety、Value、Velocity，即具有4個典型特征：第一，數(shù)據(jù)大體量巨大，從TB級別躍升到PB級別；第二，數(shù)據(jù)類型繁多，網(wǎng)絡(luò)日志、視頻、圖片、位置信息等等；第三，價值密度低，以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用數(shù)據(jù)只有幾秒；第四，速度快，俗稱“秒級定律”，即速度要求很高，一般要在秒級時間給出分析結(jié)果，時間太長就失去價值［6］。目前大數(shù)據(jù)的研究和應(yīng)用已成為各行業(yè)數(shù)據(jù)研究的重點。

2.2Hadoop和MapReduce

大量的并行處理并非新概念，但隨著低沉本的中心處理器和個人電腦出現(xiàn)后變得可行。這種方式之前無法廣泛運用是因為技術(shù)實現(xiàn)的局限性。針對集中處理模式，設(shè)計分布式的算法和解決方案是困難的。然而，“搜索”將在這個問題拋向了分布式處理。例如Google、Facebook以及Yahoo之類的社會化媒體組織所要面對的互聯(lián)網(wǎng)數(shù)據(jù)量需要使用分布式文件系統(tǒng)（例如Hadoop），可以將跨物理設(shè)備的數(shù)據(jù)識別為一個數(shù)據(jù)集，同時仍知道數(shù)據(jù)所在的位置以便于分發(fā)處理。

Hadoop和MapReduce解決方案也需要將處理的請求分解，然后重組各個結(jié)果。這些分解和合并步驟由MapReduce完成，MapReduce也可以歸類為業(yè)務(wù)流程甚至數(shù)據(jù)整合工具。由某個程序員定義需要在所有分布式數(shù)據(jù)服務(wù)器上執(zhí)行哪個功能，MapReduce擅長執(zhí)行功能的分配以及結(jié)構(gòu)的配合。Hadoop和MapReduce通常以批處理模式來實現(xiàn)。實施搜索和分析是基于預(yù)處理結(jié)構(gòu)集進行的，而不是絕大的原始數(shù)據(jù)。經(jīng)常使用Hadoop文件架構(gòu)的是網(wǎng)絡(luò)日志和網(wǎng)絡(luò)數(shù)據(jù)，這些被認(rèn)為是非機構(gòu)化的數(shù)據(jù)。

2.3超分辨率重建

目前，數(shù)字圖像采集技術(shù)已被廣泛應(yīng)用于公安、軍事與醫(yī)療等領(lǐng)域。由于價格成本因素限制，獲取的圖片質(zhì)量與分辨率較低，往往不能滿足實際的要求。超分辨率重建就是利用一系列相似的低分辨的圖像，經(jīng)過超分辨率技術(shù)的處理，可以得到一幅分辨率較高、包含信息較多的圖像的過程。采用超分辨率技術(shù)可以在不更換原有設(shè)備的前提下，提高圖像的分辨率、改善圖像的質(zhì)量。超分辨率技術(shù)用途較為廣泛。在數(shù)字電視領(lǐng)域，可以利用超分辨率重建技術(shù)將數(shù)字電視信號轉(zhuǎn)化為與高清晰度電視接收機相匹配的信號，提高觀眾的體驗。在醫(yī)療領(lǐng)域，提高醫(yī)學(xué)圖像的分辨率，可以幫助醫(yī)生做出正確的診斷。在軍事、氣象領(lǐng)域，通過偵查衛(wèi)星與氣象衛(wèi)星獲得圖片的分辨率通常難以達(dá)到人們期望的分辨率級別，使用超分辨率技術(shù)，通過對觀測結(jié)果做后期處理，可以更好地識別目標(biāo)，更好地服務(wù)于軍事安全和日常生活。

超分辨率重建的核心思想就是用時間帶寬（獲取同一場景的多幀圖像序列）換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。超分辨率重建通過融合多幀相似的低分辨圖像提高分辨率。多幀的低分辨率圖像是對同一場景偏移一定角度或位置采樣的結(jié)果。對超分辨率的理解，首先從圖像的成像模型去考察。假設(shè)原始圖像可以看作高于奈奎斯特頻率采樣的結(jié)果，得到的低分辨率圖像，低分辨圖像是高分辨率經(jīng)過降采樣，模糊，變形后加上噪聲的影響的結(jié)果，這樣超分辨率重建可以總結(jié)為圖像復(fù)原模型，因此超分辨率重建本質(zhì)上是圖像復(fù)原問題。

2.4ODDS數(shù)據(jù)搜索引擎

搜索引擎（Search Engine）是指根據(jù)一定的策略、運用特定的計算機程序從本地或異地網(wǎng)絡(luò)上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務(wù)，將用戶建設(shè)相關(guān)的信息展示給用戶的系統(tǒng)。搜索引擎一般包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。ODDS搜索是當(dāng)前新興起的搜索產(chǎn)品，具備廣泛搜索、絕對匹配、結(jié)果中搜索、拼音搜索和邏輯所有等功能。此外，還具備按權(quán)限搜索、結(jié)果評估、基于Web的管理界面、分布式處理能力、智能搜索框以及分布式處理能力。

3.原型系統(tǒng)設(shè)計

3.1架構(gòu)設(shè)計

面向公安大數(shù)據(jù)的的特征搜索演示系統(tǒng)采用大數(shù)據(jù)技術(shù)、圖像超分技術(shù)以及數(shù)據(jù)倉庫技術(shù)，以公安大數(shù)據(jù)為核心開展案件偵破輔助工作，并在此基礎(chǔ)之上運用有關(guān)數(shù)據(jù)挖掘技術(shù)實現(xiàn)數(shù)據(jù)分析工作。該演示系統(tǒng)由基礎(chǔ)平臺層、數(shù)據(jù)支撐層、服務(wù)支撐層以及數(shù)據(jù)應(yīng)用層四部分組成，如圖1所示。

圖1　公安大數(shù)據(jù)特征搜索演示系統(tǒng)設(shè)計

基礎(chǔ)平臺層：系統(tǒng)賴以運行的基礎(chǔ)軟硬件平臺，包括網(wǎng)絡(luò)資源，硬件資源，中間件，搜索引擎等，為結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)的運行提供支撐。

數(shù)據(jù)支撐層：包括數(shù)據(jù)倉庫，將視頻圖像數(shù)據(jù)利用超分技術(shù)進行數(shù)據(jù)預(yù)處理，構(gòu)建數(shù)據(jù)倉庫和數(shù)據(jù)集市，為決策支持提供數(shù)據(jù)分析。

服務(wù)支撐層：為系統(tǒng)提供統(tǒng)一的數(shù)據(jù)分析功能，功能包括關(guān)聯(lián)分析、多維分析和軌跡分析等，并提供數(shù)據(jù)交換和查詢接口。

數(shù)據(jù)應(yīng)用層：主要提供面向公安大數(shù)據(jù)有關(guān)特征搜索的各項應(yīng)用，人員活動軌跡繪制，車輛行駛軌跡，以及輔助案件偵破的決策支持。

總體架構(gòu)設(shè)計依照SOA的架構(gòu)設(shè)計思想，以服務(wù)為核心，提供標(biāo)準(zhǔn)化的服務(wù)接口、服務(wù)組件和服務(wù)訪問方式，以重用為原則，盡可能的實現(xiàn)服務(wù)在整個大數(shù)據(jù)平臺所承載的各類應(yīng)用中的重用；面向部門和個體提供不同的數(shù)據(jù)服務(wù)需求。

3.2數(shù)據(jù)倉庫設(shè)計

3.2.1數(shù)據(jù)分類與處理

根據(jù)數(shù)據(jù)來源對數(shù)據(jù)進行分類，將來源于關(guān)系數(shù)據(jù)庫的數(shù)據(jù)和各種視頻數(shù)據(jù)進行分開處理。對于模糊的視頻圖像數(shù)據(jù)還需要額外進行超分處理。

3.2.2數(shù)據(jù)抽取

將出入境系統(tǒng)、普通人員管理系統(tǒng)、特殊人員管理系統(tǒng)、賓館住宿系統(tǒng)、卡口系統(tǒng)、證照管理系統(tǒng)以及車輛管理系統(tǒng)等應(yīng)用系統(tǒng)的數(shù)據(jù)，通過ETL工具抽取到數(shù)據(jù)倉庫中，其中，在數(shù)據(jù)抽取過程中，為了提高數(shù)據(jù)質(zhì)量，會進行大量的數(shù)據(jù)清洗和轉(zhuǎn)換工作。

3.2.3數(shù)據(jù)建模

根據(jù)不同的主題對數(shù)據(jù)進行分類建模，根據(jù)應(yīng)用將數(shù)據(jù)倉庫的分為各類票務(wù)主題數(shù)據(jù)、普通人員主題數(shù)據(jù)、特殊人員主題數(shù)據(jù)、賓館住宿主題數(shù)據(jù)等多個主題數(shù)據(jù)。數(shù)據(jù)建模如圖2所示。

圖2　數(shù)據(jù)倉庫設(shè)計

3.3數(shù)據(jù)查詢設(shè)計

3.3.1結(jié)構(gòu)化數(shù)據(jù)查詢

⑴主鍵查詢

大數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)量巨大，不能用關(guān)系型數(shù)據(jù)庫的方式隨意做二級索引，表關(guān)聯(lián)。大數(shù)據(jù)最常用的方式是主鍵查詢。對于千億規(guī)模的大表，主鍵點查詢應(yīng)該是豪秒級響應(yīng)。

⑵主鍵掃描查詢

主鍵也可以批量查詢，就是主鍵掃描查詢。給出一個主鍵的范圍，可以迅速的查詢到結(jié)果。對于千億規(guī)模的大表，主鍵掃描查詢應(yīng)該是豪秒級響應(yīng)。

⑶組合條件查詢

對于不是太常用的非主鍵查詢，可以通過兼容SQL語法的方式來查詢。查詢效率不是太高，響應(yīng)時間為幾十分鐘，甚至幾個小時。

3.3.2結(jié)構(gòu)化數(shù)據(jù)查詢

⑴支持分布式搜索引擎

輸入服務(wù)器可以根據(jù)輸入壓力動態(tài)增加和刪除，也可以在線維護故障服務(wù)器。

⑵自動鏡像查詢服務(wù)器

當(dāng)查詢和分析壓力很大的情況下，增加鏡像節(jié)點，系統(tǒng)可以自動的擴展性能。

⑶支持各種搜索方式

搜索方式包括關(guān)鍵詞搜索、按時間段搜索、自動摘要、自動分類、自定義相關(guān)度。

⑷支持搜索框智能

關(guān)鍵詞推薦、同義詞和替代詞搜索、拼音搜索、多種搜索框分詞方式、人工排名。

3.3.3分析算法

⑴關(guān)聯(lián)規(guī)則發(fā)現(xiàn)

運用FP-Growth算法，根據(jù)一批事件數(shù)據(jù)發(fā)現(xiàn)其中目標(biāo)的關(guān)聯(lián)關(guān)系，或者根據(jù)歷史數(shù)據(jù)發(fā)現(xiàn)一個事件發(fā)現(xiàn)后另外一個事件發(fā)生的概率。

⑵相似度關(guān)聯(lián)分析

通過向量相似度計算，實時發(fā)現(xiàn)相似數(shù)據(jù)，經(jīng)常應(yīng)用在語義去重等方面。

⑶自學(xué)習(xí)分類系統(tǒng)

運用Bayes分類算法，通過已知樣本集確定分類規(guī)則，建立實時分類引擎，并且不斷的自動優(yōu)化樣本集，分類引擎會越來越精確。在數(shù)據(jù)語義分析方面有非常多的應(yīng)用。

⑷用戶行為分析系統(tǒng)

通過Taste推薦引擎，運用預(yù)先定義的用戶行為模型，在海量數(shù)據(jù)中找出符合行為模型的信息。

4.特征搜索演示

基于已知情報信息和視頻大數(shù)據(jù)，搜索和發(fā)現(xiàn)案件嫌疑人通過在案發(fā)前后時間的行為軌跡和線索，輔助提高民警借助大數(shù)據(jù)平臺的辦案能力。

4.1環(huán)境假定

⑴系統(tǒng)。卡口系統(tǒng)，嫌疑人管理系統(tǒng)，人員管理系統(tǒng)，出入境管理系統(tǒng)，車輛管理系統(tǒng)；

⑵設(shè)備，卡口攝像頭、治安攝像頭逃逸車輛；⑶事件，抓捕逃逸車輛的司機。

4.2事件假定

⑴逃逸車輛行駛路線被監(jiān)控攝像頭采集到；

⑵可以根據(jù)監(jiān)控信息反應(yīng)逃逸車輛的行駛軌跡；

⑶監(jiān)控攝像頭采集到了不同角度、不同清晰程度的逃逸車輛和車輛乘客的圖像信息；

⑷可以根據(jù)車上乘客的圖像信息在嫌疑人管理系統(tǒng)或人員管理系統(tǒng)中找到體貌體征類似的嫌疑人群。

4.3應(yīng)用技術(shù)

數(shù)據(jù)檢索，圖像比對，圖像超分辨率，機器學(xué)習(xí)、系統(tǒng)辨識和訓(xùn)練模型理論，實現(xiàn)特征的快速定位。

4.4應(yīng)用場景

⑴辦案人員在搜索框中輸嫌疑車輛的車牌號（結(jié)構(gòu)數(shù)據(jù)）、車形特征（非結(jié)構(gòu)化），檢索出該車輛在一段時間內(nèi)出現(xiàn)的地點以及該車輛的卡口圖像信息（按清晰度排列）；

⑵辦案人員通過搜索得到了嫌疑車輛的圖像資料集合，同時找到了可能是該車輛的正面圖像，辦案人員查看該圖像時，系統(tǒng)將默認(rèn)對圖像資料進行超分辨率處理；

⑶為辦案人員提供更清晰的車上人員圖像，辦案人員截取車上人員圖像并在搜索器中通過該圖像搜索并鎖定嫌疑人范圍。

5.結(jié)論

本文提出面向公安大數(shù)據(jù)的特征搜索原型系統(tǒng)設(shè)計，有利于特征提取、人車分離、特征比對、內(nèi)容檢索等功能，提高業(yè)務(wù)人員的工作效率；為案件流程管理、物證分析等提供有效手段，從日常事件管理到立案、偵查取證、分析案件、確定偵查方向、制定偵查方案、認(rèn)定犯罪嫌疑人、破案，對這一系列業(yè)務(wù)流程及業(yè)務(wù)中所產(chǎn)生的相關(guān)物證、信息進行管理。將圖像數(shù)據(jù)的超分算法、數(shù)據(jù)搜索引擎工具和數(shù)據(jù)倉庫技術(shù)進行了有機集合，設(shè)計出的演示系統(tǒng)針對性強，可靠性高。

下一步工作，依據(jù)公安實際問題的處理，構(gòu)建面向公安大數(shù)據(jù)的特征搜索演示驗證系統(tǒng)，經(jīng)過演化個改進，最終形成一個能夠真正使用的應(yīng)用系統(tǒng)，大大提高案件偵破效率和成功率。

［1］張永春，等.大數(shù)據(jù)背景下公安審計增加組織價值研究——以江蘇省公安審計部門為例［J］.中國內(nèi)部審計，2015（03）.

［2］李建輝，陳俊旭與單一唯.大數(shù)據(jù)對公安情報流程影響研究［J］.湖北警官學(xué)院學(xué)報，2015（03）.

［3］李毅，劉興川與孫亭.基于大數(shù)據(jù)的公安情報分析系統(tǒng)研究.2014第二屆中國指揮控制大會，2014.

［4］劉軍與張暉.公安大數(shù)據(jù)技術(shù)應(yīng)用研究——以山東公安警務(wù)云平臺建設(shè)為例［J］.警察技術(shù)，2015（03）.

［5］James Manyika，Michael Chui.Big data： The next frontier for innovation［J］.competition，and productivity.2011.

［6］維克托·邁爾-舍恩伯格，肯尼思·庫克耶，著.盛楊燕，周濤，譯.大數(shù)據(jù)時代：生活、工作與思維的大變革［M］.浙江人民出版社，2012.1.