面向公共安全的多源異構(gòu)數(shù)據(jù)結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究

夏 明，劉川杰，王 奇

（1.四川九洲投資控股集團(tuán)有限公司，四川 綿陽 621000；2.成都九洲電子信息系統(tǒng)股份有限公司，四川 成都 610041）

1 現(xiàn)狀趨勢分析

習(xí)近平總書記在全國公安工作會(huì)議上指出，要把人工智能作為推動(dòng)公安工作創(chuàng)新發(fā)展的大引擎、培育戰(zhàn)斗力生成新的增長點(diǎn)，全面助推公安工作質(zhì)量變革、效率變革、動(dòng)力變革[1]。近年來，部、省、市、縣四級公安機(jī)關(guān)，網(wǎng)安、技偵、刑偵、情報(bào)、科信等各個(gè)警種，都根據(jù)業(yè)務(wù)需要和實(shí)戰(zhàn)需求有針對性地開展了大數(shù)據(jù)應(yīng)用平臺(tái)建設(shè)，大數(shù)據(jù)平臺(tái)已發(fā)展成為全國規(guī)模最大、覆蓋最廣、應(yīng)用最多的行業(yè)應(yīng)用系統(tǒng)。在公安部警務(wù)信息化總體部署中，也要求各地加快推進(jìn)大數(shù)據(jù)應(yīng)用系統(tǒng)建設(shè)，提升警務(wù)大數(shù)據(jù)匯集融合力度，推進(jìn)公安機(jī)關(guān)信息化作戰(zhàn)的能力和水平。

隨著我國公安信息化的深入發(fā)展，全國多地市州已開始進(jìn)行“智慧公安/智慧警務(wù)”探索，以天網(wǎng)視頻監(jiān)控、交通出行、網(wǎng)絡(luò)社交、通信等為信息來源，開展調(diào)度指揮信息化系統(tǒng)建設(shè)工作。但在實(shí)際部署過程中，由于收集信息中存在大量音、視、圖、文等非結(jié)構(gòu)化信息，難以對決策指揮調(diào)度提供結(jié)構(gòu)化信息支撐。為此，提出以人工智能處理技術(shù)為抓手、以實(shí)戰(zhàn)應(yīng)用服務(wù)為目標(biāo)，推進(jìn)公安行業(yè)多源異構(gòu)數(shù)據(jù)的智慧處理水平，提升公安業(yè)務(wù)科技服務(wù)水平，

以數(shù)據(jù)智能分析為核心有力支撐公安行業(yè)的業(yè)務(wù)智能化轉(zhuǎn)型。

2 多源異構(gòu)數(shù)據(jù)結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究

2.1 圖像信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究

為實(shí)現(xiàn)人、車、物等目標(biāo)對象的檢測識(shí)別，實(shí)現(xiàn)人員管控、區(qū)域活動(dòng)安保、重要通道管控等功能，本文以重點(diǎn)監(jiān)控人員、車輛、危險(xiǎn)物品等圖片信息為研究對象，開展基于深度學(xué)習(xí)的圖像信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究[2-5]。

（1）基于Yolov5深度神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)檢測技術(shù)。針對警情預(yù)兆識(shí)別、多圈層安保預(yù)警、重大活動(dòng)安保、群體性事件預(yù)警等應(yīng)用場景，提出采用Yolov5深度神經(jīng)網(wǎng)絡(luò)模型，以采集的行人場景圖像數(shù)據(jù)作為輸入，智能分析采集圖像中所包含的具體事物，并將這些事物的所屬類別以及在圖像中的位置進(jìn)行標(biāo)注，進(jìn)而實(shí)現(xiàn)目標(biāo)對象檢測。

（2）基于FaceNet 人臉識(shí)別深度神經(jīng)網(wǎng)絡(luò)模型的行人身份識(shí)別技術(shù)。在重點(diǎn)人員區(qū)域?qū)ｎ}圖生成、重點(diǎn)人物管控預(yù)警、重點(diǎn)群體動(dòng)向關(guān)注等應(yīng)用場景中，為實(shí)現(xiàn)人員異常軌跡查詢、重大活動(dòng)安保、多維度身份布控等功能，提供精準(zhǔn)身份識(shí)別和驗(yàn)證能力，利用FaceNet 深度神經(jīng)網(wǎng)絡(luò)模型對采集圖像中的人臉信息進(jìn)行識(shí)別，并將識(shí)別到的人臉特征與數(shù)據(jù)庫中存儲(chǔ)的人臉特征進(jìn)行對比分析，從而判斷出該人員的身份信息。

（3）基于ResNet18神經(jīng)網(wǎng)絡(luò)模型的車輛全特征識(shí)別技術(shù)。提出基于ResNet18神經(jīng)網(wǎng)絡(luò)模型，通過識(shí)別引擎檢測到車輛，并進(jìn)行車身顏色、車型、品牌、型號、車牌號等全特征識(shí)別，實(shí)現(xiàn)車輛圖像智能分析，為智能搜車、按車型布控、高危車輛預(yù)警研判等業(yè)務(wù)場景實(shí)現(xiàn)提供車輛全特征識(shí)別能力。

2.2 視頻信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究

面向區(qū)域安保、群體性事件預(yù)警處置等應(yīng)用場景，針對大規(guī)模群體聚集等復(fù)雜場景下視頻監(jiān)控信息，為實(shí)現(xiàn)多圈層安保預(yù)警、人員異常軌跡查詢、重點(diǎn)群體動(dòng)向關(guān)注等功能，提出以智慧視頻分析為基礎(chǔ)，重點(diǎn)開展視頻信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究[2-5]。

（1）基于RecurrentYolo 模型的行人單鏡追蹤技術(shù)。為實(shí)時(shí)獲取目標(biāo)人物的移動(dòng)軌跡信息，項(xiàng)目利用長短時(shí)記憶（LSTM）將YOLO 深度卷積神經(jīng)網(wǎng)絡(luò)擴(kuò)展到時(shí)空域，利用回歸直接預(yù)測卷積層和遞歸單元的跟蹤位置；基于使用YOLO 檢測器的跟蹤檢測方法，以45幀/秒的速度實(shí)時(shí)處理圖像，并收集豐富和健壯的視覺特征，最終輸出精準(zhǔn)的目標(biāo)位置信息，實(shí)現(xiàn)人員異常軌跡查詢、重點(diǎn)人員區(qū)域?qū)ｎ}生成等功能。

（2）基于AMOC 神經(jīng)網(wǎng)絡(luò)模型的行人跨鏡追蹤技術(shù)。利用AMOC 神經(jīng)網(wǎng)絡(luò)模型，提取和采集視頻序列圖像的特征，同時(shí)提取運(yùn)動(dòng)光流的運(yùn)動(dòng)特征，采用分類損失和對比損失來進(jìn)行模型訓(xùn)練，通過融合運(yùn)動(dòng)信息的序列圖像特征來提高行人跨境追蹤的準(zhǔn)確度，便于對特定人物進(jìn)行跟蹤布控。

2.3 文本信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究

對采集到的聲音、文本等警務(wù)數(shù)據(jù)信息，利用深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行分析，通過文字識(shí)別提取其中的事件信息，重點(diǎn)開展文本信息結(jié)構(gòu)化提取關(guān)鍵技術(shù)研究[2-5]，實(shí)現(xiàn)警情預(yù)兆識(shí)別、預(yù)警預(yù)測等場景應(yīng)用。

（1）基于EAST 深度神經(jīng)模型的自然場景文字識(shí)別技術(shù)。該方法結(jié)合上下文的圖像編碼方法，利用CNN從底層像素中獲得高層視覺特征，并利用CNN 局部感知特性建立起高層特征與底層像素的位置關(guān)系，然后捕獲圖像全局信息，并基于ARSG 的文字解碼方法，同時(shí)完成字符定位和文字識(shí)別功能，為平臺(tái)多維度身份布控、無感盤查預(yù)警等業(yè)務(wù)場景提供技術(shù)支撐。

（2）基于TextRNN+Attention 神經(jīng)網(wǎng)絡(luò)模型的的文本信息結(jié)構(gòu)化表達(dá)與理解技術(shù)。文本信息結(jié)構(gòu)化以公安信息學(xué)為基礎(chǔ)，以自然語言方式錄入計(jì)算機(jī)不能識(shí)別的文字、圖案等安保數(shù)據(jù)，根據(jù)公安信息學(xué)環(huán)境，使用自然語言處理、機(jī)器學(xué)習(xí)等技術(shù)，轉(zhuǎn)化為可存儲(chǔ)、查詢、統(tǒng)計(jì)、分析和挖掘的數(shù)據(jù)結(jié)構(gòu)。采用TextRNN+Attention神經(jīng)網(wǎng)絡(luò)模型同時(shí)讀取非結(jié)構(gòu)化圖片文字與結(jié)構(gòu)化文本文字作為輸入，同時(shí)完成非結(jié)構(gòu)化圖片文字的結(jié)構(gòu)化轉(zhuǎn)換，以及對結(jié)構(gòu)化文本文字進(jìn)行智能化地語義理解，為線索分析、群體性事件預(yù)警等功能實(shí)現(xiàn)提供語義理解和意圖分析支持。

3 行業(yè)應(yīng)用分析

圍繞公安行業(yè)應(yīng)用大數(shù)據(jù)元素的流動(dòng)，通過對源數(shù)據(jù)，特征數(shù)據(jù)和決策數(shù)據(jù)進(jìn)行多模態(tài)信息融合、結(jié)構(gòu)化提取、分析處理，增加數(shù)據(jù)分析維度，提升算法模型的實(shí)戰(zhàn)性和準(zhǔn)確性。本文提出多源異構(gòu)數(shù)據(jù)智慧驅(qū)動(dòng)的平臺(tái)架構(gòu)[6-8]，為公安警情預(yù)警、人員管控、風(fēng)險(xiǎn)感知等業(yè)務(wù)提供數(shù)據(jù)支撐。

首先利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與多級特征，智能化提取非結(jié)構(gòu)化數(shù)據(jù)并識(shí)別、輸出、轉(zhuǎn)換成能被計(jì)算機(jī)認(rèn)知的結(jié)構(gòu)化信息，實(shí)現(xiàn)目標(biāo)對象的精準(zhǔn)檢測識(shí)別與定位：針對圖像非結(jié)構(gòu)化信息，采用FaceNet 深度神經(jīng)網(wǎng)絡(luò)，將非結(jié)構(gòu)化的人臉特征信息轉(zhuǎn)換為結(jié)構(gòu)化的數(shù)據(jù)結(jié)構(gòu)，精準(zhǔn)識(shí)別人臉面部特征，并將識(shí)別的特征與數(shù)據(jù)庫進(jìn)行對比，確認(rèn)其身份信息；結(jié)合ResNet18 與Yolov3 神經(jīng)網(wǎng)絡(luò)模型，智能識(shí)別非結(jié)構(gòu)化車輛圖像，實(shí)現(xiàn)基于圖像信息的車輛全特征識(shí)別。采用RecurrentYOLO 深度神經(jīng)網(wǎng)絡(luò)模型，利用最新的LSTM 構(gòu)造，解決非結(jié)構(gòu)化流式數(shù)據(jù)的特征提取、分析與識(shí)別問題。采用EAST 深度神經(jīng)網(wǎng)絡(luò)模型，通過建立低層文字特征與高層文字特征之間的映射關(guān)系，實(shí)現(xiàn)在自然環(huán)境下精準(zhǔn)的文字識(shí)別功能，將非結(jié)構(gòu)化文字信息轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)；采用TextRNN+Attention 的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)，實(shí)現(xiàn)對結(jié)構(gòu)化文本信息的智能化分類與理解，解決非結(jié)構(gòu)化文字信息無法被計(jì)算機(jī)錄入、存儲(chǔ)于利用的問題。

通過驗(yàn)證可實(shí)現(xiàn)天網(wǎng)覆蓋情況下，活動(dòng)頻繁的前科人員、重點(diǎn)人員、關(guān)注人員、車輛等目標(biāo)任務(wù)的檢測、識(shí)別和追蹤，實(shí)現(xiàn)了活動(dòng)區(qū)域、重點(diǎn)防范區(qū)域的研判、提前預(yù)警、重點(diǎn)地段巡邏等相關(guān)防范工作，覆蓋地級市的全省地域。同時(shí)，通過實(shí)時(shí)采集、存儲(chǔ)和分析音、視、圖、文等海量多源異構(gòu)信息，自動(dòng)抓拍、自動(dòng)識(shí)別、自動(dòng)比對、自動(dòng)報(bào)警、實(shí)時(shí)提醒、自動(dòng)存儲(chǔ)、自動(dòng)歸檔等大量的自動(dòng)和實(shí)時(shí)功能，實(shí)現(xiàn)了人、物的24小時(shí)不間斷監(jiān)測、監(jiān)控和預(yù)判。著實(shí)提高了民警在案件偵察、找人找物、治安管控、秩序維護(hù)等方面的工作效率，真正做到了為基層減負(fù)、減壓。

4 結(jié)束語

為解決面向公共安全、公安領(lǐng)域多源異構(gòu)數(shù)據(jù)結(jié)構(gòu)化提取問題，本文重點(diǎn)闡述了圖像、視頻和文字等多種非結(jié)構(gòu)化數(shù)據(jù)提取關(guān)鍵技術(shù)，并給出一個(gè)針對公安業(yè)務(wù)實(shí)戰(zhàn)應(yīng)用解決方案。依托大數(shù)據(jù)為基石、人工智能技術(shù)為手段，構(gòu)建城市公共安全大數(shù)據(jù)智慧驅(qū)動(dòng)平臺(tái)是解決城市公共安全問題的重要抓手。本文以深度神經(jīng)網(wǎng)絡(luò)、自然語言處理等人工智能技術(shù)，以數(shù)據(jù)智能驅(qū)動(dòng)為引擎融合公共安全場景應(yīng)用，為城市公共安全管理提供了技術(shù)支撐。