基于深度學(xué)習(xí)的以圖搜圖架構(gòu)及在公安圖偵中的應(yīng)用

姜少波 甘彤 商國軍

摘要 隨著智能視頻分析技術(shù)的不斷發(fā)展，圖像檢索技術(shù)在公安圖像偵查領(lǐng)域發(fā)揮著越來越重要的作用，傳統(tǒng)基于內(nèi)容的圖像檢索主要提取目標(biāo)的低級特征，易受環(huán)境干擾，導(dǎo)致復(fù)雜監(jiān)控場景的檢索準(zhǔn)確率低下，實戰(zhàn)效果不理想?；谏疃葘W(xué)習(xí)的以圖搜圖關(guān)注高層特征的抽象，能有效克服遮擋、光照、角度變化等因素的影響，應(yīng)用于圖像檢索具有一定的優(yōu)勢。本文主要介紹了基于深度學(xué)習(xí)的以圖搜圖架構(gòu)及在公安圖偵中的應(yīng)用。

【關(guān)鍵詞】深度學(xué)習(xí) 以圖搜圖 圖像偵查 應(yīng)用

1 基于深度學(xué)習(xí)的以圖搜圖

1.1 深度學(xué)習(xí)原理

深度學(xué)習(xí)的基本思想是通過有監(jiān)督或無監(jiān)督的方式學(xué)習(xí)層次化的特征表達，對目標(biāo)進行從底層到高層的描述，各層的特征不是利用人工工程來設(shè)計的，而是使用一種通用的學(xué)習(xí)過程從數(shù)據(jù)中學(xué)到的，含有隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)模型的訓(xùn)練過程是在大量樣本數(shù)據(jù)的基礎(chǔ)上進行的，采用反向傳播技術(shù)進行權(quán)值的迭代優(yōu)化。在視頻圖像檢測與識別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是主流的實現(xiàn)手段，通過設(shè)計出多層的人工神經(jīng)網(wǎng)絡(luò)進行目標(biāo)的特征提取和識別檢測，目前，基于深度學(xué)習(xí)技術(shù)在行入結(jié)構(gòu)化、車輛結(jié)構(gòu)化、人臉識別等方面取得了突破性的進步。

1.2 以圖搜圖架構(gòu)設(shè)計

基于深度學(xué)習(xí)的以圖搜圖架構(gòu)主要包括視頻檢索庫構(gòu)建和目標(biāo)檢索兩個組成部分。視頻檢索庫構(gòu)建采用深度學(xué)習(xí)方法將監(jiān)控視頻進行預(yù)處理，提取其中的目標(biāo)類型和深度特征;目標(biāo)檢索模塊通過提取待檢目標(biāo)的特征，并和視頻檢索庫中的特征進行相似度比對，按相似度高低展現(xiàn)檢索結(jié)果。其架構(gòu)如圖1所示。

架構(gòu)中的核心模塊主要包括目標(biāo)關(guān)鍵幀提取、目標(biāo)分類與特征提取、特征匹配等模塊。

1.2.1 目標(biāo)關(guān)鍵幀提取

目標(biāo)通常以一段連續(xù)的軌跡出現(xiàn)在監(jiān)控視頻畫面中，為了大大縮減后續(xù)處理的視頻幀數(shù)，提高整個視頻檢索庫構(gòu)建速度，需要對目標(biāo)進行檢測與跟蹤，提取目標(biāo)關(guān)鍵幀。關(guān)鍵幀的提取采用速度快、準(zhǔn)確性高的背景建模檢測和最大面積跟蹤法，并選取目標(biāo)在場景中出現(xiàn)面積最大時的幀作為關(guān)鍵幀。

1.2.2 目標(biāo)分類與特征提取

基于深度學(xué)習(xí)技術(shù)，對視頻關(guān)鍵幀進行目標(biāo)分類與特征提取，首先需要對深度模型進行訓(xùn)練。訓(xùn)練模型所使用的數(shù)據(jù)集來源于實際監(jiān)控視頻數(shù)據(jù)，涵蓋了白天、夜間、晴、陰、雨、霧等不同場景的多樣化數(shù)據(jù)，從而提高模型的泛化能力和準(zhǔn)確度。根據(jù)公安圖偵的實戰(zhàn)需求，主要訓(xùn)練了6個類別的目標(biāo)：行人、小汽車、電動車、中巴車、大巴車、卡車。使用訓(xùn)練后的模型對視頻關(guān)鍵幀中的目標(biāo)進行檢測分類，并提取相應(yīng)的深度特征構(gòu)建視頻檢索庫。

1.2. 3 特征匹配

目標(biāo)檢索時，需要將待檢圖片的深度特征與視頻檢索庫中的深度特征進行匹配，從而根據(jù)相似度高低展示檢索結(jié)果。由于深度特征具有表達能力強、維度低等特點，因此特征匹配的相似性采用歐幾里得距離進行度量，公式如下：

當(dāng)兩個目標(biāo)的特征向量相同時，S=100%，特征向量之間相差越大，相似度S越小。

2 以圖搜圖在圖偵中的應(yīng)用

圖像偵查關(guān)注的目標(biāo)主要為行人和車輛，因此，以圖搜圖在行人、小汽車、電動車等目標(biāo)檢索方面得到了廣泛的應(yīng)用。

2.1 行人以圖搜圖

在圖偵實戰(zhàn)中，通常需要從視頻圖像中快速查找、定位出具有某種特征的嫌疑人，常見的特征主要有人臉特征、衣著特征、附屬物等。以圖搜圖將行人的整體特征抽象為深度特征，能克服各種環(huán)境因素的影響，從而提高行人檢索的準(zhǔn)確性。當(dāng)把嫌疑人圖片導(dǎo)入以圖搜圖系統(tǒng)中，系統(tǒng)會自動提取目標(biāo)人物的特征，并將所有待檢視頻中與該目標(biāo)最為接近的行人都顯示出來，從而實現(xiàn)跨視頻的檢索。當(dāng)目標(biāo)的上半身和下半身的衣著具有某種特色，如上半身淺色衣著，下半身深色衣著，系統(tǒng)也可以搜索出相似的目標(biāo)結(jié)果。

2.2 小汽車以圖搜圖

基于車牌、車型信息的車輛檢索應(yīng)用廣泛，但限于攝像機拍攝角度，車輛車身和牌照有可能無法完全顯示，或者由于肇事車輛逃逸迅速，現(xiàn)場人員無法看清車型及車牌信息，此時車輛的局部特征分析顯得十分必要。車輛局部特征包括遮陽板是否打開、是否有年檢標(biāo)、前大燈是否開啟、是否有破損、是否有掛件及是否有紙巾盒等細(xì)節(jié)信息，這些特征都可以作為以圖搜圖的依據(jù)，在多種視頻中搜索出相似的目標(biāo)，還原車輛運動軌跡。

2.3 電動車以圖搜圖

電動車以快捷、輕便、價廉的優(yōu)勢成為百姓的主要交通工具，隨之而來的電動車盜竊案件呈現(xiàn)上升趨勢。電動車的特征通常表現(xiàn)為是否有燈、車把手顏色及破損狀態(tài)、是否有車籃、擋泥板等，基于電動車整體特征的以圖搜圖能夠克服光照、遮擋等因素的影響，在多段視頻中可有效檢索感興趣目標(biāo)，為案件偵破提供支持。

以上主要介紹了圖偵中常見目標(biāo)的以圖搜圖，除此以外，其他目標(biāo)如中巴車、大卡車、貨車等也可以通過以圖搜圖搜索相似目標(biāo)。圖2是一個小汽車以圖搜圖的例子。

3 小結(jié)

基于深度學(xué)習(xí)的以圖搜圖作為一種抽象特征的檢索方法，克服了淺層特征的缺點，在視頻偵查實戰(zhàn)中得到了廣泛和常態(tài)化的應(yīng)用。從目前來看，將深度學(xué)習(xí)技術(shù)應(yīng)用于以圖搜圖具有明顯的優(yōu)勢，然而由于實際應(yīng)用場景非常復(fù)雜，這種檢索方式也可能出現(xiàn)效果不佳的情況。隨著深度學(xué)習(xí)技術(shù)的不斷深入，基于更大更深網(wǎng)絡(luò)結(jié)構(gòu)的以圖搜圖將在圖偵中得到更加貼合實戰(zhàn)的應(yīng)用。

參考文獻

[1]胡二雷，馮瑞.基于深度學(xué)習(xí)的圖像檢索系統(tǒng)[J].計算機系統(tǒng)應(yīng)用，2017 （03）.

[2]易軍凱，何瀟然，姜大光.圖像內(nèi)容理解的深度學(xué)習(xí)方法[J].計算機工程與設(shè)計，2017 （03）.

[3]尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報，2015 （01）.