基于深度神經(jīng)網(wǎng)絡與相似性分析的視頻行人識別檢測

（云南省大理州公安局科技信息化處副處長）

在過去的幾年中，大數(shù)據(jù)采集與深度神經(jīng)網(wǎng)絡技術應用極大地推動了計算機視覺領域的發(fā)展，并廣泛應用于公安安防行業(yè)。行人識別是安防行業(yè)視頻結構化的重要環(huán)節(jié)，主要應用于嫌疑人員布控搜查，通過對大量已有監(jiān)控視頻進行分析，可以從中快速檢索出疑似的人員，相比傳統(tǒng)的人工查看監(jiān)控錄像，行人識別系統(tǒng)能極大提高效率，意義重大。本文設計了一種行人識別深度神經(jīng)網(wǎng)絡，并進行了相關實驗驗證，結果表明所提出的方法能夠快速準確地提取視頻圖像中的行人特征，滿足真實場景公共安防需求。

一、引言

隨著人工智能技術的飛速發(fā)展，視頻分析技術得到了極大提升，并廣泛應用于智能安防、自動駕駛、生物醫(yī)療、語義分割等多個領域。其中智能視頻分析在公共安全領域的作用尤為突出。

行人識別是安防行業(yè)視頻結構化的重要環(huán)節(jié)，主要應用于嫌疑人員布控搜查。傳統(tǒng)的嫌疑人員布控緝拿需要對作案嫌疑人的相關身份及活動進行調查，安置于城市各個角落的高清攝像機能夠提供很好的幫助，通過對大量已有監(jiān)控視頻進行分析，可以從中檢索出嫌疑人員的活動信息，對安防管理意義重大。但傳統(tǒng)的人工查看監(jiān)控錄像搜集有效信息不僅人力成本過高，而且效率低下，已經(jīng)無法滿足當前安防的需求，因此行人識別系統(tǒng)就變得尤為重要。目前已有不少國內外學者進入到行人識別這一領域。

本文主要對視頻圖像中行人的相似性進行了研究，旨在利用深度神經(jīng)網(wǎng)絡等技術，分析不同視頻幀中出現(xiàn)的行人圖像的相似性，判斷不同行人圖像是否為同一行人，并給出相似概率。該方法可以很好地解決視頻錄像資料的檢索問題，實時場景行人跟蹤等安防問題。

二、行人識別網(wǎng)絡模型

本文采用 ResNet50 做為基礎網(wǎng)絡，并對其進行改進以適用于特征提取。ResNet最早在 2015年被提出，其基本思想為：在網(wǎng)絡的多層卷積中引入一層或多層殘差連接，將前層卷積信息引入后層，通過殘差映射校正過深網(wǎng)絡存在的準確率下降問題。ResNet 解決了隨著網(wǎng)絡的加深，訓練集準確率下降的問題，并在當年的ImageNet 分類任務上取得了最佳的準確率，之后逐漸出現(xiàn)很多基于 ResNet殘差的深度網(wǎng)絡。本為采用 ResNet50作為基礎網(wǎng)絡，主要考慮到行人識別需要很高的初始檢測率，此外為了兼顧計算效率，未采用更深的網(wǎng)絡。

ResNet50 由5個主要部分組成 ：conv_1，conv_2，conv_3，conv_4，conv_5。其中 conv_5 結構最后一層輸出為 1x1x2048維向量，倒數(shù)第二層為 3x3x512 維向量，倒數(shù)第三層為 1x1x512 維向量。這里我們將倒數(shù)第三層網(wǎng)絡結構改為 3x3x512，這樣就豐富了網(wǎng)絡層特征，使提取到的信息更完整，同時將倒數(shù)第二層網(wǎng)絡改為 1x1x4096，這樣降低了計算參數(shù)的復雜性，有利于提升計算速度，且修正過的網(wǎng)絡層能夠將上層網(wǎng)絡傳遞的信息進行提前編碼，經(jīng)過兩次特征編碼：1x1x4096 和 1x1x2048 后，得到的圖像特征可更好地適應分類任務。

需要注意的是，若某一幀圖像中包含多個行人，經(jīng)過行人識別神經(jīng)網(wǎng)絡后我們會得到多個 1x1000 的特征向量，這里我們僅保留預測概率大于80%的特征向量，預測概率過低的特征向量視為非行人特征，同時丟棄對應的預測 box。

三、實驗分析

實驗分為幾個主要部分，包括樣本數(shù)據(jù)集處理，行人識別網(wǎng)絡模型搭建，深度網(wǎng)絡結構調參，網(wǎng)絡性能及分析，行人特征提取和判別。

3.1 樣本數(shù)據(jù)集處理

本文采用業(yè)內標準行人數(shù)據(jù)集：Market-1501 and Mars數(shù)據(jù)集作為實驗樣本數(shù)據(jù)，Market-1501數(shù)據(jù)集包含1501個行人共計32217張人工標注圖像。該數(shù)據(jù)訓練樣本集包含12936張圖像，測試樣本集包含19281張圖像。MARS 數(shù)據(jù)集包含1261個行人共計1191003張裁剪圖像，訓練樣本集包含 509914 張圖像，測試樣本集包含681089 張圖像。

深度網(wǎng)絡模型數(shù)據(jù)集構建方案為：從行人數(shù)據(jù)集 Market-1501中選取共計 30000張行人標注圖像作為正樣本集，從正樣本集中選取 25000張圖像作為訓練正樣本集，剩余5000張圖像作為測試正樣本集。從ImageNet數(shù)據(jù)集和 coco 數(shù)據(jù)集中篩選非行人圖像共計 30000 張作為負樣本數(shù)據(jù)集，從負樣本數(shù)據(jù)集中選擇 25000 張圖像作為訓練負樣本集，剩余 5000 張圖像作為測試負樣本集。

識別測試數(shù)據(jù)集構建方案為：從Mars數(shù)據(jù)集中挑選 20 個行人共計80張圖像作為校驗數(shù)據(jù)集，用于測試行人識別精確度。由于系統(tǒng)應用場景滿足一張圖像中出現(xiàn)的行人數(shù)少于 20人，因此并不涉及大規(guī)模行人檢測問題，隨機任選 20 人對做測試足夠再現(xiàn)真實場景中最為嚴苛的情況。此外，可選取 20★20 個行人共計 80★20 張圖像進行 20次重復實驗，取均值作為最終準確度，本文中給出單次實驗計算結果，同類實驗可復現(xiàn)，不再描述。

3.2 模型訓練及調參

近幾年出現(xiàn)了許多性能優(yōu)秀的深度網(wǎng)絡平臺，最為流行的包括 caffe，mxnet，pytorch，tensorflow等。雖然tensorflow 設計靈活且兼容numpy，scikit-learn等優(yōu)秀計算庫，適合算法快速開發(fā)，但在圖像計算方面 caffe 具有速度優(yōu)勢，考慮到系統(tǒng)檢測速度的實時性要求，本文選擇caffe平臺設計搭建對應網(wǎng)絡結構。

軟件環(huán)境為centos7，opencv3.2，cuda8.0，cudnn5.1，boost1.55 等。

硬件設備環(huán)境為CPU∶ i7-6800k；雙路英偉達 gtx1080ti 計算卡。

訓練過程中設置每個批大小 batch尺寸為 64，測試 batch尺寸為 64，基礎學習率learning rate初始設置為0.01，對應 caffe模型的 gamma值設置為 0.1，動量 momentum 設置為 0.9，權值衰減 0.0001，每完成 2000 次 batch運算進行一次測試，總迭代次數(shù)為10萬輪。最終的模型精度達到 94%左右。值得注意的是網(wǎng)絡最后2層的特征抽取層導致模型精度未繼續(xù)提升，但結合后續(xù)的相似度判定，仍能得到非常不錯的識別精度。由于batch設置較大，經(jīng)過 4000輪迭代訓練后，損失降低為1.119910，迭代訓練圖片數(shù)量為256000張，模型精度提高較快。后續(xù)迭代至10萬輪，最終損失降低至e-2數(shù)量級，模型精度基本穩(wěn)定，達到訓練要求。

模型訓練過程采用分布式訓練，硬件設備為兩張gtx1080ti，訓練時間約為15小時，包括一次預訓練和一次繼承訓練。實際檢測過程采用圖像放縮等方式，運算速度滿足每秒 25幀要求，且部署多個模型可實現(xiàn)更大規(guī)模的圖像并發(fā)處理能力，本文實際部署2個網(wǎng)絡模型，性能可以達到每秒50幀以上，已經(jīng)能夠完全適用系統(tǒng)性能要求，且系統(tǒng)可拓展至服務器端圖像識別。通過搭建多模型，可實現(xiàn)服務運算速度的線性提高。

3.3 特征提取與檢測結果

本文根據(jù)加權準則編寫了對應的功能及邏輯模塊，用于分析行人再次識別判定，具體流程為：拷貝 caffe最后一層layer的行人特征至內存，根據(jù)加權準則計算請求識別的行人特征相似性，通過網(wǎng)絡模塊返回檢測Dataset Identities Images Label method Crop size Multi-shot SequencesMarket-1501 1501 32217 Hand+DPM 128★64 Y NMars 1261 1191003 DPM+GMMCP 256★128 YY結果。由于視頻為1920★1080分辨率，為提高運算速度，將圖像尺寸放縮為 960★540分辨率，為保證良好的識別率，建議行人目標區(qū)域滿足80★160及以上大小。我們選擇MARS識別測試數(shù)據(jù)集做測試，測試方法為計算出20 個行人共 80 張圖像的特征向量，然后任選一向量，根據(jù)加權準則查找與其最相似的特征向量，判斷查找到的最相似行人與目標行人是否為同一行人，依次不重復遍歷80個向量，檢測結果如下：行人目標總數(shù) 80，漏檢行人目標數(shù) 0，最相似查找正確數(shù) 80，最相似查找錯誤數(shù) 0。

需要注意的是雖然目標行人全部識別正確，但最低的相似度閾值只有0.4左右，對于通用性檢測，應設置相似度閾值 0.7至0.8之間，此時雖然導致漏檢正確識別，但可以保證查找的高準確性，滿足實際使用，且該閾值在實際應用中具有很好的效果和通用性。

此外，實際應用中，由于不同場景中實際視頻圖像受拍攝角度、光照影響，同時會有部分行人遮擋，精確度可能有所降低，排除上述擾動因素，在視頻環(huán)境良好且分辨率足夠的情況下，行人檢測實際效果良好，在保證實時檢測的同時滿足精確度。

四、總結

這種行人識別深度神經(jīng)網(wǎng)絡，能高效準確提取視頻中出現(xiàn)的行人特征，并設計了新的相似性檢測方法，用于分析不同行人之間的相似度。該系統(tǒng)適用于公安安檢行業(yè)的嫌疑人員檢索布控，檢索解析視頻中出現(xiàn)的疑似嫌疑人員。最后通過真實數(shù)據(jù)驗證了該算法的快速性和有效性，在視頻分析領域有較強使用價值。