基于部件精細化分割的行人檢索方法

趙延

（北方工業(yè)大學城市道路交通智能控制技術(shù)北京市重點實驗室，北京100144）

0 引言

行人檢索是利用計算機視覺的技術(shù)和方法，在攝像頭等設備采集到的圖像數(shù)據(jù)集中，搜索目標行人的圖像。行人檢索可以作為人臉識別的一個補充，當行人圖像中缺乏有效的人臉信息時，通過識別行人圖像的非人臉信息是一個常用的檢索方法。行人檢索是一個復雜的問題，同一個行人受到多種因素干擾，如行人走路姿態(tài)、服裝穿戴、圖像清晰度等，大大提高了行人檢索的難度。

近年來，隨著深度學習的飛速發(fā)展，對于行人檢索已提出許多方法。文獻[1]采用了垂直分割行人圖像的方式，利用長短時記憶網(wǎng)絡提取部件特征，這種方法對行人圖像對齊有較高的要求。文獻[2-3]采用人體骨架關鍵點模型，將人體分為若干個區(qū)域，提取部件特征和全局特征，最終得到一個融合全局特征和多個尺度部件特征的行人特征。

1 基于部件精細化分割的行人檢索方法

1.1 行人對齊

在行人檢索過程中，行人所處的不同背景會影響圖像檢索的準確率。采取部件特征提高識別準確的前提是部件的準確定位[9]，所以，行人圖像的對齊是提高識別準確率的方法。文獻[4]提出了一種基于SP 距離自動對齊模型，采用動態(tài)對齊算法，可以在無額外信息的情況下自動對齊部件特征。

1.2 行人精細化分割

行人圖像分割主要有兩種分割方式：按語義劃分成頭部、軀干、四肢等，或?qū)D像垂直劃分成多個水平橫條部件。

本文采用垂直劃分的方式，提出一種行人圖像部件的精細化分割方法，將圖像劃分為p 個水平橫條，每個水平橫條再按像素劃分成m*n 個色塊，將色塊按照顏色區(qū)分，匹配最近的同色色塊，加強部件內(nèi)部的一致性。通過部件池化來糾正內(nèi)部的不一致，根據(jù)各部件的相似性來分配所有列向量，為此我們需要動態(tài)的對所有列向量進行分類。使用線性層和Softmax 激活函數(shù)作為部件分類器。

1.3 部件特征提取

本文使用卷積神經(jīng)網(wǎng)絡提取特征，選擇相似性度量方法對提取的特征進行度量，本文采用Triplet Loss[8]，Triplet Loss 是深度學習中的一種損失函數(shù)，用于訓練差異性較小的樣本。

將進行精細化分割處理后的p 個水平橫條通過一個傳統(tǒng)的平均池化，將p 個水平橫條在空間上進行下采樣，得到p 個列向量gi(i=1,2,…,p)。然后通過一個1*1 的conv 卷積，降至256 維，得到p 個列向量hi(1*1*256)，并輸入到分類器中。本文經(jīng)過驗證，將p值取為6。

1.4 多分支特征融合

得到部件特征后，將各部件特征、全局特征作為分支特征，輸入到多分支網(wǎng)絡中，得到一個增強的特征，提高了行人檢索的準確率。多分支網(wǎng)絡如圖1 所示。

圖1 多分支網(wǎng)絡

2 實驗與分析

實驗環(huán)境是基于PyTorch 框架，實驗硬件設備：

NVIDIA GeForce GTX 1060 6GB。

2.1 實驗所用數(shù)據(jù)集與評價指標

本文算法在Market-1501、DukeMTMC-reID 兩個數(shù)據(jù)集上進行測試。

Market-1501[5]在清華大學校園中采集，拍攝時間為夏季。采集所用攝像頭共6 個（高清攝像頭5 個，低清攝像頭1 個），共拍攝1501 個行人、32688 個行人圖像。其中訓練集751 人、12936 個行人圖像；測試集750 人、19732 個行人圖像。

DukeMTMC-reID[6]源自在杜克大學中8 個不同的攝像頭采集的85 分鐘高分辨率視頻，拍攝時間為冬季。從視頻中每隔120 幀采樣一張行人圖像，共1404個行人、36411 個行人圖像。其中來自702 人的16522個訓練圖像；702 人的2228 個查詢圖像和17661 個待匹配圖像。

評價指標有：Rank-1：指檢索結(jié)果中最靠前的一張圖是正確結(jié)果的概率，一般通過實驗多次來取平均值。mAP：平均檢索精度，是檢索中，用于衡量精度的指標，數(shù)值越高，檢索結(jié)果越好。

2.2 精細化分割與其他分割方法的對比

在表1 和表2 中將我們提出的方法分別在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上與已發(fā)布的方法進行了比較。與現(xiàn)有技術(shù)相比，本文的方法取得了很好的效果。在Market-1501 測試中，Rank-1 為93.8%，mAP 為80.8%。在DukeMTMC-reID 上，Rank-1為65.1%，mAP 為55.6%。檢索結(jié)果示例如圖2 所示。

表1 Market-1501 數(shù)據(jù)集實驗結(jié)果

表2 DukeMTMC-reID 數(shù)據(jù)集實驗結(jié)果

圖2 檢索結(jié)果示例

3 結(jié)語

本文采用了一種新的部件分割方法，同時采用多分支的網(wǎng)絡結(jié)構(gòu)提取圖像特征，提高了行人圖像檢索的精度。在Market-1501 和DukeMTMC-reID 兩個數(shù)據(jù)集上進行試驗，取得了很好的結(jié)果。