基于改進(jìn)型多粒度超圖的行人序列重識(shí)別

林敏強(qiáng) 趙曈 蔣浩

摘?要：近年來(lái)，跨攝像頭行人識(shí)別成為研究的一個(gè)熱點(diǎn)，利用深度學(xué)習(xí)可以快速地識(shí)別行人，并以此為基礎(chǔ)進(jìn)一步研究跨攝像頭行人重識(shí)別。多粒度超圖同時(shí)利用視頻序列中的空間和時(shí)間線索，大大提升行人重識(shí)別的識(shí)別率，但是多粒度超圖算法計(jì)算量比較大，識(shí)別速度較慢。因此，本文提出了一種改進(jìn)型多粒度超圖算法，通過(guò)與多粒度超圖模型試驗(yàn)對(duì)比，結(jié)果表明，改進(jìn)型多粒度超圖算法在保證識(shí)別率不降低的情況下，識(shí)別速度明顯提升。

關(guān)鍵詞：行人序列重識(shí)別;多粒度超圖;主成分分析

0 引言

隨著深度學(xué)習(xí)和圖像處理技術(shù)的不斷發(fā)展，人臉識(shí)別在特定條件下準(zhǔn)確率已經(jīng)非常高了，很難有重大突破。但是在城市視頻監(jiān)控中經(jīng)常遇到跨攝像頭行人識(shí)別問(wèn)題，即給定目標(biāo)人物跨攝像頭追蹤該行人，這類識(shí)別方法稱為行人重識(shí)別。為了解決單張圖片特征受限和識(shí)別率低的問(wèn)題，用圖片序列作為跨攝像頭識(shí)別行人的方法稱為行人序列重識(shí)別。

行人序列重識(shí)別分為行人檢測(cè)和行人識(shí)別兩個(gè)步驟，行人序列重識(shí)別系統(tǒng)如圖 1 所示。

將視頻監(jiān)控?cái)z像頭拍攝的圖片輸入到行人序列重識(shí)別系統(tǒng)，提取行人的時(shí)間和空間特征;然后提取待檢索行人序列的特征，進(jìn)行相似性度量;最后根據(jù)度量結(jié)果識(shí)別行人。

傳統(tǒng)方法主要集中在圖像的行人重識(shí)別上，忽略了行人序列的時(shí)間和空間特征;隨著基于視頻的大規(guī)模數(shù)據(jù)集的出現(xiàn)，主流方法主要集中在挖掘視頻序列的全局特征和時(shí)序信息。多粒度超圖就是典型的利用行人序列的時(shí)間和空間特征進(jìn)行行人重識(shí)別的，識(shí)別率較好，但是計(jì)算量太大。于是本文提出一種基于主成分分析（PCA）和多粒度超圖（MGH）結(jié)合的行人序列重識(shí)別算法，該算法在保證識(shí)別率不降低的情況下，識(shí)別速度明顯提升。其主要工作如下：提取行人序列時(shí)間和空間特征;對(duì)特征降維;計(jì)算相似度。

1 算法

1.1 架構(gòu)

1）MGH 特征提取，用 MGH 架構(gòu)提取行人序列的時(shí)間和空間特征。

2）PCA 降維，用 PCA 對(duì)候選集和查詢集行人序列特征降維，得到更有價(jià)值的特征，去除噪聲，降低算法的計(jì)算開(kāi)銷，加快處理速度。

3）相似度測(cè)量，將查詢集序列分別輸入到候選集和查詢集 GMM 模型，生成概率分布數(shù)據(jù)，然后用 KL對(duì)兩種概率分布進(jìn)行相似性度量并排序，計(jì)算出行人序列重識(shí)別的精度。本系統(tǒng)架構(gòu)如圖 2 所示。

1.2 MGH特征提取

MGH 通過(guò)對(duì)行人序列的時(shí)間和空間建模來(lái)表示全局和局部特征，以及行人序列直接的關(guān)聯(lián)特征。具體來(lái)說(shuō)就是用不同空間粒度的超圖提取行人序列不同級(jí)別的特征;每個(gè)超圖中，不同的時(shí)間粒度用超邊特征連接，此方法解決了圖片沒(méi)有對(duì)齊和遮擋兩個(gè)關(guān)鍵性問(wèn)題。

空間線索的多粒度與固定分區(qū)相比明顯提高了人體劃分粒度的性能。在行人序列重識(shí)別中，多粒度空間之間的聯(lián)系非常重要，因?yàn)椴煌臻g的粒度捕獲不同分區(qū)之間的差異，從而解決了由于視頻序列中檢測(cè)對(duì)齊不準(zhǔn)確導(dǎo)致的空間錯(cuò)位問(wèn)題，利用多個(gè)空間粒度可以更好地解決空間錯(cuò)位問(wèn)題。時(shí)間線索的多粒度在行人重識(shí)別中應(yīng)用非常廣泛，經(jīng)常用短動(dòng)態(tài)和長(zhǎng)動(dòng)態(tài)表示。短期動(dòng)態(tài)可以通過(guò)提取額外的光流特征來(lái)表示，而長(zhǎng)期時(shí)間特征可以通過(guò)利用 3D CNN 或時(shí)間特征聚合器來(lái)獲得。然而，短期和長(zhǎng)期的時(shí)間線索在判別特征學(xué)習(xí)中具有不同的功能。長(zhǎng)動(dòng)態(tài)可以減少短動(dòng)態(tài)因遮擋帶來(lái)的影響。MGH很好地利用了行人序列中時(shí)間和空間特性提取特征。

1.3 PCA降維

PCA 的作用就是進(jìn)一步提取多粒度超圖的特征，降低特征維度，具體做法是從原始空間中找一個(gè)新的正交坐標(biāo)系，第一個(gè)坐標(biāo)軸選擇原始數(shù)據(jù)方差最大的方向，第二個(gè)坐標(biāo)軸選擇和第一個(gè)坐標(biāo)軸正交且方差最大的方向，以此類推，建立新的正交坐標(biāo)系。通過(guò)此方法，大部分方差就包含在前面幾個(gè)坐標(biāo)系中，后面坐標(biāo)系方差幾乎為零，從而達(dá)到降維的目的，這樣可以有效地降低行人重識(shí)別的計(jì)算量。本方案保證行人序列特征在 97%的基礎(chǔ)上，數(shù)據(jù)維度從 2048 維降低到 300 維，大大的降低了計(jì)算量。

1.4 KL散度

KL 散度適用于兩個(gè)模型之間的度量，因此本文采用 KL 散度度量?jī)蓚€(gè)模型之間的距離，實(shí)驗(yàn)證明，效果很好。

2 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集使用 MARS 和 iLIDS-VID 數(shù)據(jù)集。MARS 數(shù)據(jù)庫(kù)是目前已公開(kāi)的最大視頻行人重識(shí)別數(shù)據(jù)集，包含 1 261 個(gè)行人，采集于 6 個(gè)不同的攝像頭，每個(gè)人被 2～3 個(gè)攝像頭捕捉到，每個(gè)行人平均含有 13.2個(gè)視頻序列。iLIDS-VID 數(shù)據(jù)庫(kù)包含從兩個(gè)無(wú)交疊攝像頭采集的 300 個(gè)行人的 600 個(gè)視頻段，每個(gè)行人視頻段含有 23 到 192 幀圖像不止，平均含有 73 幀。

3 結(jié)語(yǔ)

本文提出的改進(jìn)型多粒度超圖的行人序列重識(shí)別算法，首先用 MGH 架構(gòu)提取行人序列特征，然后通過(guò)PCA 降維減少計(jì)算量，最后用 KL 散度計(jì)算相似度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)型多粒度超圖算法在保證識(shí)別率不降低的情況下，識(shí)別速度明顯提升。

參考文獻(xiàn)：

[1] YE M， SHEN J B， LIN G J， et al. Deep learning for person re-identification： a survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021.

[2] 董亞超，劉宏哲，徐成.基于顯著性多尺度特征協(xié)作融合的行人重識(shí)別方法[J].計(jì)算機(jī)工程， 2021（06）.

[3] 袁韶祖，王雷全，吳春雷.基于多粒度視頻信息和注意力機(jī)制的視頻場(chǎng)景識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2020（05）.

[4] ZHAO Y L， LI Y L， WANG S J. Person re-identification with effectively designed parts[J]. Tsinghua Science and Technology， 2020（03）.

[5] 郭若沛.基于圖像的行人再識(shí)別重排序算法研究[D].北京：北京郵電大學(xué)，2020.

[6] 鄭偉詩(shī)，吳岸聰.非對(duì)稱行人重識(shí)別：跨攝像機(jī)持續(xù)行人追蹤[J].信息科學(xué)，2018（05）.

[7] 吳文灝.基于深度學(xué)習(xí)的視頻識(shí)別研究[D].深圳：中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院） ，2020.

[8] 張新峰，宋博.一種基于改進(jìn)三元組損失和特征融合的行人重識(shí)別方法[J].計(jì)算機(jī)科學(xué)，2021（09）.

[9] 馮霞，杜佳浩，段儀濃，等.基于深度學(xué)習(xí)的行人重識(shí)別研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2020（11）.

[10] 羅浩，姜偉，范星，等.基于深度學(xué)習(xí)的行人重識(shí)別研究進(jìn)展[J].自動(dòng)化學(xué)報(bào)，2019（11）.