局部特征互補(bǔ)的遮擋行人重識(shí)別研究

摘要：本研究致力于解決行人重識(shí)別領(lǐng)域面臨的挑戰(zhàn)，特別是由于遮擋等問題導(dǎo)致的識(shí)別難題?，F(xiàn)有方法通常在整體圖像上進(jìn)行處理，容易忽略被遮擋的細(xì)節(jié)信息，從而可能導(dǎo)致錯(cuò)誤的識(shí)別結(jié)果。為了應(yīng)對(duì)這一問題，本研究提出了一種局部特征互補(bǔ)的遮擋行人重識(shí)別方法。該方法通過對(duì)局部特征提取、學(xué)習(xí)以及特征間互補(bǔ)，有效地減輕了背景干擾和遮擋對(duì)行人重識(shí)別準(zhǔn)確性的負(fù)面影響。研究結(jié)果表明，該方法在提高行人重識(shí)別準(zhǔn)確性方面表現(xiàn)出明顯的優(yōu)勢(shì)，為解決遮擋問題提供了新的思路，具有重要的實(shí)際意義和應(yīng)用前景。

關(guān)鍵詞：行人重識(shí)別；計(jì)算機(jī)視覺；遮擋；局部特征；特征互補(bǔ)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）22-0007-04

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

公共安全問題已成為社會(huì)高度關(guān)注的焦點(diǎn)，對(duì)于國(guó)家繁榮和社會(huì)和諧至關(guān)重要。在城市中，電子監(jiān)控設(shè)備的廣泛應(yīng)用使行人重識(shí)別成為監(jiān)控和安防領(lǐng)域的主要任務(wù)。行人重識(shí)別在智能安防、智能尋人系統(tǒng)和智能分類系統(tǒng)等領(lǐng)域中發(fā)揮著重要作用，能夠快速定位犯罪嫌疑人、協(xié)助尋找走失人員，并對(duì)照片進(jìn)行分類和聚類。在計(jì)算機(jī)視覺領(lǐng)域中，行人識(shí)別扮演著關(guān)鍵的角色。然而，行人重識(shí)別任務(wù)面臨著遮擋帶來的挑戰(zhàn)。遮擋導(dǎo)致查詢集圖像和候選集圖像同時(shí)被障礙物遮擋，增加了特征提取的難度，降低了識(shí)別的準(zhǔn)確性。盡管針對(duì)單一攝像頭捕獲的行人圖像進(jìn)行分析已相對(duì)成熟，但隨著監(jiān)控力度增強(qiáng)、攝像頭數(shù)目增加以及拍攝環(huán)境的復(fù)雜多變，單一攝像頭下的分析處理已不再足夠，迫切需要關(guān)注多個(gè)攝像頭下捕獲同一行人的多張圖像。多攝像頭下的行人圖像提供了更豐富的信息，但也面臨著攝像頭視角、分辨率變化等挑戰(zhàn)，增加了行人重識(shí)別任務(wù)的復(fù)雜性。為了更好地應(yīng)對(duì)遮擋的行人重識(shí)別問題，本文提出了一種局部特征互補(bǔ)的行人重識(shí)別方法，解決多公共攝像頭下遮擋行人識(shí)別問題，提取跨攝像頭共享特征，為公共安全和社會(huì)穩(wěn)定做出積極貢獻(xiàn)。

1 相關(guān)工作

近年來，為了有效克服行人重識(shí)別過程中遮擋干擾帶來的挑戰(zhàn)，業(yè)界涌現(xiàn)出一系列杰出的研究成果。這些研究不僅專注于算法的優(yōu)化和改進(jìn)，還致力于創(chuàng)新技術(shù)的開發(fā)和應(yīng)用，以期在提高識(shí)別精度和速度方面取得突破。目前，現(xiàn)有的遮擋行人重識(shí)別方法主要側(cè)重特征提取和對(duì)齊[1-2]。這些方法在一定程度上提高了識(shí)別準(zhǔn)確性，但仍面臨一些挑戰(zhàn)。例如，特征融合可能會(huì)引入噪聲或干擾信息，從而影響最終的識(shí)別結(jié)果；局部特征匹配可能會(huì)受到遮擋部分的影響，導(dǎo)致提取的特征不夠完整或準(zhǔn)確；缺乏對(duì)特征間復(fù)雜關(guān)系的建模，限制了在處理遮擋情況下的識(shí)別能力。為了克服這些挑戰(zhàn)，一些研究者開始探索基于深度學(xué)習(xí)的方法來提高遮擋行人重識(shí)別的效果，并在大規(guī)模數(shù)據(jù)集上進(jìn)行端到端的訓(xùn)練，從而可以更好地捕捉特征之間的復(fù)雜關(guān)系。一些最新的研究工作表明，基于深度學(xué)習(xí)[3-4]的方法在處理遮擋情況下能夠取得更好的識(shí)別效果，甚至超過傳統(tǒng)方法的表現(xiàn)。除了深度學(xué)習(xí)技術(shù)，一些研究者還嘗試結(jié)合多模態(tài)信息來提高遮擋行人重識(shí)別的性能。通過融合不同傳感器或模態(tài)的信息[5-6]，可以更全面地捕捉行人的特征，從而提高識(shí)別的準(zhǔn)確性和魯棒性。

2 本文方法

2.1 特征提取

為了提升行人重識(shí)別的性能，更好地識(shí)別和區(qū)分不同的行人，本文提出了基于姿態(tài)估計(jì)的局部特征提取方法。該方法通過提取姿態(tài)特征、識(shí)別遮擋區(qū)域以及保持姿態(tài)信息相似性，從而提高準(zhǔn)確性和魯棒性。通過提取人體關(guān)鍵點(diǎn)的位置信息獲取局部特征，以識(shí)別遮擋區(qū)域。由于姿態(tài)信息在不同角度下具有相似性，有助于使模型聚焦于未被遮擋的顯著區(qū)域，突出人體部位的局部顯著特征。采用姿態(tài)引導(dǎo)的方法，聯(lián)合學(xué)習(xí)局部特征以探索更具區(qū)分性的特征，使模型更專注于行人的姿態(tài)信息，從而更好地區(qū)分不同行人的特征差異。通過學(xué)習(xí)局部特征的注意力權(quán)重，模型能更準(zhǔn)確地捕捉關(guān)鍵的局部特征信息，進(jìn)而提高行人重識(shí)別的準(zhǔn)確性。這種方法即使在遇到遮擋情況下仍能構(gòu)建出有效的特征表示，確保模型能在復(fù)雜環(huán)境下準(zhǔn)確識(shí)別行人，為行人重識(shí)別領(lǐng)域帶來新的思路和方法。

具體而言，在給定一個(gè)行人圖像x1的情況下，首先使用ResNet50作為卷積神經(jīng)網(wǎng)絡(luò)（CNN） 的主干網(wǎng)絡(luò)，并在刪除全局平均池化層和全連接層后得到特征映射mcnn。隨后，利用姿態(tài)估計(jì)模型獲取行人的14個(gè)關(guān)鍵姿態(tài)點(diǎn)，生成去除遮擋的關(guān)鍵點(diǎn)熱度圖mkp和關(guān)鍵點(diǎn)置信度分?jǐn)?shù)βk。在這里，熱度圖的值代表關(guān)鍵點(diǎn)位置的二維高斯分布，最大值為關(guān)鍵點(diǎn)的坐標(biāo)，而置信度分?jǐn)?shù)表示關(guān)鍵點(diǎn)的可見程度。因此，最終為輸入圖像生成14張h×w熱度圖和14個(gè)關(guān)鍵點(diǎn)置信度分?jǐn)?shù)，如圖1所示。

通過對(duì)原始輸入得到的特征映射與關(guān)鍵點(diǎn)熱度圖進(jìn)行乘法操作（U）和求和操作，可以得到特征提取階段關(guān)鍵點(diǎn)的單一信息特征Fl。其中，mkp經(jīng)過Normalization和Softmax函數(shù)處理，旨在減少噪聲干擾和錯(cuò)誤值的影響。通過對(duì)特征映射執(zhí)行全局最大池化操作，可以得到包含整體信息的全局特征Fg，具體公式如下所示：

[Fl=fk14k=1=SUMmcnn?mkp] （1）

[Fg=fk+1=Fmax] （2）

損失函數(shù)LE涉及目標(biāo)人圖像的真實(shí)標(biāo)簽，用于學(xué)習(xí)人的表現(xiàn)，分別使用Lcls表示分類損失，Ltri表示三元組損失，k表示關(guān)鍵點(diǎn)特征，取值從1到15。βk表示第k個(gè)關(guān)鍵點(diǎn)特征的置信度，若k=15表示全局特征的置信度，即βk=1。具體公式如下所示：

[LE=1kβkLclsfk+Ltrifk] （3）

2.2 特征學(xué)習(xí)

姿態(tài)估計(jì)用于獲取局部特征信息，然而由于遮擋干擾，不可避免地會(huì)引入一些無意義甚至噪聲信息，從而降低行人重識(shí)別的準(zhǔn)確性[7]。在某些情況下，不同攝像頭下的不同圖像，由于行人姿態(tài)和遮擋區(qū)域的相似性，使得人體姿態(tài)信息無法完全有效地區(qū)分行人身份。為了有效利用關(guān)鍵點(diǎn)信息，本文采用人體關(guān)鍵點(diǎn)的結(jié)構(gòu)，將人體姿態(tài)信息和全局對(duì)比信息共同構(gòu)建出行人的局部特征和全局特征表示。

引入基于人體關(guān)鍵點(diǎn)結(jié)構(gòu)的方法用于構(gòu)建行人的有效局部特征和全局特征表示。在該方法中，每個(gè)姿態(tài)點(diǎn)的位置信息被看作節(jié)點(diǎn)的獨(dú)立特征，用于建立節(jié)點(diǎn)之間的關(guān)系。具體而言，若兩個(gè)節(jié)點(diǎn)之間存在連接，則連接值為1，否則為0。在建立身體各部位關(guān)系時(shí)，最初節(jié)點(diǎn)之間沒有連接，隨后無論如何學(xué)習(xí)更新節(jié)點(diǎn)關(guān)系，節(jié)點(diǎn)之間仍保持無連接狀態(tài)。通過全局特征、局部特征以及人體關(guān)鍵點(diǎn)結(jié)構(gòu)的相互關(guān)聯(lián)，實(shí)現(xiàn)節(jié)點(diǎn)特征的匯聚和更新。這種方法不僅考慮了單一節(jié)點(diǎn)特征信息，還考慮了邊的特征信息，節(jié)點(diǎn)之間的連接基于姿態(tài)點(diǎn)之間的相對(duì)位置關(guān)系來確定鄰近關(guān)系R。通過學(xué)習(xí)和聚合相關(guān)節(jié)點(diǎn)特征，得到每個(gè)身體部位豐富的語義信息特征表示，如圖2所示。

本文在保留局部和全局上下文信息的同時(shí)對(duì)特征進(jìn)行調(diào)整和更新，優(yōu)化節(jié)點(diǎn)特征，使每個(gè)節(jié)點(diǎn)能更好地學(xué)習(xí)行人節(jié)點(diǎn)的特征信息，監(jiān)督關(guān)系信息，學(xué)習(xí)更具區(qū)分性的特征信息，以提高識(shí)別精度。

一個(gè)簡(jiǎn)單的圖卷積可以通過將輸入的局部特征Fl與特征矩陣R融合，得到最終的輸出特征FK。在這個(gè)過程中，使用全連接層FC1和FC2，它們之間的權(quán)重不共享。具體公式如下所示：

[FK=FC1R?Fl+FC2Fl，F(xiàn)g ] （4）

損失函數(shù)（[LBCE]） 用于確定提取的特征是否與真實(shí)的標(biāo)簽屬于同一個(gè)人。其中，y表示真實(shí)標(biāo)簽，p表示第K個(gè)特征屬于同一個(gè)身份標(biāo)簽（即正樣本）的概率。如果第K個(gè)特征是一個(gè)正樣本，則y=1，否則為0。具體公式如下所示：

[LBCE=-1Kk=1Ky?logp+y'?logp'] （5）

2.3 特征互補(bǔ)

建立人體關(guān)鍵點(diǎn)聯(lián)系，關(guān)注特征的融合信息，更全面地了解目標(biāo)人的特征和特點(diǎn)，以便更有效地抓取目標(biāo)人的有利信息。然而，此過程并未解決行人圖片在匹配階段行人圖像空間不對(duì)齊的問題。傳統(tǒng)的對(duì)齊策略是匹配相同關(guān)鍵點(diǎn)的特征，但在遮擋嚴(yán)重的情況下效果較差。雖然圖匹配可以考慮人的高階拓?fù)湫畔?，但只能進(jìn)行簡(jiǎn)單的一對(duì)一對(duì)齊，對(duì)異常值敏感，缺乏健壯性。

為了解決這個(gè)問題，本文提出了一種多對(duì)多的軟對(duì)齊方法，將一張圖片的特征對(duì)應(yīng)到另一張圖片的各個(gè)特征，建立一組圖片中各個(gè)節(jié)點(diǎn)之間的聯(lián)系，不僅關(guān)注節(jié)點(diǎn)與節(jié)點(diǎn)之間的對(duì)齊，還關(guān)注邊與邊的對(duì)齊。這樣一組圖像之間的節(jié)點(diǎn)信息以及邊的信息可以相互傳遞，提高對(duì)齊的準(zhǔn)確性，提高識(shí)別效率。

具體而言，首先，使用余弦距離函數(shù)提取三元組圖像，其中圖像x1是從一個(gè)圖像中提取的所有聯(lián)合特征的集合，圖像x3與x1屬于不同行人，圖像x2與x1屬于同一行人。在給定圖像匹配過程中的一組圖片x1和x2，其中，x1的圖為G1=（F1，E1），x2的圖為G2=（F2，E2）。其次，建立了匹配矩陣S，其中Sia是指F1i和F2a之間的匹配度。然后，根據(jù)一元和成對(duì)點(diǎn)特征建立了一個(gè)平方對(duì)稱正矩陣M，其中Mia，jb指的是E2與E1邊的匹配程度。對(duì)于不形成邊的對(duì)，它們?cè)诰仃囍械南鄳?yīng)項(xiàng)被設(shè)置為0。對(duì)角線部分包含節(jié)點(diǎn)到節(jié)點(diǎn)的值，而非對(duì)角線部分包含節(jié)點(diǎn)到節(jié)點(diǎn)邊的值。最后，通過深度學(xué)習(xí)框架利用隨機(jī)梯度下降不斷優(yōu)化最優(yōu)匹配矩陣U。優(yōu)化過程采用冪次迭代和雙隨機(jī)運(yùn)算。

[U=argmaxSTMS] （6）

在關(guān)注邊的對(duì)齊后，可以通過比較兩幅圖像中相應(yīng)位置來確定哪些區(qū)域被遮擋了。一旦確定了被遮擋的部分，可以利用另一幅圖像中對(duì)應(yīng)位置的未被遮擋部分來填補(bǔ)這些缺失區(qū)域，實(shí)現(xiàn)互補(bǔ)。如圖3所示，一張圖像的左腿被遮擋，另一張圖片的右腿被遮擋，將左右腿部被遮擋的部分進(jìn)行互補(bǔ)，每張圖片不僅擁有自身的鑒別信息，還擁有特征互補(bǔ)信息，從而減少遮擋干擾。這樣有效地減少遮擋帶來的影響，提高圖像的完整性和質(zhì)量。

通過最小化L來訓(xùn)練端到端的框架。首先，輸入一組圖片中提取到的特征F1和F2，將親和力矩陣與特征F1i和F2i進(jìn)行乘法操作（[?]） ，然后與另一張圖片的對(duì)應(yīng)特征進(jìn)行通道維度連接。其中，Con表示沿通道維度的連接操作，F(xiàn)C是一個(gè)全連接層。最后，連接的特征通過全連接層與原圖像特征相加，生成更具鑒別力的特征。具體公式如下所示：

[Fa=FCConF1，U?F2+F1] （7）

[Fp=FCConF2，U?F1+F2] （8）

損失函數(shù)（Lv） 用于測(cè)量?jī)蓚€(gè)樣本圖像之間的關(guān)系，即圖像[x1]和圖像[x2]的輸入，可以是同一個(gè)人，也可以是不同的人。每對(duì)訓(xùn)練圖像（x1，x2）都有一個(gè)標(biāo)簽，表明它們是正樣本對(duì)還是負(fù)樣本對(duì)。如果兩張圖像為正樣本即屬于同一個(gè)人，則y=1，否則為0。Sx1，x2表示x1和x2之間的相似性。具體公式如下所示：

[LV=ylogsx1，x2+1-ylog1-sx1，x2] （9）

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本次實(shí)驗(yàn)的硬件環(huán)境包括Intel（R） Xeon（R） CPU E5-2670×2處理器、48GB DDR4內(nèi)存、4塊Nvidia GeForce Titan X GPU、3塊4TB HDD和512GB SSD。軟件環(huán)境為Ubuntu18.04操作系統(tǒng)、Pytorch深度學(xué)習(xí)框架和Python3.7。訓(xùn)練網(wǎng)絡(luò)時(shí)，批量大小為64，共有16個(gè)人，每人有4張256×128像素的圖像。在圖像預(yù)處理過程中，添加了隨機(jī)水平翻轉(zhuǎn)、隨機(jī)擦除、隨機(jī)裁剪，并進(jìn)行填充10個(gè)像素。其中，隨機(jī)水平翻轉(zhuǎn)和隨機(jī)擦除的概率均設(shè)置為0.5，如圖4所示。訓(xùn)練包括120個(gè)epochs，學(xué)習(xí)率從3.5e-4逐漸衰減至0.1，采用SGD優(yōu)化器進(jìn)行端到端學(xué)習(xí)。在測(cè)試含遮擋數(shù)據(jù)集時(shí)，采用額外的顏色抖動(dòng)增強(qiáng)來減少域方差。

3.2 實(shí)驗(yàn)數(shù)據(jù)集

本文利用三個(gè)公開的行人重識(shí)別數(shù)據(jù)集來驗(yàn)證所提出的方法，分別為整體數(shù)據(jù)集 Market1501 和 DukeMTMC-ReID 以及遮擋數(shù)據(jù)集 Occluded_DukeMTMC。其中，Market1501 包含來自6個(gè)攝像機(jī)視角的1 501個(gè)身份，所有數(shù)據(jù)集中都包含很少被遮擋或部分遮擋的人物圖像。DukeMTMC-ReID 包含1 404個(gè)身份。而遮擋數(shù)據(jù)集 Occluded_DukeMTMC 是從 DukeMTMC-ReID 中提取而來，保留了含有遮擋的圖像，丟棄了重疊的圖像。該數(shù)據(jù)集包括以下內(nèi)容：訓(xùn)練圖像涵蓋702個(gè)人共計(jì)15 618幅圖片，圖庫圖像包含1 110個(gè)人共計(jì)1 7661幅圖片，而含有遮擋的查詢圖像有519個(gè)人共計(jì)2 210幅圖片。

3.3 實(shí)驗(yàn)結(jié)果

在遮擋數(shù)據(jù)集 Occluded_DukeMTMC 上進(jìn)行評(píng)估，根據(jù)表1的結(jié)果顯示，本文所提出的方法在 Rank-1方面取得了60.5%的成績(jī)，mAP方面達(dá)到了49.5%。這顯示了該方法在處理數(shù)據(jù)遮擋方面的優(yōu)越性，凸顯了模型在遮擋數(shù)據(jù)集上的高性能。

目前，一些遮擋 ReID 方法僅僅在遮擋或僅含身體部分的數(shù)據(jù)集上有改進(jìn)，但它們?cè)谡w數(shù)據(jù)集上通常表現(xiàn)不盡如人意，這是由于特征學(xué)習(xí)和對(duì)準(zhǔn)過程中的噪聲所致。為了展現(xiàn)模型的泛化能力，在整體數(shù)據(jù)集 DukeMTMC-ReID 上進(jìn)行實(shí)驗(yàn)。本模型在該數(shù)據(jù)集上取得了 Rank-1和mAP分別為87.9% 和75.6%的成績(jī)，在 Market1501上取得了Rank-1和mAP分別為94.3%和84.6%的成績(jī)，如表3所示。盡管本文的模型在整體數(shù)據(jù)集上并非最領(lǐng)先，但相較于大多數(shù)整體數(shù)據(jù)集上的模型，仍有更好的表現(xiàn)，表明本文方法具備較好的通用性和泛化能力。

4 結(jié)論

局部特征互補(bǔ)的遮擋行人重識(shí)別研究展現(xiàn)出巨大潛力。首先，通過姿態(tài)估計(jì)模型有效提取了含細(xì)節(jié)信息的局部特征，增強(qiáng)了模型的魯棒性和準(zhǔn)確性。其次，結(jié)合人體關(guān)鍵點(diǎn)的連接結(jié)構(gòu)，成功建立了節(jié)點(diǎn)之間的聯(lián)系并實(shí)現(xiàn)了特征信息的傳遞、融合及學(xué)習(xí)，從而顯著提升了特征的鑒別性和全局特征表示。最后，引入了多對(duì)多的軟對(duì)齊和特征互補(bǔ)，增強(qiáng)了對(duì)遮擋的感知能力，有效地處理了遮擋和干擾等問題。在實(shí)驗(yàn)驗(yàn)證方面，本文在多個(gè)數(shù)據(jù)集上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，結(jié)果表明所提出的框架在行人重識(shí)別任務(wù)中具有顯著的優(yōu)勢(shì)和有效性。這些實(shí)驗(yàn)結(jié)果為解決行人重識(shí)別中的遮擋和干擾等問題提供了新的思路和方法，有望推動(dòng)行人重識(shí)別技術(shù)的進(jìn)一步發(fā)展和應(yīng)用。

參考文獻(xiàn)：

[1] SUN Y F，ZHENG L，YANG Y，et al.Beyond part models：person retrieval with refined part pooling （and A strong convolutional baseline）[C]//European Conference on Computer Vision.Cham：Springer，2018：501-518.

[2] LI W，ZHU X T，GONG S G.Harmonious attention network for person re-identification[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：2285-2294.

[3] WANG G A，YANG S，LIU H Y，et al.High-order information matters：learning relation and topology for occluded person re-identification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，WA，USA.IEEE，2020：6448-6457.

[4] ZHANG S S，YANG J，SCHIELE B.Occluded pedestrian detection through guided attention in CNNs[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：6995-7003.

[5] HE L X，LIANG J，LI H Q，et al.Deep spatial feature reconstruction for partial person re-identification：alignment-free approach[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，UT，USA.IEEE，2018：7073-7082.

[6] 李爽，李華鋒，李凡.基于互預(yù)測(cè)學(xué)習(xí)的細(xì)粒度跨模態(tài)行人重識(shí)別[J].激光與光電子學(xué)進(jìn)展，2022，59（10）：1010010.

[7] 李枘，蔣敏.基于姿態(tài)估計(jì)與特征相似度的行人重識(shí)別算法[J].激光與光電子學(xué)進(jìn)展，2023，60（6）：3788/LOP212869.

【通聯(lián)編輯：唐一東】