基于注意力評(píng)分函數(shù)的行人重識(shí)別研究

劉靜怡 金彬 解祥新 李天逸

摘要：行人重識(shí)別也稱跨境追蹤，旨在彌補(bǔ)固定攝像頭的視覺局限。針對(duì)行人圖像容易出現(xiàn)遮擋、視覺與姿態(tài)的不同變化、光照變化等影響而出現(xiàn)難以區(qū)分行人的狀況，最終導(dǎo)致行人重識(shí)別準(zhǔn)確率低的問題，文章提出了一種使用點(diǎn)積得到計(jì)算效率更高的注意力評(píng)分函數(shù)進(jìn)行檢測的方法。實(shí)驗(yàn)結(jié)果表明，在注意力機(jī)制的加持下，該模型能夠有效地增強(qiáng)行人圖像特征等關(guān)鍵詞的提取，進(jìn)一步提高模型的魯棒性，有效地滿足實(shí)際需要。

關(guān)鍵詞：行人重識(shí)別；注意力評(píng)分函數(shù)；魯棒性

中圖分類號(hào)：TP311? 文獻(xiàn)標(biāo)志碼：A

0 引言

近幾年，智能化逐漸成為城市發(fā)展的趨勢，監(jiān)控視頻網(wǎng)絡(luò)也越來越普遍地被應(yīng)用到地鐵、商場、醫(yī)院等公共場合，這不僅給人們提供便利，還能確保地區(qū)的安全［1］。但是由于攝像頭的數(shù)量巨大，拍攝場景復(fù)雜，拍攝中會(huì)出現(xiàn)很多不確定因素，雖然目前的人臉識(shí)別技術(shù)比較成熟，但是它有一個(gè)明顯的缺點(diǎn)，就是必須要看到相對(duì)清晰的人臉照片。而通過行人重識(shí)別技術(shù)可以對(duì)已有的可能來源與非重疊攝像機(jī)視閾的視頻序列中識(shí)別并檢索出目標(biāo)行人，從而大大提升了數(shù)據(jù)的時(shí)空連續(xù)性，使數(shù)據(jù)更加準(zhǔn)確、可靠。因此，將行人重識(shí)別技術(shù)運(yùn)用到智能安防、視頻監(jiān)控系統(tǒng)等各個(gè)領(lǐng)域能更好地保障社會(huì)安定。

目前，行人重識(shí)別所采用的方法有基于表征學(xué)習(xí)的ReID方法、底層視覺特征方法、中層語義屬性、高級(jí)視覺特征和別的一些組合方法［2-3］。這些方法雖然能從不同角度解決一些問題，但是不能有效解決在面對(duì)行人局部特征區(qū)域劃分后出現(xiàn)離異值使該區(qū)域內(nèi)容不一致的情況。針對(duì)目前行人圖像易受到外部環(huán)境影響的各種問題，本文提出了基于評(píng)分函數(shù)的方法，進(jìn)而提高魯棒性以及局部特征的可區(qū)分性。

1 行人重識(shí)別理論

1.1 行人重識(shí)別問題描述

盡管目前很多學(xué)者對(duì)行人重識(shí)別進(jìn)行了深入而全面的研究，使得技術(shù)的可用性得到了一定的提高，但是由于顯示復(fù)雜的場景，仍然存在著來自不同背景和視角的挑戰(zhàn)。行人重識(shí)別存在的難點(diǎn)問題如下：

（1）遮擋。在各種復(fù)雜的情況下，行人很容易被多種物品所遮擋，如口罩、墨鏡、桌子等，致使行人的姿態(tài)和穿著特征很難提取，從而影響重識(shí)別的精度。

（2）視角、姿態(tài)的變化。行人在路上的姿態(tài)行為是不可控的，所以在不同的視角拍到的照片都是有很大區(qū)別的，因此這些問題都對(duì)行人重識(shí)別提出了挑戰(zhàn)。

（3）光照變化。由于現(xiàn)實(shí)拍攝過程中光照來源、光照強(qiáng)度、拍攝場景以及攝像參數(shù)具有很大的不確定因素，導(dǎo)致對(duì)于不同分辨率的攝像機(jī)敏感度不同，從而拍到的行人也存在著很大的差異。

（4）相似行人的影響。在實(shí)際場所下，很多人會(huì)面臨撞衫的情況，甚至?xí)谕饨缫蛩貙?dǎo)致之下，不同行人比同一行人更難分辨，導(dǎo)致了相似行人的識(shí)別困難，增加了行人重識(shí)別的研究難度。

（5）距離的影響。近距離拍攝的圖像中大部分是行人，而較遠(yuǎn)距離得到的圖片主要是背景，所以提取目標(biāo)行人特征后的精確性就會(huì)降低。

除了以上問題，行人重識(shí)別還存在無正臉照、配飾、服裝、穿衣風(fēng)格以及由于不同的數(shù)據(jù)集中存在域的偏移問題，使得原數(shù)據(jù)集下訓(xùn)練的模型在目標(biāo)數(shù)據(jù)集下很難取得很好的性能，泛化性能不強(qiáng)。

1.2 常用算法實(shí)現(xiàn)

1.2.1 基于表征學(xué)習(xí)的行人重識(shí)別方法

表征學(xué)習(xí)可以近似看作為樣本在特征空間的分界面，主要通過構(gòu)造網(wǎng)絡(luò)直接得到模型的魯棒性，不直接學(xué)習(xí)圖片之間的相似性。并且主要得益于深度學(xué)習(xí)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)中最流行的算法之一［4］，它可以根據(jù)任務(wù)需求自動(dòng)提取表征特征并且可以在網(wǎng)絡(luò)的輸入時(shí)使得圖像特征表現(xiàn)得更為明顯?；谔卣鞅磉_(dá)的方法包括底層視覺特征、中層語義屬性特征、高級(jí)視覺特征3類。

1.2.2 基于度量學(xué)習(xí)的行人重識(shí)別方法

不同于表征學(xué)習(xí)的方式，度量學(xué)習(xí)旨在通過構(gòu)造網(wǎng)絡(luò)來檢測兩張圖片的相似度，被廣泛用于圖像檢索領(lǐng)域。度量學(xué)習(xí)也可以看作在特征空間進(jìn)行聚類，正樣本距離拉近的過程使得類內(nèi)距離縮小，負(fù)樣本距離推開的過程使得類間距離增大，最終收斂時(shí)使得樣本在特征空間呈現(xiàn)聚類效應(yīng)。度量學(xué)習(xí)的行人重識(shí)別一般分為線性學(xué)習(xí)和非線性學(xué)習(xí)兩種方法，它們之間都依附于強(qiáng)有力的度量函數(shù)，因此度量函數(shù)的好壞十分重要。

1.2.3 基于局部特征的行人重識(shí)別方法

局部特征是對(duì)行人圖像特征的局部表達(dá)，其思路主要是對(duì)圖像的某一區(qū)域進(jìn)行特征提取，最后將多個(gè)局部特征融合到一起作為最終特征。主要的研究方法為：利用關(guān)鍵點(diǎn)來定位以及區(qū)域分塊。

1.2.4 基于多層深度特征融合的行人重識(shí)別方法

采用卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)行人圖像的深層特征可以降低表觀變化造成的影響，提高目標(biāo)行人特征的穩(wěn)定度和可靠性。卷積的本質(zhì)是濾波，操作是加權(quán)平均、乘加運(yùn)算。與普通的神經(jīng)網(wǎng)絡(luò)相比，它具備了“平移不變性”，無論行人目標(biāo)在哪個(gè)位置都能被檢測到，并且可以通過卷積層的級(jí)聯(lián)學(xué)習(xí)到不同尺寸的特征，有效地提取到有用信息。

2 注意力評(píng)分函數(shù)概述

在注意力機(jī)制的背景下，本文將自主性提示稱為查詢（Query），對(duì)于給定的任何查詢，注意力機(jī)制通過注意力匯聚將選擇引導(dǎo)至感官輸入，在注意力機(jī)制中，這些感官輸入被稱為值（Value）［5-6］。設(shè)計(jì)注意力匯聚以便給定的查詢（自主性提示）可以與鍵（非自主性提示）進(jìn)行匹配，將會(huì)引導(dǎo)出最匹配的值（感官輸入）。

從宏觀上來看，利用評(píng)分函數(shù)算法實(shí)現(xiàn)注意力機(jī)制框架，如圖1所示。圖1也說明了如何將注意力匯聚的輸出計(jì)算成為值的加權(quán)和，其中a表示注意力評(píng)分函數(shù)，由于注意力權(quán)重是概率分布，因此，加權(quán)和本質(zhì)上是加權(quán)平均值。

評(píng)分函數(shù)公式：用數(shù)學(xué)語言描繪，假設(shè)有一個(gè)查詢q∈Rq和m個(gè)“鍵-值”對(duì)（k1，v1），……，（km，vm），其中ki∈Rk，vi∈Rv。注意力匯聚函數(shù)f就被表示成值的加權(quán)和：

f（q，（k1，v1），……，（km，vm））=∑mi=1α（q，ki）vi∈Rv（1）

其中，查詢q和鍵ki的注意力權(quán)重（標(biāo)量）是通過注意力評(píng)分函數(shù)a將兩個(gè)向量映射成標(biāo)量，再經(jīng)過softmax運(yùn)算得到的：

α（q，ki）=softmax（a（q，ki））=exp（a（q，ki））∑mj=1exp（a（q，kj））∈R（2）

而softmax操作用于輸出一個(gè)概率分布作為注意力權(quán)重［7-8］。在一些特殊情況下，并非所有的值都應(yīng)該被納入注意力匯聚。某些文本序列被填充了沒有意義的特殊詞元，是為了將有意義的詞元作為值來獲取注意力匯聚，所以本文指定了一個(gè)有效序列長度（即詞元的個(gè)數(shù)），以便在計(jì)算softmax時(shí)過濾超出指定范圍的位置。

正如公式所示，選擇不同的注意力評(píng)分函數(shù)a會(huì)導(dǎo)致不同的注意力匯聚操作［9］。本文主要使用縮放點(diǎn)積注意力可以得到計(jì)算效率更高的評(píng)分函數(shù)。假設(shè)查詢和鍵的所有元素都是獨(dú)立的隨機(jī)變量，而且都滿足零均值和單位方差，那么兩個(gè)向量的點(diǎn)積的均值為0，方差為d。為了確保無論向量長度如何，點(diǎn)積的方差在不考慮向量長度的情況下仍然是1，將點(diǎn)積除以d，則縮放點(diǎn)積注意力評(píng)分函數(shù)為：

a（q，k）=kqTd（3）

在實(shí)踐中，本文從小批量的角度來考慮提高效率，基于n個(gè)查詢和m個(gè)鍵值對(duì)計(jì)算注意力，其中查詢和鍵的長度相同為d，值的長度為v0。查詢Q∈Rn×d。鍵K∈Rm×d和值V∈Rm×v的縮放點(diǎn)積注意力是：

softmax（QKTd）V∈Rn×v（4）

3 實(shí)驗(yàn)結(jié)果與分析

本系統(tǒng)行人檢測模塊采用的是Market-1501，這是常用的行人重識(shí)別中的數(shù)據(jù)集，實(shí)驗(yàn)選用ResNet-150這種流行的CNN網(wǎng)絡(luò)。本文注意力模塊使用縮放點(diǎn)積算法優(yōu)化，初始學(xué)習(xí)率為0.01，權(quán)重衰減率設(shè)置為0.000 5，迭代次數(shù)為50次，測試中，不增加數(shù)據(jù)增強(qiáng)操作。

3.1 評(píng)價(jià)標(biāo)準(zhǔn)

為了評(píng)估算法的性能，本文采用Rank-1和mAP作為評(píng)估標(biāo)準(zhǔn)來衡量識(shí)別的效果。Rank-1是指在候選集中得到與檢索目標(biāo)相似性排名最高的圖片為目標(biāo)行人的概率，是排序命中率的核心指標(biāo)［10］。而平均精度值mAP（Mean Average Precision）是更能全面衡量ReID算法效果的指標(biāo)，其計(jì)算公式為mAP=所有類別的平均精度求和除以所有類別，其中mAP的相對(duì)大小是衡量類似任務(wù)模型質(zhì)量的關(guān)鍵標(biāo)準(zhǔn)之一。本文采用了Rank-1和mAP的結(jié)果來衡量引入注意力機(jī)制識(shí)別模型的性能。

3.2 實(shí)驗(yàn)結(jié)果及分析

本文做了兩組對(duì)比實(shí)驗(yàn)，對(duì)比了在模擬的行人圖像各種分辨率共存和尺度不匹配的場景下，引入注意力評(píng)分函數(shù)和未引入時(shí)分別做行人重識(shí)別的實(shí)驗(yàn)效果，實(shí)驗(yàn)結(jié)果如表1所示，左邊的數(shù)據(jù)是mAP，即本次實(shí)驗(yàn)的平均精度，右邊的數(shù)據(jù)是Rank-1，即實(shí)驗(yàn)中排序第一的目標(biāo)行人圖像是所要查詢的行人概率。

通過實(shí)驗(yàn)得出的結(jié)果可知，對(duì)收集到的數(shù)據(jù)集，正面的目標(biāo)行人圖像首位命中率可以達(dá)到89.57%，該模型在處理正面行人圖像時(shí)效果較為準(zhǔn)確。并且從以上結(jié)果可以看出：本文提出在隱層和輸出層之間使用縮放點(diǎn)積注意力評(píng)分函數(shù)可以增強(qiáng)最終行人重識(shí)別的正確率，這表明了本文提出的方法是有效的，并且本文提出的模型并沒有經(jīng)過任何的預(yù)訓(xùn)練，這也可以說明本文提出的模型具有較強(qiáng)的魯棒性。

實(shí)驗(yàn)證明引入注意力評(píng)分函數(shù)的行人重識(shí)別技術(shù)有一定幅度的提高，網(wǎng)絡(luò)的表征能力得到了進(jìn)一步的增強(qiáng)，基于注意力評(píng)分函數(shù)的行人重識(shí)別研究與傳統(tǒng)的算法相比有一定的競爭力。但是，行人重識(shí)別的數(shù)據(jù)集的樣本數(shù)量比較少，缺少樣本也是行人重識(shí)別的一個(gè)重要難題，這也意味著使用龐大的模型需要對(duì)樣本進(jìn)行復(fù)雜的預(yù)處理和數(shù)據(jù)夸張以及在網(wǎng)絡(luò)上加入各種的措施避免過擬合。

4 結(jié)語

為了解決行人重識(shí)別準(zhǔn)確率低的問題，本文提出了一種新的基于縮放點(diǎn)積注意力評(píng)分函數(shù)方法，這種方法通過調(diào)優(yōu)算法來提升性能，優(yōu)點(diǎn)在于其夠全局捕捉聯(lián)系，不像序列RNN捕捉長期依賴關(guān)系的能力那么弱并且可以并行化，十分有效地提高模型的魯棒性。然而，本文所提出的方法也存在一定的缺點(diǎn)：一是當(dāng)查詢和鍵是不同長度的矢量時(shí)，縮放點(diǎn)積注意力函數(shù)沒有其他的評(píng)分函數(shù)計(jì)算效率高；二是文中樣本數(shù)據(jù)較少，該實(shí)驗(yàn)結(jié)果仍存在必然偏差，若增加樣本數(shù)據(jù)量，則模型的魯棒性能達(dá)到更好的預(yù)測效果。

參考文獻(xiàn)

［1］嚴(yán)燦祥.行人再識(shí)別技術(shù)研究［D］.北京：中國科學(xué)院大學(xué)，2014.

［2］李承宸.基于局部特征的行人重識(shí)別技術(shù)應(yīng)用與研究［D］.濟(jì)南：山東師范大學(xué)，2020.

［3］樊霖.基于孿生網(wǎng)絡(luò)的行人重識(shí)別研究［D］.天津：天津理工大學(xué)，2020.

［4］湯勇.基于深度學(xué)習(xí)的行人檢測與行人重識(shí)別研究［D］.長沙：湖南大學(xué)，2019.

［5］張嚴(yán).基于注意力機(jī)制的對(duì)比學(xué)習(xí)行人重識(shí)別［D］.武漢：華中科技大學(xué)，2020.

［6］羅善益.基于注意力模型的行人重識(shí)別算法研究［D］.武漢：華中科技大學(xué)，2020.

［7］祁子梁.基于混合損失函數(shù)的行人再識(shí)別研究［D］.天津：河北工業(yè)大學(xué)，2019.

［8］謝以翔.基于視覺注意力機(jī)制的行人再識(shí)別研究［D］.合肥：安徽大學(xué)，2019.

［9］張斌艷，朱小飛，肖朝暉，等.基于半監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的短文本分類［J］.山東大學(xué)學(xué)報(bào)（理學(xué)版），2021（5）：57-65.

［10］鄭付科.基于內(nèi)容一致性和行人屬性的行人重識(shí)別研究［D］.鄭州：鄭州大學(xué)，2020.

（編輯 王雪芬）

Pedestrian reidentification study based on the attention scoring function

Liu? Jingyi， Jin? Bin， Xie? Xiangxin*， Li? Tianyi

（Nantong Institute of Technology， Nantong 226000， China）

Abstract：? Person re-identification， also known as cross-border tracking， aims to make up for the visual limitations of fixed cameras， and this paper proposes a method for detecting pedestrians by using the attention scoring function with higher computational efficiency by using the dot product to obtain a more efficient attention scoring function for detection. The experimental results show that with the support of the attention mechanism， the model can effectively enhance the extraction of keywords such as pedestrian image features， further improve the robustness of the model， and effectively meet the practical needs.

Key words： person re-identification; attention scoring function; robustness