基于改進(jìn)DeepSORT和FastReID的室內(nèi)多目標(biāo)人員跨鏡識(shí)別與跟蹤

趙安新 楊金橋 楊浩波 史新國(guó) 付文旭 劉帥 王偉峰

摘 要：為解決利用視頻分析實(shí)現(xiàn)目標(biāo)檢測(cè)、目標(biāo)跟蹤和行人重識(shí)別存在的諸如目標(biāo)框重框、遮擋等問(wèn)題，提出了一種基于改進(jìn)DeepSORT和FastReID的室內(nèi)多目標(biāo)人員跨鏡追蹤的方法。該方法使用YOLOv5s進(jìn)行人員檢測(cè)、DeepSORT進(jìn)行人員跟蹤、FastReID進(jìn)行人員重識(shí)別。采用EIOU-NMS算法解決了YOLOv5s人員檢測(cè)過(guò)程中出現(xiàn)的重框問(wèn)題；在FastReID的特征提取網(wǎng)絡(luò)中引入了NEUFA注意力機(jī)制，并使用優(yōu)化后的FastReID的特征提取網(wǎng)絡(luò)替換了DeepSORT原有特征提取網(wǎng)絡(luò)，降低了DeepSORT跟蹤過(guò)程中由于遮擋導(dǎo)致的ID跳變的次數(shù)；結(jié)合注意力機(jī)制、人員動(dòng)態(tài)圖像庫(kù)與運(yùn)動(dòng)估計(jì)的方法減少了人員識(shí)別過(guò)程中因遮擋導(dǎo)致的人員無(wú)法識(shí)別和錯(cuò)誤識(shí)別的次數(shù)。結(jié)果表明：EIOU-NMS算法將人員檢測(cè)準(zhǔn)確率提升了0.8%，召回率提升了0.4%；替換了特征網(wǎng)絡(luò)后的DeepSORT將人員跟蹤中的ID跳變次數(shù)降低了38.46%；結(jié)合注意力機(jī)制、人員動(dòng)態(tài)圖像庫(kù)和運(yùn)動(dòng)估計(jì)方法之后，None的次數(shù)減少了79.8%，誤識(shí)別次數(shù)減少了91.2%。研究結(jié)果能夠提升人員識(shí)別與跟蹤的準(zhǔn)確性，降低遮擋對(duì)人員跟蹤和識(shí)別帶來(lái)的影響。

關(guān)鍵詞：多目標(biāo)跟蹤；局部遮擋；目標(biāo)檢測(cè)；行人重識(shí)別；人員圖像庫(kù)；運(yùn)動(dòng)估計(jì)

中圖分類號(hào)：TN 911.73文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1672-9315（2023）03-0622-09

DOI：10.13800/j.cnki.xakjdxxb.2023.0320開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Indoor multi-object personnel recognition and tracking across camera based on optimized DeepSORT and FastReID

ZHAO Anxin¹，YANG Jinqiao¹，YANG Haobo²，SHI Xinguo³，F(xiàn)U Wenxu¹，LIU Shuai¹，WANG Weifeng⁴

（1.College of Communication and Information? Engineering，Xian University of Science and Technology，Xian 710054，China;2.Shaanxi Zhengtong Coal Industry Co.，Changwu 713600，China;3.Shandong Boxuan Mineral Resources Technology Development Co.，Jining? 272073，China;4.College of Safety Science and Engineering，Xian University of Science and Technology，Xian 710054，China）

Abstract：To solve the problems such as target frame re-framing and occlusion that exist in target detection，target tracking，and person re-identification using video analytics，a method based on optimized DeepSORT and FastReID for indoor multi-target person cross-camera tracking is proposed.YOLOv5s is adopted for person detection，DeepSORT for person tracking，and FastReID for person re-identification.The EIOU-NMS algorithm is used to solve the re-framing problem that occurs during YOLOv5s person detection; the NEUFA attention mechanism is introduced in the feature extraction network of FastReID，and the optimized feature extraction network of FastReID is chosen to replace the original feature extraction network of DeepSORT，which reduces the number of ID jumps due to occlusion in the DeepSORT tracking process.The combination of attention mechanism，dynamic image gallery，and motion estimation reduces the number of unidentified and incorrectly identified persons due to occlusion during DeepSORT tracking.The results show that the EIOU-NMS algorithm improves the person detection accuracy by 0.8% and the recall rate by 0.4%; the replacement of the feature networks in the DeepSORT? reduces the number of ID jumps in person tracking by 38.46%; combining the attention mechanism，person dynamic image library and motion estimation methods reduces the number of None by 79.8% and? the number of false identifications by 91.2%.The research results can improve the accuracy of person identification and tracking，thus reducing the impact of occlusion on person tracking and identification.

Key words：multiple object tracking；local occlusion；object detection；person re-identification；image bank of people；movement estimation

0 引 言

隨著大數(shù)據(jù)技術(shù)的不斷提升，人工智能技術(shù)也在不斷地發(fā)展成熟，基于深度學(xué)習(xí)算法與深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)識(shí)別技術(shù)已經(jīng)應(yīng)用于工業(yè)的各個(gè)領(lǐng)域^[1]。除了如洗煤廠、煉鋼廠、汽車(chē)制造廠等工廠的車(chē)間內(nèi)為了保證工人安全需要使用智能監(jiān)控設(shè)備，當(dāng)企業(yè)出現(xiàn)如流水線人手不足或者火災(zāi)等應(yīng)急情況下需要進(jìn)行人員調(diào)度或者疏散人員時(shí)，需要清楚的了解人員的分布境況，以便指定合理的方案^[2]。將目標(biāo)檢測(cè)、目標(biāo)跟蹤與行人重識(shí)別算法應(yīng)用到辦公樓的監(jiān)控設(shè)備中，既能夠幫助企業(yè)對(duì)人員進(jìn)行合理管控，又避免了人眼查看監(jiān)控因疲勞而忽視關(guān)鍵信息的問(wèn)題，省時(shí)省力。同時(shí)，3種算法的結(jié)合使用能夠有效的增加識(shí)別與跟蹤的準(zhǔn)確性^[3]。

在實(shí)際應(yīng)用中，多目標(biāo)的智能識(shí)別與跟蹤往往面臨著檢測(cè)框重框和人員遮擋的問(wèn)題。針對(duì)重框問(wèn)題，譚芳喜等使用DIOU-NMS（基于Distance-IOU的非極大值抑制）去除冗余框，提升檢測(cè)精度^[4]。張長(zhǎng)倫等在NMS中融入了注意力機(jī)制，結(jié)合了位置信息和框的得分信息得到框的最終得分^[5]。侯志強(qiáng)等提出一種雙閾值非極大值抑制算法，將傳統(tǒng)的（Intersection Over Union，IOU）指標(biāo)替換為全局交并比指標(biāo)（Generalized Intersection Over Union，GIOU），抑制多余的檢測(cè)框^[6]。從以上研究可以看出，目前重框問(wèn)題主要通過(guò)非極大值抑制（Non Maximum Suppression，NMS）算法來(lái)解決，以上算法雖然解決了重框問(wèn)題，但并未考慮預(yù)測(cè)框和真實(shí)框的橫縱比和難易樣本之間的平衡問(wèn)題。為了降低遮擋對(duì)人員追蹤的影響，學(xué)者們通過(guò)在網(wǎng)絡(luò)模型中添加注意力機(jī)制引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)圖片中需要關(guān)注的區(qū)域，薛麗霞等結(jié)合空間和通道雙重注意力機(jī)制提出一種網(wǎng)絡(luò)模型，提取到了更有針對(duì)性的特征^[7]。CHEN等為解決注意力機(jī)制提取局部特征容易忽略地相關(guān)性特征的問(wèn)題提出了一種多樣專注網(wǎng)絡(luò)（Attentive But Diverse Network，ABD-NET）^[8]。ZHANG等設(shè)計(jì)一種（Relation-aware Global Attention，RGA）模型，對(duì)于提高特征的表示能力效果顯著^[9]。雖然注意力機(jī)制能夠有效的降低遮擋帶來(lái)影響，但現(xiàn)有的注意力機(jī)制還無(wú)法徹底解決遮擋問(wèn)題。文獻(xiàn)[10]指出ReID模型能夠有效增加軌跡關(guān)聯(lián)的準(zhǔn)確性，緩解目標(biāo)被遮擋的問(wèn)題，而目前人員跟蹤中使用的ReID模型相對(duì)簡(jiǎn)單，難以提取到更好的外觀信息。為此，文中提出一種基于優(yōu)化DeepSORT和FastReID的多目標(biāo)人員識(shí)別與跟蹤的方法，使用（Efiicient Generalized Intersection Over Union，EIOU）-NMS算法代替YOLOv5s原有的NMS算法，EIOU-NMS算法計(jì)算了預(yù)測(cè)框和真實(shí)框的寬高之間的差異值，既解決重框問(wèn)題，又降低了難易樣本不平衡的帶來(lái)的影響。在FastReID的特征提取網(wǎng)絡(luò)中引入NEUFA注意力機(jī)制，并使用優(yōu)化后的FastReID網(wǎng)絡(luò)替換DeepSORT原有ReID網(wǎng)絡(luò)，緩解了跟蹤過(guò)程中的遮擋問(wèn)題。此外，為了保證人員在被遮擋時(shí)能夠準(zhǔn)確識(shí)別，建立了動(dòng)態(tài)人員圖像庫(kù)并根據(jù)人員的像素坐標(biāo)校正FastReID的識(shí)別結(jié)果。

1 人員目標(biāo)檢測(cè)算法

目標(biāo)檢測(cè)的目的在于找到圖像中感興趣的部分并進(jìn)行分類與定位，被廣泛應(yīng)用在視頻分析中^[11-13]?，F(xiàn)階段目標(biāo)檢測(cè)方法主要分為單階段法和兩階段法，兩階段法先通過(guò)如邊界箱和選擇性搜索等區(qū)域選擇法進(jìn)行候選區(qū)域的生成，再使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)樣本進(jìn)行分類，典型的兩階段目標(biāo)檢測(cè)算法有快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）^[14]和掩模卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）^[15]等。兩階段法雖然準(zhǔn)確度高但相比單階段法速度相對(duì)較慢，單階段法直接通過(guò)卷積網(wǎng)絡(luò)提取樣本特征預(yù)測(cè)不同目標(biāo)物的類別信息與位置信息。單階段法提升了算法的運(yùn)行速度，能夠滿足實(shí)時(shí)檢測(cè)的要求，典型的單階段目標(biāo)檢測(cè)算法包括YOLO（You Only Look Once）^[16]系列和SSD（Single Shot Multibox Detector）^[17]系列。

表1對(duì)比近年來(lái)經(jīng)典的目標(biāo)檢測(cè)算法，可以看出，YOLOv5s的平均精度（Average Precision，AP）和每秒傳輸幀數(shù)（Frames Per Second，F(xiàn)PS）均高于其他算法，故本研究采用YOLOv5s進(jìn)行人員檢測(cè)。

非極大值抑制（Non Maximum Suppression，NMS）算法通過(guò)調(diào)整目標(biāo)檢測(cè)框與最高得分的預(yù)測(cè)框之間的交并比IOU來(lái)抑制多余的目標(biāo)框，IOU是預(yù)測(cè)框與真實(shí)框之間的交并比，IOU損失是指1減去IOU的值，IOU和IOU損失函數(shù)見(jiàn)下式。

式中 B為預(yù)測(cè)框面積；B_i為真實(shí)框面積。IOU損失雖然可以表達(dá)出預(yù)測(cè)框和真實(shí)框的檢測(cè)效果，但當(dāng)預(yù)測(cè)框和真實(shí)框不相交時(shí)，IOU損失就恒等于1，無(wú)法繼續(xù)進(jìn)行學(xué)習(xí)。此外，IOU損失函數(shù)還無(wú)法判斷預(yù)測(cè)框與真實(shí)框之間的位置關(guān)系。而EIOU損失函數(shù)^[18]計(jì)算了預(yù)測(cè)框和真實(shí)框中心點(diǎn)的標(biāo)準(zhǔn)化距離和2個(gè)框?qū)捙c高之間的差異，使得預(yù)測(cè)框與真實(shí)框不相交時(shí)，EIOU損失函數(shù)依舊可以尋找下降梯度。EIOU損失函數(shù)計(jì)算見(jiàn)下式。

式中 b和b^gt分別為預(yù)測(cè)框與真實(shí)框的中心點(diǎn)；ρ為b和b^gt之間的歐式距離;d為預(yù)測(cè)框和真實(shí)框的最小外接矩形的對(duì)角線距離;ω，ω^gt，h，h^gt分別為預(yù)測(cè)框和真實(shí)框的寬和長(zhǎng)；C_w，C_h為覆蓋預(yù)測(cè)框和真實(shí)框的最小外接矩形的寬度和長(zhǎng)度。

因此采用EIOU-NMS算法替換了YOLOv5s中原有的NMS算法。EIOU-NMS算法將人員檢測(cè)準(zhǔn)確率由90.4%提升到91.2%，提升了0.8%，召回率由94.8%提升到95.2%，提升了0.4%。

圖1對(duì)比NMS優(yōu)化前后的檢測(cè)結(jié)果，圖1（a）是優(yōu)化前的檢測(cè)結(jié)果，圖1（b）是優(yōu)化后的檢測(cè)結(jié)果，可以看出優(yōu)化后的NMS成功去掉人員檢測(cè)中多余的預(yù)測(cè)框。

2 DeepSORT多目標(biāo)跟蹤

目標(biāo)跟蹤通過(guò)找到圖像中感興趣的區(qū)域，在后續(xù)視頻幀中對(duì)其進(jìn)行跟蹤，在監(jiān)控安防與無(wú)人駕駛等領(lǐng)域都起著關(guān)鍵作用^[19-21]?；诟櫟哪繕?biāo)數(shù)目，可以分為單目標(biāo)和多目標(biāo)跟蹤，現(xiàn)階段研究主要通過(guò)獲取目標(biāo)外觀特征和視頻每一幀中的目標(biāo)信息來(lái)進(jìn)行跟蹤。

DeepSORT作為一種端到端的跟蹤算法，能夠同時(shí)提取了人員的外觀信息和運(yùn)動(dòng)信息，因此研究使用DeepSORT算法進(jìn)行多目標(biāo)跟蹤。但由于DeepSORT中的使用的ReID特征提取網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，為了獲得更具針對(duì)性的行人特征，需要使用其他ReID模型替換DeepSORT中原有的ReID模型。表2將FastReID^[22]與其他典型的行人重識(shí)別算法做了對(duì)比，可以看出在大型公開(kāi)數(shù)據(jù)集Market 1501，DukeMTMC中的Rank 1和mAP值均高于其他算法，所以在DeepSORT中使用FastReID特征提取網(wǎng)絡(luò)。

為了降低遮擋帶來(lái)的影響，在替換DeepSORT的特征提取網(wǎng)絡(luò)之前在FastReID的Bottleneck中添加了注意力機(jī)制，如圖2所示，在FastReID的Bottleneck中添加了NEUFA^[23]注意力機(jī)制。表3記錄FastReID添加不同注意力機(jī)制之后在Market1501數(shù)據(jù)集上的表現(xiàn)，其中FastReID+NEUFA的mAP值和Rank值均是最高的。

改進(jìn)后的DeepSORT模型在跟蹤時(shí)ID跳變次數(shù)由13次減少為8次，在原有的基礎(chǔ)上減少38.46%。

3 基于動(dòng)態(tài)圖像庫(kù)和像素坐標(biāo)的人員重識(shí)別

人員重識(shí)別（Person Re-identification）利用計(jì)算機(jī)視覺(jué)，將多個(gè)攝像機(jī)拍攝的同一人員的圖像關(guān)聯(lián)起來(lái)，人員第1次被攝像機(jī)拍攝到的圖像會(huì)被保存到一個(gè)圖像庫(kù)，當(dāng)人員被另一個(gè)攝像機(jī)拍攝到時(shí)，當(dāng)前圖像會(huì)在圖像庫(kù)中進(jìn)行匹配識(shí)別，識(shí)別出準(zhǔn)確的身份信息。文中使用FastReID進(jìn)行人員的重識(shí)別，針對(duì)由于遮擋導(dǎo)致的人員身份錯(cuò)誤識(shí)別或者識(shí)別不到的問(wèn)題，在FastReID的Bottleneck中添加了NEUFA注意力機(jī)制。表4記錄了FastReID添加不同注意力機(jī)制在測(cè)試視頻中的表現(xiàn)，F(xiàn)astReID添加NEUFA之后的誤識(shí)別次數(shù)和None的數(shù)量均低于其他注意力機(jī)制。其中None的數(shù)量為未識(shí)別到的人員數(shù)量，誤識(shí)別次數(shù)指的是錯(cuò)誤識(shí)別到的人員次數(shù)，比如將人員A錯(cuò)誤識(shí)別為人員B。

3.1 動(dòng)態(tài)人員圖像庫(kù)

由于在公司辦公樓內(nèi)的人員基本是固定的，所以提前建立好人員圖像庫(kù)用來(lái)進(jìn)行人員的身份匹配。張海燕等將Market1501數(shù)據(jù)集上捕捉到的人員姿態(tài)劃分為8個(gè)標(biāo)準(zhǔn)姿態(tài)骨架，如圖3所示，基于此在人員圖像庫(kù)內(nèi)提前放置每個(gè)人員在8個(gè)不同方向的行走圖像^[24]。為了能夠在人員遮擋時(shí)準(zhǔn)確識(shí)別到人員的身份信息，圖庫(kù)內(nèi)還需保存人員身體被部分遮擋的圖像。

攝像機(jī)鏡頭可劃分為遠(yuǎn)景鏡頭、中景鏡頭、近景鏡頭和特寫(xiě)鏡頭^[25]。其中遠(yuǎn)景鏡頭拍攝到人員的全身像，中景鏡頭拍攝人物膝部以上的活動(dòng)情形，表現(xiàn)人物手臂活動(dòng)范圍，近景鏡頭拍攝人員胸部以上圖像，特寫(xiě)鏡頭則拍攝人員肩部以上的頭像。其中中景鏡頭、近景鏡頭和特寫(xiě)鏡頭可以看成人員被遮擋的情況。以上遮擋可以看成橫向遮擋，而遮擋除了橫向遮擋之外還有縱向遮擋，因此對(duì)于每個(gè)人員需要存儲(chǔ)他的全身圖像、頭部圖像、胸部以上的圖像、膝部以上的圖像和半身像。

考慮到以上因素，需要在人員圖像庫(kù)內(nèi)提前放置每個(gè)人員在8個(gè)不同方向的行走圖像，每個(gè)方位的圖像包括人員全身圖像、頭部圖像、胸部以上的圖像、膝部以上的圖像和半身像，共計(jì)40張圖像。除了預(yù)設(shè)的圖像，圖像庫(kù)還會(huì)根據(jù)人員的識(shí)別信息存儲(chǔ)與圖像庫(kù)內(nèi)已有的圖像特征差異較大的人員圖像。

圖像的存儲(chǔ)通過(guò)計(jì)算人員之間的余弦相似度，余弦相似度得分閾值設(shè)定為0.6，當(dāng)?shù)梅执笥诘扔?.6時(shí)確定為目標(biāo)人員，當(dāng)有多人得分均大于0.6時(shí)，取最高值，得分越高說(shuō)明與圖像庫(kù)內(nèi)的某一張圖像越相似。為了存儲(chǔ)到與初始圖像特征差異較大的圖像，需要在能夠確定人員身份的情況下保存該人員得分分值較低的圖像，該分值越接近0.6越好，這樣存儲(chǔ)到的圖像才能夠與初始圖像有較大的區(qū)分度。動(dòng)態(tài)圖像庫(kù)在測(cè)試視頻中的表現(xiàn)見(jiàn)表5。添加了動(dòng)態(tài)人員圖庫(kù)的FastReID算法將None的數(shù)量由169次減少到123次，誤識(shí)別的次數(shù)由34次減少到19次，添加了注意力機(jī)制與動(dòng)態(tài)人員圖庫(kù)后，None的數(shù)量由169次減少到108次，誤識(shí)別的次數(shù)由34次減少到17次，相較單一添加注意力機(jī)制，同時(shí)添加注意力機(jī)制與動(dòng)態(tài)人員圖庫(kù)2種方法對(duì)于減少遮擋引起的人員錯(cuò)誤識(shí)別與無(wú)法識(shí)別的問(wèn)題收益更大。

3.2 根據(jù)像素坐標(biāo)校正人員身份信息

在人員識(shí)別的過(guò)程中，添加注意力機(jī)制和建立動(dòng)態(tài)人員圖庫(kù)能夠有效減少由于人員部分遮擋導(dǎo)致的人員無(wú)法識(shí)別和錯(cuò)誤識(shí)別的次數(shù)，而當(dāng)人員被嚴(yán)重遮擋時(shí)，以上2種方法仍然無(wú)法準(zhǔn)確識(shí)別到人員的身份信息。因此，提出一種根據(jù)像素坐標(biāo)校正人員身份信息的方法，如果該人員在遮擋的上一幀程序正確識(shí)別到了該人員的身份信息，就可以根據(jù)上一幀的人員信息校正當(dāng)前幀的人員信息，該方法的步驟如下。

步驟1：保存正確識(shí)別到的每個(gè)人員的像素坐標(biāo)和身份信息，用來(lái)和下一幀校正。

步驟2：判斷當(dāng)前幀是否存在None或者誤識(shí)別現(xiàn)象，如果沒(méi)有，保存當(dāng)前幀的人員信息，作為下一幀的校正依據(jù)。如果有，則計(jì)算每個(gè)人員之間的像素距離，判斷該人員在前一幀和當(dāng)前幀之間的距離是否小于閾值。

步驟3：如果距離小于閾值，查看該人員身份是否發(fā)生改變，如果發(fā)生改變，則使用前一幀保存的正確信息進(jìn)行校正。如果距離大于閾值，則判定前一幀與當(dāng)前幀不是同一個(gè)人，該人員直接使用當(dāng)前幀的身份信息。

步驟4：校正完成后保存當(dāng)前幀人員信息，作為下一幀校正依據(jù)。

上述步驟中，人員在前一幀與當(dāng)前幀的距離指的是人員前一幀與當(dāng)前幀的檢測(cè)框上邊框中心點(diǎn)的距離，通過(guò)兩點(diǎn)之間的距離公式計(jì)算，兩點(diǎn)間的距離見(jiàn)式（4）。

式中 d為前一幀與當(dāng)前幀人員檢測(cè)框上邊框中心點(diǎn)的距離；x，x₀分別為前一幀和當(dāng)前幀上邊框中心點(diǎn)的x坐標(biāo)；y，y₀分別為前一幀和當(dāng)前幀上邊框中心點(diǎn)的y坐標(biāo)。距離的閾值應(yīng)不小于人員在前一幀與當(dāng)前幀移動(dòng)的最大距離，閾值的取值依賴于視頻的分辨率，采樣間隔和人員的移動(dòng)速度。本研究采用型號(hào)為DH-IPC-HFW4443M-I1的大華攝像機(jī)，攝像機(jī)距離地面3 m，俯拍角度為30°。攝像機(jī)的分辨率為1 280×720，采樣間隔為1，人員移動(dòng)的平均速度為1 m/s，人員每一幀在x軸和y軸上移動(dòng)的像素距離均不超過(guò)5個(gè)像素單位，因此，當(dāng)前試驗(yàn)環(huán)境下閾值th=5²+5²。當(dāng)視頻分辨率、人員平均速度和采樣間隔發(fā)生改變時(shí)，人員每一幀所能移動(dòng)的最大像素距離也會(huì)發(fā)生改變。當(dāng)分辨率發(fā)生變化時(shí)，視頻幀內(nèi)所包含的像素點(diǎn)的個(gè)數(shù)也會(huì)變化，但人員在前一幀和當(dāng)前幀在x軸和y軸上所能移動(dòng)的最大像素距離與視頻幀中x軸和y軸總長(zhǎng)度的比值不發(fā)生改變，因此當(dāng)視頻分辨率發(fā)生變化時(shí)，基于該比值可以求出其他分辨率下人員所能移動(dòng)的最大像素距離。以1 m/s的速度為基準(zhǔn)，當(dāng)人員移動(dòng)速度變?yōu)樵瓉?lái)的x倍時(shí)，每一幀內(nèi)人員的移動(dòng)的最大像素距離也會(huì)變?yōu)樵瓉?lái)的x倍。同樣的，當(dāng)采樣間隔變?yōu)樵瓉?lái)的x倍時(shí)，人員在前一幀和當(dāng)前幀能移動(dòng)的最大像素距離也會(huì)變?yōu)樵瓉?lái)的x倍，例如當(dāng)采樣間隔由1變成4時(shí)，人員在相鄰2次采樣之間所能移動(dòng)的最大像素單位會(huì)變?yōu)樵瓉?lái)的4倍?？紤]以上因素，確定閾值的表達(dá)式為

式中 th為閾值；l₁，l₂分別為在當(dāng)前分辨率下，人員在一幀內(nèi)沿x軸所能移動(dòng)的最大像素單位與x軸總長(zhǎng)的比值和沿y軸所能移動(dòng)的最大像素單位與y軸總長(zhǎng)的比值；p_x，p_y分別為目標(biāo)分辨率的寬度與高度；f為FastReID進(jìn)行人員識(shí)別時(shí)的采樣間隔；v為人員的運(yùn)動(dòng)速度。該運(yùn)動(dòng)估計(jì)方法的流程如圖4所示。

表6對(duì)比注意力機(jī)制、行人動(dòng)態(tài)圖庫(kù)和根據(jù)像素坐標(biāo)校正人員身份信息（簡(jiǎn)稱運(yùn)動(dòng)估計(jì)）3種不同方法在測(cè)試視頻中的表現(xiàn)，數(shù)據(jù)顯示，在FastReID中分別加入3種方法都能夠減少None的數(shù)量和誤識(shí)別的次數(shù)，將注意力機(jī)制、人員動(dòng)態(tài)圖像庫(kù)和運(yùn)動(dòng)估計(jì)的方法結(jié)合之后，None的數(shù)量減少為34次，減少了79.8%，誤識(shí)別次數(shù)減少為3次，減少了91.2%，相較于只使用一種或者2種方法，能夠更準(zhǔn)確的識(shí)別到人員身份，充分證明了上述方法對(duì)于正確識(shí)別人員身份信息的有效性。

使用人員像素坐標(biāo)校正人員身份信息的效果展示如圖5所示：在第654幀中，白衣男子的身份信息，本應(yīng)未fu，但是由于身體部分被遮擋，被FastReID錯(cuò)誤識(shí)別為了yao。在第838幀中，帶眼鏡的黑衣男子的身份信息，本應(yīng)為shen，但是由于身體部分被遮擋，F(xiàn)astReID未識(shí)別到該人員。通過(guò)該方法成功的校正了白衣男子和戴眼鏡黑衣男子的身份信息。

4 跨攝像機(jī)的人員識(shí)別與跟蹤

為了提升人員識(shí)別與跟蹤的效果，將目標(biāo)檢測(cè)、行人重識(shí)別與行人跟蹤技術(shù)結(jié)合起來(lái)，構(gòu)建的框架如圖6所示，對(duì)于輸入的視頻流，首先使用YOLOv5s進(jìn)行人員檢測(cè)，將人員檢測(cè)框傳入到DeepSORT中，DeepSORT將人員特征信息輸入到FastReID中，F(xiàn)astReID通過(guò)將視頻中提取到的人員特征與人員查詢圖庫(kù)內(nèi)的圖片進(jìn)行匹配，從而識(shí)別出人員身份信息。

采用深度學(xué)習(xí)框架Pytorch 1.9.0，NVIDIA GeForce GTX 1650顯卡，在Windows 64位系統(tǒng)下進(jìn)行試驗(yàn)研究。選用2臺(tái)大華DH-IPC-HFW4443M-I1型號(hào)的攝像機(jī)，攝像機(jī)1拍攝辦公室內(nèi)的場(chǎng)景，攝像機(jī)2拍攝辦公室外走廊的場(chǎng)景，攝像機(jī)距離地面2.5 m，俯拍角度30°。試驗(yàn)場(chǎng)景如圖7所示。

試驗(yàn)結(jié)果如圖8所示，為了保護(hù)人員隱私，在比較清晰的人員面部打了馬賽克，后續(xù)試驗(yàn)結(jié)果做了同樣處理。人員沿走廊走向辦公室，在辦公室行走一圈后停止前行。圖8（a）是攝像機(jī)2拍攝到的走廊的視頻截圖，圖8（b）是攝像機(jī)1拍攝到的辦公室內(nèi)的視頻截圖，圖8（a）和圖8（b）均存在人員相互遮擋的現(xiàn)象。圖中藍(lán)色的線條是人員的跟蹤軌跡，右上角的英文字母是FastReID賦予的人員身份信息，可以看出在測(cè)試視頻中，無(wú)論處于哪個(gè)場(chǎng)景，行人的身份信息都沒(méi)有發(fā)生改變?？梢?jiàn)文中提出的框架在人員部分身體被遮擋的情況下能夠準(zhǔn)確的識(shí)別和跟蹤到目標(biāo)人員。

5 結(jié) 論

1）結(jié)合改進(jìn)后的YOLOv5s人員檢測(cè)算法、DeepSORT人員跟蹤算法與FastReID行人重識(shí)別算法實(shí)現(xiàn)了室內(nèi)人員的跨鏡識(shí)別與跟蹤。

2）使用DeepSORT算法進(jìn)行人員跟蹤，優(yōu)化了DeepSORT的檢測(cè)器YOLOv5s算法的中的非極大值抑制算法和DeepSORT的特征提取網(wǎng)絡(luò)，降低了人員跟蹤過(guò)程中的ID跳變次數(shù)。

3）使用FastReID進(jìn)行人員重識(shí)別，結(jié)合注意力機(jī)制、人員動(dòng)態(tài)圖像庫(kù)和運(yùn)動(dòng)估計(jì)的方法降低了遮擋造成的人員無(wú)法識(shí)別與識(shí)別錯(cuò)誤的次數(shù)。

參考文獻(xiàn)（References）：

[1] 余京蕾.淺談?dòng)?jì)算機(jī)視覺(jué)技術(shù)進(jìn)展及其新興應(yīng)用[J].北京聯(lián)合大學(xué)學(xué)報(bào)，2020，34（1）：63-69.

YU Jinglei.A study on the progress of computer vision and its newly developing applications[J].Journal of Beijing Union University，2020，34（1）：63-69.

[2]徐江浪，李林燕，萬(wàn)新軍，等.結(jié)合目標(biāo)檢測(cè)的室內(nèi)場(chǎng)景識(shí)別方法[J].計(jì)算機(jī)應(yīng)用，2021，41（9）：2720-2725.

XU Jianglang，LI Linyan，WAN Xinjun，et al.Indoorscene recognition method combined with object detection[J].Journal of Computer Applications，2021，41（9）：2720-2725.

[3]胡正平，張敏姣，李淑芳，等.智能視頻監(jiān)控系統(tǒng)中行人再識(shí)別技術(shù)研究綜述[J].燕山大學(xué)學(xué)報(bào)，2019，43（5）：377-393.

HU Zhengping，ZHANG Minjiao，LI Shufang，et al.Review of person re-identification technology in intelligent video surveillance system[J].Journal of Yanshan University，2019，43（5）：377-393.

[4]譚芳喜，肖世德，周亮君，等.基于改進(jìn)YOLOv3算法在道路目標(biāo)檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展，2021，31（8）：118-123.

TAN Fangxi，XIAO Shide，ZHOU Liangjun，et al.Application in road target detection based on improved YOLOV3 algorithm[J].Computer Technology and Development，2019，43（5）：377-393.

[5]張長(zhǎng)倫，張翠文，王恒友，等.基于注意力機(jī)制的NMS在目標(biāo)檢測(cè)中的研究[J].電子測(cè)量技術(shù)，2021，44（19）：82-88.

ZHANG Changlun，ZHANG Cuiwen，WANG Hengyou，et al.Research on non-maximum suppression based on attention mechanism in object detection[J].Electronic Measurement Technology，2021，44（19）：82-88.

[6]侯志強(qiáng)，劉曉義，余旺盛，等.使用GIoU改進(jìn)非極大值抑制的目標(biāo)檢測(cè)算法[J].電子學(xué)報(bào)，2021，49（4）：696-705.

HOU Zhiqiang，LIU Xiaoyi，YU Wangsheng，et al.Object detection algorithm for improving non-maximum suppression using GloU[J].Acta Electronica Sinica，2021，49（4）：696-705.

[7]薛麗霞，朱正發(fā)，汪榮貴，等.基于多分區(qū)注意力的行人重識(shí)別方法[J].光電工程，2020，47（11）：23-32.

XUE Lixia，ZHU Zhengfa，WANG Ronggui，et al.Person re-identification by multi-division attention[J].Opto-Electronic Engineering，2020，47（11）：23-32.

[8]CHEN T L，DING S J，XIE J Y，et al.ABD-Net：Attentive but diverse person re-identification[J].IEEE，2019：8351-8361.

[9]ZHANG Z Z，LAN C L，ZENG W J，et al.Relation-aware global attention[C]//Conference on Computer Vision and Pattern Recognition.Seattle，USA，Jun.13-19，2020：3183-3192.

[10]WOJKE N，BEWLEY A，PAULUS D.Simple online and realtime tracking with a deep association metric[C]//International Conference on Image Processing.Beijing，China，Sep.17-20，2017：3645-3649.

[11]王迪聰，白晨帥，鄔開(kāi)俊.基于深度學(xué)習(xí)的視頻目標(biāo)檢測(cè)綜述[J].計(jì)算機(jī)科學(xué)與探索，2021，15（9）：1563-1577.

WANG Dicong，BAI Chenshuai，WU Kaijun.Survey of video object detection based on deep learning[J].Journal of Frontiers of Computer Science and Technology，2021，15（9）：1563-1577.

[12]徐大專，胡超，潘登，等.目標(biāo)檢測(cè)定理[J].數(shù)據(jù)采集與處理，2020，35（5）：791-806.

XU Dazhuan，HU Chao，PAN Deng，et al.Target detection theorem[J].Journal of Data Acquisition and Processing，2020，35（5）：791-806.

[13]王樹(shù)奇，劉貝，鄒斐.一種新的礦井監(jiān)控視頻增強(qiáng)目標(biāo)檢測(cè)算法[J].西安科技大學(xué)學(xué)報(bào)，2019（2）：347-353.

WANG Shuqi，LIU Bei，ZOU Fei.A new image enhancement target detection algorithm based on monitoring video in coal mine tunnel[J].Journal of Xian University of Science and Technology，2019（2）：347-353.

[14]金鑫，胡英.基于改進(jìn)深度網(wǎng)絡(luò)的車(chē)輛乘員數(shù)量檢測(cè)研究[J].激光與紅外，2021，51（1）：52-58.

JIN Xin，HU Ying.Research on vehicle occupant number detection based on improved depth network[J].Laser and Infrared，2021，51（1）：52-58.

[15]從明芳，李子印，盧鴦，等.基于Mask R-CNN深度學(xué)習(xí)的羊絨羊毛纖維識(shí)別技術(shù)[J].現(xiàn)代紡織技術(shù)，2022，30（2）：36-40，47.

CONG Mingfang，LI Ziyin，LU Yang，et al.Recognition technology of cashmere and wool fibers based on mask R-CNN deep learning[J].Advanced Textile Technology，2022，30（2）：36-40，47.

[16]朱杰，辛月蘭，孫可心.二次特征融合的YOLO目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)與數(shù)字工程，2021，49（5）：914-919.

ZHU Jie，XIN Yuelan，SUN Kexin.YOLO target detection algorithm based on secondary feature fusion[J].Computer and Digital Engineering，2021，49（5）：914-919.

[17]張建明，劉煊赫，吳宏林，等.面向小目標(biāo)檢測(cè)結(jié)合特征金字塔網(wǎng)絡(luò)的SSD改進(jìn)模型[J].鄭州大學(xué)學(xué)報(bào)（理學(xué)版），2019，51（3）：61-66，72.

ZHANG Jianming，LIU Xuanhe，WU Honglin，et al.Improved SSD model with feature pyramid network for small object detection[J].Journal of Zhengzhou University（Natural Science Edition），2019，51（3）：61-66，72.

[18] ZHANG Y F，REN W Q，ZHANG Z，et al.Focal and efficient IOU loss for accurate bounding box regression[J].Computer Science，2021，12（1）：1-10.

[19]包曉敏，王思琪.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J].傳感器與微系統(tǒng)，2022，41（4）：5-9.

BAO? Xiaomin，WANG? Siqi.Survey of object detection algorithm based on deep learning[J].Transducer and Microsystem Technologies，2022，41（4）：5-9.

[20]逯彥，黃慶享.基于稀疏表示的目標(biāo)跟蹤新算法[J].西安科技大學(xué)學(xué)報(bào)，2020，40（5）：910-918.

LU Yan，HUANG Qingxiang.A novel target tracking algorithm based onsparse representation[J].Journal of Xian University of Science and Technology，2020，40（5）：910-918.

[21]王燕妮，王建平.約束條件下的優(yōu)選進(jìn)化目標(biāo)跟蹤算法分析[J].西安科技大學(xué)學(xué)報(bào)，2017（4）：559-564.

WANG Yanni，WANG Jianping.Analysis of target tracking algorithm of preferred evolutionary under constraints[J].Journal of Xian University of Science and Technology，2017（4）：559-564.

[22]HE L X，LIAO X Y，LIU W，et al.FastReID：A pytorch toolbox for general instance re-identification[C]//Computer Vision and Pattern Recognition.Beijing，China，Jul.15-18，2020：407-416.

[23]LI J B，MENG Y，WU Z Y，et al.NEUFA：Neural network based end-to-end forced alignment with bidirectional attention mechanism[C]//International Conference on Acoustics，Speech and Signal Processing.Singapore，Singapore，Mar.23-27，2022：8007-8011.

[24]張海燕，張富凱，袁冠，等.多姿態(tài)圖像生成的行人重識(shí)別算法研究[J].計(jì)算機(jī)工程與應(yīng)用：2022，19（3）：1-12.

ZHANG Haiyan，ZHANG Fukai，YUAN Guan，et al.Research on person re-identification algorithm based on multi-pose image generation[J].Computer Engineering and Applications，2022，19（3）：1-12.

[25]MERCADO G.The filmmakers eye：Learning（and breaking）the rules of cinematic composition[M].New York：Routledge，2013.

（責(zé)任編輯：劉潔）