基于自監(jiān)督部位感知的行人重識別模型及其在鐵路客運站的應用

李 倩

（中國鐵路蘭州局集團有限公司 客運部，蘭州 730030）

鐵路客運站是連接鐵路與旅客的重要樞紐。由于其面積大、結構復雜，旅客在站內候車涉及區(qū)域較多，若能自動鎖定站內重點人群的行動軌跡，從而為其提供精準幫助，可顯著提升鐵路客運站內的服務水平和客運管控效率。目前，大多數(shù)鐵路客運站采用人工監(jiān)控視頻的模式實時跟蹤重點旅客，然而，站內旅客數(shù)量眾多、辨識度低，這種模式不僅費時費力，且易錯失處置事件的最佳時機，很難及時阻斷相關事件的發(fā)生及惡化，亟需研發(fā)一種適用于鐵路客運站的人員跟蹤技術，實現(xiàn)對重點旅客的高效追蹤。

依據視覺特征進行行人軌跡跟蹤一直是學術界的重點研究方向。該領域早期的算法屬于生成式方法[1]，即在初始幀中生成目標區(qū)域，在后續(xù)幀中對目標區(qū)域進行搜尋匹配；隨后提出的判別式跟蹤方式[1]，通過區(qū)分背景和目標區(qū)域，在后續(xù)幀中利用算法判定檢測框內區(qū)域為目標或背景，從而進行跟蹤。

在實際應用場景中，行人軌跡跟蹤面臨的主要問題在于，難以實現(xiàn)跨監(jiān)控設備的行人軌跡跟蹤與匹配。行人重識別算法主要關注同一個體在不同視角下的特征關聯(lián)性，是實現(xiàn)行人跨場景跟蹤的核心技術。近些年來，深度學習迅速發(fā)展，越來越多的基于深度學習的行人重識別算法被提出[2-4]。雖然這些算法在計算機視覺領域的公共數(shù)據集上均取得了較為不錯的成績，但將其引入鐵路客運站后，因人流密集，視頻數(shù)據中行人被嚴重遮擋、辨識度低，難以從鐵路場景中獲取良好的訓練數(shù)據，導致其跟蹤與匹配性能均出現(xiàn)了較大程度的下降。

為此，本文提出了一種基于自監(jiān)督部位感知的行人重識別模型，有效提升了復雜場景下軌跡跟蹤及匹配的性能，實現(xiàn)高性能的鐵路客運站重點旅客追蹤，將傳統(tǒng)的人工檢索模式改為智能化模式，顯著降低工作人員勞動強度，提升重點事件處置效率和客運服務水平。

1 基于自監(jiān)督部位感知的行人重識別模型構建

鐵路客運站重點人員跟蹤的核心是解決不同監(jiān)控設備中的跨域特征匹配問題，即要求所用的網絡模型針對不同場景下的同一個目標，提取出盡可能相似的特征，計算機視覺中將這類問題統(tǒng)稱為行人重識別。本文提出的基于自監(jiān)督部位感知的行人重識別模型架構分為自監(jiān)督部位感知預訓練和行人重識別遷移學習兩個部分，如圖1 所示。

1.1 自監(jiān)督部位感知預訓練

從人類的通常視角來看，行人外觀特征由體型、穿著、隨身物品等明顯特征，以及發(fā)型、人臉、配飾等精細特征構成。這些特征的基本單元是人體的各個部位（頭、軀干和四肢等）。

自監(jiān)督部位感知預訓練旨在通過大量無標簽的行人數(shù)據集對模型進行預訓練，通過設置對比任務，利用樣本自身信息差作為監(jiān)督信號，訓練得到具有良好視覺理解能力的模型。

本節(jié)先介紹自監(jiān)督部位感知預訓練的網絡架構，再介紹其網絡的優(yōu)化過程，即損失函數(shù)設計。

1.1.1 自監(jiān)督部位感知預訓練網絡架構

自監(jiān)督部位感知預訓練部分的網絡架構如圖1（a）所示。

（1）對輸入樣本x進行不同方向上的特征增強，形成增強樣本對 (m,n)；對樣本對進行隨機掩碼和背景掩碼，形成隨機掩碼樣本對 (mR,nR) 和背景掩碼樣本對 (mA,nA)，以此構建樣本自身的信息差。

（2）采用知識蒸餾的思路，從樣本的信息差中訓練獲得泛化性的行人視覺特征；采用ViT（Vision Transformer）[5]架構構建學生網絡S和教師網絡T，學生網絡S只接收隨機掩碼樣本對 (mR,nR)，教師網絡只接收背景掩碼樣本對 (mA,nA)。

（4）通過構建損失函數(shù)，形成教師網絡T到學生網絡S的知識蒸餾，使得預訓練獲得較好的視覺特征提取能力

（5）最終，在教師網絡T的指導下，學生網絡S在特征域上對隨機掩碼的樣本進行特征補全，并獲得對行人身體部位的感知能力。

1.1.2 網絡優(yōu)化

自監(jiān)督部位感知預訓練網絡優(yōu)化的目標是最小化總體損失函數(shù)Lpre，可將其分為身體部位位置特征的損失函數(shù)Lpatch和身體部位語義特征損失函數(shù)L[PART]兩個部分。

學生網絡S對隨機掩碼的樣本在特征域上進行重建，身體部位位置特征的損失函數(shù)Lpatch公式為

教師網絡T和學生網絡S均先將輸入樣本切分為N個圖像塊，Lpatch計算了N個圖像塊的損失值之和，用于反向傳播更新網絡的權重，(mA,nR)為增強樣 本對 (m,n) 經過不同方式掩碼的結果；T(·)、S(·)分別代表教師網絡T和學生網絡S的特征提取過程；為教師網絡T中身體部位位置的投射過程。是將mA圖像拆分為N個圖像塊之后的第i個子圖像塊；θi為每個子圖像塊的位置編碼。

身體部位語義特征損失函數(shù)L[PART]公式為

本文所構建的自監(jiān)督部位感知預訓練網絡可視為對兩個損失函數(shù)的優(yōu)化過程，則總體損失函數(shù)Lpre為

綜上，本文借鑒掩碼學習的思路，從遮蔽的圖像塊中恢復連續(xù)的行人特征，使網絡對場景中存在遮擋、不完整的行人特征有一定的聯(lián)想重建能力；通過指定目標行人特征的構成，學生網絡S可主動忽略行人身處不同背景的干擾；通過區(qū)分不同區(qū)域對應的身體部位語義特征，可實現(xiàn)行人身體區(qū)域的劃分，從而學習到不同部位的區(qū)別性語義，豐富行人特征匹配的信息維度。

1.2 行人重識別遷移學習

由自監(jiān)督部位感知預訓練學習到行人的精細化特征后，進一步進行行人重識別遷移學習，從而實現(xiàn)復雜場景下的行人軌跡匹配功能。將預訓練好的學生網絡S作為視覺特征提取模塊，經過相應的投射層，提取樣本的行人重識別特征，如圖1（b）所示。確定學生網絡S的參數(shù)，在行人重識別數(shù)據集上對patch和[PART] 特征投射層的參數(shù)進行微調，輸入樣本x的行人重識別特征ReID(x) 可表示為

式（4）中，“?”為特征拼接操作，即通過對[PART]特征和patch特征進行拼接，構建行人重識別特征的表達。

使用三元組損失函數(shù)作為行人重識別遷移學習的損失函數(shù)，目的是在最小化輸入樣本x到正樣本xP間的特征距離的同時，使得輸入樣本x到負樣本xN之間的距離最大。三元組損失函數(shù)Ltri的公式為

式（5）中，ρ 為設定閾值；d(·) 為ReID 特征間的歐氏距離。

2 模型性能分析

2.1 實驗數(shù)據

（1）選擇LUPerson 大規(guī)模行人數(shù)據集作為自監(jiān)督部位感知預訓練數(shù)據集。LUPerson 數(shù)據集包含4.18 兆張行人圖片，排除遮擋過于嚴重的圖片，并統(tǒng)一將輸入圖像縮放至256×128 像素。

（2）使用行人數(shù)據集Market-1501[5]、MSMT17[6]和Occluded-Duke[7]，進行行人重識別模型的遷移學習和驗證，并基于Occluded-Duke 行人數(shù)據集驗證算法對部分遮擋的行人特征的重建能力。其中，Market-1501 行人數(shù)據集包含32 668 個圖像樣本，共1501 個行人；MSMT17 行人數(shù)據集包含126 441 個圖像樣本，共4101 個行人；Occluded-Duke 行人數(shù)據集包含15 618 張行人圖像樣本，是專門為研究遮擋行人重識別而搜集的數(shù)據集，最為符合鐵路客運站的重點人員追蹤場景。

2.2 實驗配置

本文使用了不同規(guī)模下的ViT 和Swin Transformer（Swin-T）架構[8]，將其作為本文模型的主干網絡。其中，ViT 架構采用了ViTSmall/16（ViT-S）、ViT-Base/16（ViT-B）兩種不同規(guī)模；Swin-T 模型的滑窗大小為7×7；patch及[PART]投射層由3 層多層感知機（MLP，Multi-Layer Perception）與L2-正則化共同組成；行人重識別遷移學習的三元組損失函數(shù)的超參數(shù) ρ 設置為0.25。

2.3 性能比較

將本文設計的基于自監(jiān)督部位感知的行人重識別模型與MGN（Multiple Granularity Network）、TransReID、TransReID-SSL 等3 種通用行人重識別模型模型在不同主干網絡和數(shù)據集下的方法性能進行比較。采用平均精度mAP 和準確率R1 對模型的性能進行評價，具體的實驗結果如表1 所示。

表1 不同模型的試驗性能結果

由表1 可知，本文模型在3 個數(shù)據集上的性能均高于對比的通用行人重識別模型。為驗證本文模型在鐵路客運站旅客密集、行人被頻繁遮擋場景中的應用效果，使用了行人重識別數(shù)據集中針對遮擋問題而構建的Occluded-Duke 數(shù)據集。從表1 中的結果可看出，MGN 模型的平均精度不足40，其他模型均表現(xiàn)欠佳，本文模型仍在一定程度上受行人被遮擋的影響，但其基于部位感知的自注意力機制，學習到了行人不同部位的區(qū)別性語義，并通過特征重構，獲得了一定的特征聯(lián)想能力，在Occluded-Duke行人重識別數(shù)據集上的mAP 性能指標超過60，在基于Swin-T 主干網絡的情況下，本文方法的R1 值接近70%。

3 現(xiàn)場試用

將本文研究的行人重識別模型應用于鐵路客運站重點人員跟蹤，并在中國鐵路蘭州局集團有限公司白銀南站試用。白銀南站位于甘肅省白銀市內，建筑面積9999.73 m2，最高聚集人數(shù)為1500 人，站臺規(guī)模為3 臺7 線。

在白銀南站進站安檢區(qū)域人工圈定需要關注的重點人員，如65 歲以上的旅客，并對其進入候車廳到檢票口離站期間的行動軌跡進行實時跟蹤，同時展示跟蹤軌跡流線圖，如圖2 所示。

圖2 重點人員跟蹤界面

圖2 中，通過3 個部分展示了重點旅客在鐵路客運站內的全流線軌跡，右側部分為白銀南站候車大廳布局圖，在該圖中實時展示重點旅客的行進軌跡；左側上部為該重點旅客的實時視頻；左側下部為在安檢區(qū)域圈定的重點旅客肖像圖及相關特征屬性。本文模型在白銀南站的試用效果良好。

4 結束語

本文提出了一種基于自監(jiān)督部位感知的行人重識別模型，并根據該模型對鐵路客運站的重點人員進行實時跟蹤，經試驗驗證，該模型可在遮擋較為嚴重的鐵路客運站場景下實現(xiàn)精確率較高的行人跟蹤。下一步，將研究如何結合空間信息，更好地提升跨域跟蹤的精準度。