基于一致性約束和標(biāo)簽優(yōu)化的無監(jiān)督域適應(yīng)行人重識別

吳禹航，桑農(nóng)

華中科技大學(xué)人工智能與自動化學(xué)院圖像信息處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，武漢 430074

0 引 言

隨著經(jīng)濟(jì)和社會的發(fā)展，我國的視頻監(jiān)控和海量數(shù)據(jù)檢索等計算機(jī)技術(shù)得到了飛速發(fā)展。通過對監(jiān)控視頻數(shù)據(jù)進(jìn)行分析處理，可以檢索出特定的行人，提升城市的治理水平。目前，由于安全城市和智慧城市的建設(shè)需要，視頻監(jiān)控的設(shè)備數(shù)量和數(shù)據(jù)規(guī)模迅速增加，使得依靠人力手動進(jìn)行數(shù)據(jù)處理和行人檢索的方法的成本和難度大幅提高，已經(jīng)無法適應(yīng)視頻監(jiān)控系統(tǒng)的更大規(guī)模推廣。行人重識別（pedestrians’re-identification，Re-ID）是一項(xiàng)在視頻監(jiān)控系統(tǒng)中通過計算機(jī)視覺技術(shù)在監(jiān)控視頻數(shù)據(jù)中進(jìn)行跨攝像頭行人檢索的技術(shù)。給定一幅由攝像頭采集的待查詢行人圖像，行人重識別從其他攝像頭采集的行人圖像庫里檢索出屬于該行人的所有圖像。由于行人重識別主要依靠計算機(jī)算法程序自動檢索，相比人工檢索的方式，可以很大程度上減少視頻監(jiān)控系統(tǒng)中的人工成本和檢索難度，具有重要的實(shí)際應(yīng)用價值。

目前，在一個具有大量標(biāo)注數(shù)據(jù)的應(yīng)用場景（源域）下，基于深度學(xué)習(xí)的行人重識別算法（史維東等，2020；鄭鑫 等，2020）可以使用有監(jiān)督的方式訓(xùn)練一個模型，使該模型在該場景下能達(dá)到應(yīng)用水平。然而，將這個模型直接應(yīng)用目標(biāo)域（即新的應(yīng)用場景）上時，由于場景之間存在著領(lǐng)域偏移（domain shift），其在目標(biāo)域上的性能會急劇下降。在實(shí)際應(yīng)用中，仍存在著大量的目標(biāo)域需要應(yīng)用行人重識別以解決實(shí)際需求，然而為每個目標(biāo)域人工標(biāo)注訓(xùn)練數(shù)據(jù)費(fèi)時費(fèi)力，使得行人重識別的大規(guī)模推廣受到限制。全面推廣行人重識別，需要解決算法對目標(biāo)域標(biāo)注數(shù)據(jù)的依賴問題。使用目標(biāo)檢測算法（Ren等，2015；Tian等，2019）對目標(biāo)域場景圖像進(jìn)行行人檢測可以容易地得到大量無標(biāo)注的行人圖像。如何利用這些無標(biāo)注數(shù)據(jù)來幫助模型在目標(biāo)域取得良好性能成為了行人重識別領(lǐng)域在實(shí)際應(yīng)用中亟待解決的問題。本文研究的無監(jiān)督域適應(yīng)行人重識別（unsupervised domain adaptive Re-ID，UDA Re-ID）算法旨在利用已有的有標(biāo)記源域行人圖像和無標(biāo)記目標(biāo)域行人圖像訓(xùn)練模型，使模型在目標(biāo)域上取得較好的泛化性能。相比于有監(jiān)督訓(xùn)練的方法，無監(jiān)督域適應(yīng)的方法不需要額外的人工標(biāo)注成本，具有更重要的實(shí)際意義。

現(xiàn)有無監(jiān)督域適應(yīng)行人重識別方法主要分為兩類，即基于域轉(zhuǎn)換的方法（Deng 等，2018；Wei 等，2018）和基于聚類的方法（Ge 等，2020b；Wu 等，2022）。基于域轉(zhuǎn)換的方法通常借助生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）（Goodfellow 等，2014）轉(zhuǎn)換源域圖像的風(fēng)格到目標(biāo)域，然后在源域標(biāo)簽的監(jiān)督下，使用原始圖像特征和風(fēng)格轉(zhuǎn)換后的圖像特征計算損失函數(shù)并優(yōu)化模型。為了提升風(fēng)格轉(zhuǎn)換的圖像質(zhì)量，保留相似性的生成對抗網(wǎng)絡(luò)（similarity preserving GAN，SPGAN）引入語義分割來約束風(fēng)格遷移過程中人體區(qū)域的一致性，行人轉(zhuǎn)換生成對抗網(wǎng)絡(luò)（person transfer GAN，PTGAN）（Wei等，2018）考慮了圖像風(fēng)格轉(zhuǎn)換前后的自相似性，也考慮了目標(biāo)域圖像與轉(zhuǎn)換后的源域圖像之間的差異性。然而，這類方法生成的圖像質(zhì)量仍不夠高。此外，真實(shí)場景的目標(biāo)域風(fēng)格復(fù)雜而多變，通過GAN 獲得的生成圖像并不能真正服從目標(biāo)域的真實(shí)數(shù)據(jù)分布，對模型的學(xué)習(xí)幫助有限，使得這類方法難以取得較好的性能表現(xiàn)，所以目前學(xué)術(shù)界主要研究基于聚類的方法?；诰垲惖姆椒?，如自步學(xué)習(xí)網(wǎng)絡(luò)（selfpaced contrastive learning，SpCL）（Ge 等，2020b）和多中心表征網(wǎng)絡(luò)（multi-centroid representation network，MCRN）（Wu 等，2022），采用準(zhǔn)備階段和優(yōu)化階段的兩階段交替訓(xùn)練。在準(zhǔn)備階段（每個epoch 的初始時刻），這類方法使用聚類算法將無標(biāo)記目標(biāo)域訓(xùn)練樣本聚類為若干簇，為每個簇分配一個one-hot 編碼的偽標(biāo)簽。在優(yōu)化階段（每個epoch 的剩余時刻），這類方法將偽標(biāo)簽作為監(jiān)督信號，計算損失函數(shù)并優(yōu)化模型。這類方法取得了不錯的效果，但存在一些問題有待改進(jìn)。1）由于模型的表征能力有限，實(shí)例特征在訓(xùn)練過程中并不穩(wěn)定（特別在網(wǎng)絡(luò)訓(xùn)練的早期），現(xiàn)有方法常常使用數(shù)據(jù)增強(qiáng)策略學(xué)習(xí)一個魯棒的特征，但很少從實(shí)例自身挖掘有用信息；2）同一行人在不同相機(jī)下拍攝的圖像的特征存在較大差異，若不對其進(jìn)行約束，模型對相機(jī)的變化不魯棒，難以學(xué)習(xí)到一個類內(nèi)緊湊性較好的特征空間；3）one-hot 編碼的偽標(biāo)簽噪聲過擬合問題。由于聚類的結(jié)果并不可靠，偽標(biāo)簽中存在噪聲，即屬于相同行人的實(shí)例可能被聚到不同簇中而被分配不同的偽標(biāo)簽，或者屬于不同行人的實(shí)例被聚到同一個簇里而被分配相同的偽標(biāo)簽。在模型的訓(xùn)練過程中，使用這種one-hot 編碼的偽標(biāo)簽作為特征學(xué)習(xí)（如對比學(xué)習(xí)）的監(jiān)督信號容易使模型對噪聲過擬合。

為此，本文提出了實(shí)例一致性約束、相機(jī)一致性約束和基于標(biāo)簽集成的標(biāo)簽優(yōu)化這3 個模塊，可以分別解決行人的實(shí)例特征不穩(wěn)定問題、行人特征對相機(jī)變化的不魯棒問題以及偽標(biāo)簽噪聲的過擬合問題，并將這3 個模塊用于基于聚類的方法MCRN（Wu 等，2022）中，得到具有一致性約束的多中心表征網(wǎng)絡(luò)（multi-centroid representation network with consistency constraints，MCRNCC）。本文的主要貢獻(xiàn)如下：1）針對行人的實(shí)例特征不穩(wěn)定問題，在現(xiàn)有方法MCRN 的基礎(chǔ)上，引入實(shí)例一致性約束。實(shí)例一致性約束通過約束同一實(shí)例在不同增廣下的特征相近，從實(shí)例內(nèi)部挖掘更豐富的信息，學(xué)習(xí)到更魯棒的特征表達(dá)。2）針對行人特征對相機(jī)變化的不魯棒問題，進(jìn)一步引入相機(jī)一致性約束。相機(jī)一致性約束以跨相機(jī)的正樣本對和同相機(jī)的負(fù)樣本對構(gòu)建難例三元組，提升了行人在不同相機(jī)下的特征穩(wěn)定性。3）針對偽標(biāo)簽噪聲的過擬合問題，引入了基于標(biāo)簽集成的標(biāo)簽優(yōu)化?；跇?biāo)簽集成的標(biāo)簽優(yōu)化引入了額外的標(biāo)簽估計，通過將多組額外的標(biāo)簽與聚類生成的one-hot 編碼偽標(biāo)簽集成，減少了偽標(biāo)簽噪聲的過擬合風(fēng)險。

1 多中心表征網(wǎng)絡(luò)

本文的基準(zhǔn)網(wǎng)絡(luò)MCRN（Wu 等，2022）的整個訓(xùn)練過程采用兩階段（準(zhǔn)備階段和優(yōu)化階段）交替進(jìn)行的策略。

1.1 準(zhǔn)備階段

1.2 優(yōu)化階段

MCRN 在優(yōu)化階段的網(wǎng)絡(luò)框架如圖1 所示。在每個優(yōu)化階段（每個epoch 的剩余時間）的每次迭代（iteration）中，MCRN 首先分別從源域和目標(biāo)域各采樣B=P×K個查詢樣本構(gòu)成訓(xùn)練批，其中P代表類別數(shù)，K代表每個類別的樣本數(shù)，設(shè)置其等于每個類別的中心數(shù)。然后，對于每個訓(xùn)練批中的查詢樣本，MCRN 從多中心記憶體中的K個正類中心中，選擇與查詢樣本中相似度排在中間的中心作為后續(xù)對比學(xué)習(xí)中的正樣本，選擇每個負(fù)類的K個負(fù)類中心的平均特征作為后續(xù)對比學(xué)習(xí)中的負(fù)樣本。此外，MCRN使用二階近鄰插值為目標(biāo)域的查詢樣本，生成λ個額外的難負(fù)樣本{si，l|}。最后，MCRN使用域分離對比學(xué)習(xí)（domain-specific contrastive learning，DSCL）優(yōu)化網(wǎng)絡(luò)。具體為

圖1 MCRN框架（優(yōu)化階段）Fig.1 The framework of MCRN in optimization stage

式中，ns和nt分別為源域類別數(shù)和目標(biāo)域簇數(shù)，和分別為源域訓(xùn)練批和目標(biāo)域訓(xùn)練批的第i個查詢樣本，τ為溫度系數(shù)。

在每次迭代結(jié)束后，MCRN 計算訓(xùn)練批中每個采樣類別的K個查詢樣本和多中心記憶體中對應(yīng)的K個正類中心之間的相似度，根據(jù)整體相似度最高的查詢樣本—正類中心對的排列σ^ 更新中心。具體為

式中，m為動量系數(shù)，cσ^(i)為處于排列σ^ 的第i個正類中心。

2 具有一致性約束的多中心表征網(wǎng)絡(luò)

本文在基準(zhǔn)網(wǎng)絡(luò)的基礎(chǔ)上，提出了具有一致性約束的多中心表征網(wǎng)絡(luò)MCRNCC，其在優(yōu)化階段的網(wǎng)絡(luò)框圖如圖2 所示，包含實(shí)例一致性約束、相機(jī)一致性約束和基于標(biāo)簽集成的標(biāo)簽優(yōu)化等3 個模塊。圖2中sg代表中斷梯度反傳（stop gradient）。

圖2 MCRNCC框架（優(yōu)化階段）Fig.2 The framework of MCRNCC （optimization stage）

2.1 實(shí)例一致性約束

由于網(wǎng)絡(luò)本身的表達(dá)能力有限，圖像的實(shí)例特征在訓(xùn)練過程中并不穩(wěn)定，尤其在網(wǎng)絡(luò)訓(xùn)練的前期，目標(biāo)在圖像上的一點(diǎn)偏移也會在特征上產(chǎn)生波動。行人重識別任務(wù)中通常使用了隨機(jī)擦除（Zhong 等，2020）、隨機(jī)翻轉(zhuǎn)和隨機(jī)裁剪等數(shù)據(jù)增廣策略提高特征的魯棒性，但未從實(shí)例自身挖掘有用的信息。

基于自監(jiān)督的表征學(xué)習(xí)研究（Chen 等，2020；He 等，2020；Grill 等，2020）通過挖掘?qū)嵗齼?nèi)部信息以學(xué)習(xí)容易泛化到下游任務(wù)的特征表達(dá)。這些方法通常會將同一實(shí)例在不同增廣下的多幅圖像的特征構(gòu)成實(shí)例級別的正樣本對，然后通過損失函數(shù)約束正樣本間的距離相近，以從實(shí)例內(nèi)部挖掘語義信息。由于在自監(jiān)督學(xué)習(xí)中沒有額外的學(xué)習(xí)目標(biāo)，僅使用正樣本對的約束會導(dǎo)致網(wǎng)絡(luò)塌陷。為了避免這一問題，SimCLR（simple framework for contrastive learning of visual representation）（Chen 等，2020）和MoCO（momentum contrast）（He 等，2020）等考慮了將不同實(shí)例的樣本作為負(fù)樣本，即同時考慮實(shí)例級別的正樣本對和負(fù)樣本對的約束。BYOL（bootstrap your own latent）（Grill等，2020）則引入了一個非對稱映射頭（多層感知機(jī)）以引入非對稱性避免網(wǎng)絡(luò)塌陷問題，這樣就僅需考慮正樣本對的約束。為了從實(shí)例正樣本對內(nèi)部挖掘語義信息，提升實(shí)例特征的穩(wěn)定性，本文借鑒自監(jiān)督方法，提出了實(shí)例一致性約束，并將其應(yīng)用于MCRN網(wǎng)絡(luò)中。與已有自監(jiān)督學(xué)習(xí)方法不同的是，由于MCRN 的損失函數(shù)部分已經(jīng)包含了區(qū)分類別級別的負(fù)樣本對的部分，所以本文在不引入非對稱映射頭的條件下僅考慮實(shí)例級別正樣本對的約束，也不會有網(wǎng)絡(luò)坍塌的問題。

2.1.1 指數(shù)滑動平均模型

與MoCO和BYOL相同，引入了一個指數(shù)滑動平均（exponential moving average，EMA）模型Mema，該EMA模型Mema的參數(shù)θema不根據(jù)梯度優(yōu)化，而是由原模型Mema的參數(shù)θ通過指數(shù)滑動平均得到，即

式中，φ是控制參數(shù)移動的超參數(shù)，通常設(shè)置為0.99。通過引入EMA 模型，可以得到兩個參數(shù)不一樣的網(wǎng)絡(luò)，使得輸出的特征具有多樣性，同時EMA模型由于在時間上集成了不同時期的模型參數(shù)，相對于普通的模型，參數(shù)過渡得更平滑，性能通常更好，因此可以在測試階段使用EMA模型進(jìn)行測試。

2.1.2 實(shí)例一致性約束損失函數(shù)

實(shí)例一致性（instance consistency，IC）約束如圖3 所示，將訓(xùn)練批中的實(shí)例（即查詢樣本）在不同增廣下的特征距離進(jìn)行約束，即實(shí)例I經(jīng)增廣T和T′后得到T(I)和T′(I)，再分別經(jīng)模型M和EMA 模型Mema后得到的特征q和qema的距離要小。具體的損失函數(shù)為

圖3 實(shí)例一致性約束Fig.3 Instance consistency constraint

通過實(shí)例一致性約束，模型可以挖掘更豐富的語義信息，提升模型的性能，后續(xù)實(shí)驗(yàn)驗(yàn)證了實(shí)例一致性約束的有效性。

2.2 相機(jī)一致性約束

由于行人在不同相機(jī)下拍攝的圖像往往存在較大的變化，這些差異由光照、遮擋、分辨率和視角等場景因素決定。此外，由于模型的表征能力有限，同一行人在不同相機(jī)下的實(shí)例特征可能相差較大，而不同行人在同一相機(jī)下的實(shí)例特征可能相差較小。為了提升行人特征對相機(jī)變化的魯棒性，本文提出了相機(jī)一致性（camera consistency，CC）約束，即約束同一行人在不同相機(jī)下的實(shí)例特征距離近，而不同行人在同一相機(jī)下的實(shí)例特征距離遠(yuǎn)。

相機(jī)一致性約束依次選取當(dāng)前訓(xùn)練批中模型M提取的實(shí)例特征作為錨點(diǎn)a，然后根據(jù)偽標(biāo)簽和相機(jī)標(biāo)簽，構(gòu)建a的難樣本三元組損失來優(yōu)化網(wǎng)絡(luò)。由于在實(shí)例一致性約束中，EMA 模型已經(jīng)額外產(chǎn)生了訓(xùn)練批大小的特征，為了充分利用多樣的特征，在構(gòu)建三元組時，每個錨點(diǎn)a會按2 批次，分別從模型M的訓(xùn)練批同域特征集合{qi|1}中和EMA 模型Mema的訓(xùn)練批同域特征集合{ema|1}中構(gòu)建一次三元組。圖4 展示了一個錨點(diǎn)a構(gòu)建難樣本三元組的示例。錨點(diǎn)a的正樣本選取為當(dāng)前批次的特征集合中與錨點(diǎn)a偽標(biāo)簽相同、但相機(jī)標(biāo)簽不同的樣本中距離最遠(yuǎn)的樣本，而負(fù)樣本選取為當(dāng)前批次的特征集合中與錨點(diǎn)a標(biāo)簽不同、但相機(jī)標(biāo)簽相同的樣本中距離最近的樣本。若無法找到滿足條件的正樣本或負(fù)樣本，則認(rèn)為在這一批次中的這個錨點(diǎn)無效，放棄該三元組的構(gòu)建。相機(jī)一致性約束的具體損失函數(shù)為

圖4 相機(jī)一致性中的三元組示例Fig.4 An example of triplet in camera consistency

通過相機(jī)一致性約束同相機(jī)和跨相機(jī)下的行人的特征關(guān)系，可提升行人特征對相機(jī)變化的魯棒性，并學(xué)習(xí)到一個具有良好類內(nèi)緊湊性和類間可分性的特征空間。后續(xù)實(shí)驗(yàn)驗(yàn)證了相機(jī)一致性約束的有效性。

2.3 基于標(biāo)簽集成的標(biāo)簽優(yōu)化

SpCL（Ge 等，2020b）和MCRN（Wu 等，2022）等方法使用了在目標(biāo)域上聚類得到的one-hot 編碼偽標(biāo)簽作為監(jiān)督信號，指導(dǎo)模型通過對比學(xué)習(xí)（式（2））優(yōu)化特征空間。正如前文所提及，由于模型的表征能力有限以及聚類算法的不完美，聚類生成的onehot編碼偽標(biāo)簽中存在噪聲，即一些屬于不同行人的圖像被賦予了相同的偽標(biāo)簽，而一些屬于相同行人的圖像被賦予了不同的偽標(biāo)簽。在網(wǎng)絡(luò)訓(xùn)練過程中，模型的表征能力會不斷提升，本可以自我矯正一部分聚類錯誤，但由于每個訓(xùn)練周期的監(jiān)督信號是這個訓(xùn)練周期初期聚類得到的偽標(biāo)簽，模型仍會根據(jù)有噪聲的監(jiān)督信號繼續(xù)擬合，從而阻止了模型的性能提升。為了減少模型對偽標(biāo)簽噪聲的過度擬合，本文提出了一種基于標(biāo)簽集成（label ensemble，LE）的標(biāo)簽優(yōu)化（label refinery，LR）方法，通過將多組預(yù)測標(biāo)簽與one-hot 編碼的偽標(biāo)簽集成，使硬的one-hot 編碼偽標(biāo)簽轉(zhuǎn)化為魯棒的軟標(biāo)簽，進(jìn)一步改善特征學(xué)習(xí)過程。

2.3.1 額外的預(yù)測標(biāo)簽

為了獲得預(yù)測標(biāo)簽，一個自然的想法是引入一個新的分類器，用分類器的分類概率作為預(yù)測標(biāo)簽。這里分類器用一個去掉偏置向量的全連接（fully connected，F(xiàn)C）層實(shí)現(xiàn)，其權(quán)重可以看做是一組可學(xué)習(xí)的類中心。

由于分類器需要固定的類別數(shù)，而目標(biāo)域的類別數(shù)是由每個訓(xùn)練周期的聚類結(jié)果決定，其在不同的訓(xùn)練周期數(shù)量不一樣。為了解決這個問題，在每個訓(xùn)練周期聚類完成后重新生成一個分類器（分類數(shù)為簇的數(shù)量），然后用每個簇的均值初始化分類器的權(quán)重。

對于訓(xùn)練批中第i個目標(biāo)域查詢樣本特征，其估計的標(biāo)簽為pi，具體為

式中，τ為溫度系數(shù)，F(xiàn)C()為分類器輸出。設(shè)置與對比學(xué)習(xí)中的溫度系數(shù)一致。為了使分類器的權(quán)重能跟隨網(wǎng)絡(luò)訓(xùn)練的變化，分類器會通過一個交叉熵（cross entropy，CE）損失訓(xùn)練，其分類的監(jiān)督信號為聚類得到的偽標(biāo)簽。具體為

2.3.2 標(biāo)簽優(yōu)化

在得到將估計的兩個預(yù)測標(biāo)簽后，求得它們的平均，再與查詢樣本的one-hot編碼偽標(biāo)簽p～i相加后，求平均得到最終的標(biāo)簽。具體為

通過上述基于標(biāo)簽集成的標(biāo)簽優(yōu)化方法，得到了魯棒的軟標(biāo)簽，減少了偽標(biāo)簽噪聲的過擬合風(fēng)險。在后續(xù)實(shí)驗(yàn)中，驗(yàn)證了該方法的有效性。

2.4 優(yōu)化目標(biāo)

網(wǎng)絡(luò)最終的優(yōu)化目標(biāo)為

式中，LDSCL，Ds為源域域分離對比損失，LLR，Dt為標(biāo)簽優(yōu)化過的目標(biāo)域域分離對比損失，LIC，Ds和LIC，Dt為源域和目標(biāo)域的實(shí)例一致性損失，LCC，Ds和LCC，Dt分別為源域和目標(biāo)域的相機(jī)一致性損失，LCE為目標(biāo)域分類器損失。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集與評估標(biāo)準(zhǔn)

實(shí)驗(yàn)所采用的數(shù)據(jù)集為Market-1501（Zheng 等，2015）、DukeMTMC-reID（Duke multi-tracking multicamera reIDentification）（Ristani等，2016）和MSMT17（multi-scene multi-time）（Wei 等，2018），并以一個數(shù)據(jù)集為源域（如Market），另一個數(shù)據(jù)集作為目標(biāo)域（如Duke），構(gòu)建域適應(yīng)任務(wù)（如Market→Duke）。在目標(biāo)域上測試的平均精度均值（mean average precision，mAP）和CMC（cumulative match characteristic）曲線的R1（rank-1）指標(biāo)用來評價無監(jiān)督域適應(yīng)模型的性能。

3.2 實(shí)驗(yàn)設(shè)置

為了驗(yàn)證所提算法的有效性，在4 個常用的無監(jiān)督域適應(yīng)行人重識別（UDA Re-ID）任務(wù)，即Duke→Market、Market→Duke、Duke→MSMT 和Market→MSMT上進(jìn)行實(shí)驗(yàn)，包括實(shí)例一致性約束、相機(jī)一致性約束和基于標(biāo)簽集成的標(biāo)簽優(yōu)化的相關(guān)消融實(shí)驗(yàn)。除MCRNCC 中提出的模塊外，實(shí)驗(yàn)的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練過程和測試過程與MCRN保持一致。

3.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

主干網(wǎng)絡(luò)為在ImageNet（Deng 等，2009）上預(yù)訓(xùn)練過的ResNet-50（residual neural network）（He 等，2016），并使用DSBN（domain-specific batch normalization）（Chang 等，2019）縮小域之間的差異。主干網(wǎng)絡(luò)將最后一層輸出的特征圖依次通過全局平均池化、批歸一化和L2 歸一化后得到的2 048 維特征作為行人的特征。

3.2.2 訓(xùn)練過程

在每個訓(xùn)練周期的準(zhǔn)備階段，采用DBSCAN 算法對目標(biāo)域無標(biāo)注圖像聚類，并使用了自步學(xué)習(xí)（Ge等，2020b）改善聚類過程。

在每個訓(xùn)練周期的優(yōu)化階段，每個訓(xùn)練批由64 幅源域圖像（16 個源域行人，每個行人4 幅圖像）和64 幅目標(biāo)域圖像（16 個目標(biāo)域簇，每個簇4 幅圖像）構(gòu)成。所有的訓(xùn)練圖像會調(diào)整至256 × 128像素，并會通過多種數(shù)據(jù)增強(qiáng)策略對圖像進(jìn)行增廣，包括隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)和隨機(jī)擦除（Zhong 等，2020）?？傆?xùn)練周期（epoch）數(shù)設(shè)置為50，每個訓(xùn)練周期的迭代次數(shù)在目標(biāo)域?yàn)镸arket 和Duke 時設(shè)置為400，而在目標(biāo)域?yàn)镸SMT 時設(shè)置為800。采用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，權(quán)重衰減設(shè)置為0.000 5。初始學(xué)習(xí)率設(shè)置為0.000 35，每隔20 個訓(xùn)練周期衰減為原來的1/10。記憶體更新時的動量系數(shù)m設(shè)置為0.2，對比損失中的溫度系數(shù)τ設(shè)置為0.05，λ設(shè)置為0.003 與目標(biāo)域簇數(shù)的乘積。MCRNCC 的EMA 模型的控制參數(shù)移動的超參數(shù)φ設(shè)置為0.99，相機(jī)一致性約束的閾值γ設(shè)置為0.3。網(wǎng)絡(luò)使用Pytorch 實(shí)現(xiàn)，并用4個NVIDIA RTX-2080TI GPU并行訓(xùn)練。

3.2.3 測試過程

在測試階段，使用訓(xùn)練好的EMA 模型在目標(biāo)域的測試集上測試，采用的評判標(biāo)準(zhǔn)為mAP和R1。在訓(xùn)練過程中，每隔5個訓(xùn)練周期測試一次，以mAP最高的模型的結(jié)果作為模型的性能表現(xiàn)。

3.3 消融實(shí)驗(yàn)

本文開展了關(guān)于實(shí)例一致性約束、相機(jī)一致性約束以及基于標(biāo)簽集成的標(biāo)簽優(yōu)化方法的有效性的多組消融實(shí)驗(yàn)，其中不同消融實(shí)驗(yàn)方法中涉及的相同的損失函數(shù)權(quán)重保持一致。實(shí)驗(yàn)結(jié)果如表1 所示。從表1 可以看出，1）在實(shí)例一致性約束的有效性方面，在多個無監(jiān)督域適應(yīng)行人重識別任務(wù)上探究了行人的實(shí)例一致性（IC）約束的有效性。在MCRN 網(wǎng)絡(luò)上，加入實(shí)例一致性約束后，性能有了普遍提升。在4 個任務(wù)上，實(shí)例一致性約束的mAP 性能分別提升了0.6%，0.2%，0.7%，0.8%，這是由于實(shí)例一致性約束通過拉近同一實(shí)例在不同增廣下的特征，從實(shí)例內(nèi)部挖掘了更豐富的語義信息，使得性能得到了提升。2）在相機(jī)一致性約束的有效性方面，探究了相機(jī)一致性（CC）的有效性。在加入實(shí)例一致性后，進(jìn)一步加入相機(jī)一致性約束增廣實(shí)例中跨相機(jī)的正樣本的距離小于同相機(jī)的負(fù)樣本距離，網(wǎng)絡(luò)在4 個任務(wù)上性能有了進(jìn)一步提升。其中，在Duke→MSMT和Market→MSMT上，mAP性能分別提升了3.5%和5.3%，R1 分別提升了3.2%和4.7%，這是因?yàn)镸SMT 數(shù)據(jù)集有15 個相機(jī)，相機(jī)數(shù)目比較多，相機(jī)拍攝的圖像間差異較大，通過相機(jī)一致性約束，可以很好地約束類內(nèi)不同相機(jī)的距離，從而學(xué)習(xí)到一個更加緊湊的類內(nèi)空間。3）在基于標(biāo)簽集成的標(biāo)簽優(yōu)化的有效性方面，探究了基于標(biāo)簽集成的標(biāo)簽優(yōu)化方法的有效性。在一致性約束的基礎(chǔ)上進(jìn)一步加入標(biāo)簽優(yōu)化后，得到本文提出的完整網(wǎng)絡(luò)MCRNCC，其在4 個任務(wù)上，mAP 分別提升了0.6%，0.6%，1.4%，0.4%，這是因?yàn)橥ㄟ^多組標(biāo)簽集成得到的軟標(biāo)簽會在訓(xùn)練過程中反映模型的變化，比原來在每個訓(xùn)練周期中固定不變的one-hot 編碼偽標(biāo)簽更魯棒，可以減少模型對噪聲的過度擬合。

表1 MCRNCC中的消融實(shí)驗(yàn)Table 1 Ablation study on MCRNCC/%

本文將使用相機(jī)一致性約束前后的所有行人構(gòu)成的特征空間進(jìn)行了可視化，并在圖5 中展示了多個不同行人的特征可視化對比示例，其中數(shù)字代表真實(shí)ID，不同顏色代表不同相機(jī)。由圖5（a）（b）可以觀察到，相機(jī)一致性約束使得相同行人在不同相機(jī)下的距離變近，而由圖5（c）可以看到，相機(jī)一致性約束使得不同行人在相同相機(jī)下的特征距離變遠(yuǎn)。以上實(shí)驗(yàn)說明了相機(jī)一致性約束可以使網(wǎng)絡(luò)的特征空間類內(nèi)更加緊湊，類間更具可分性。

圖5 相機(jī)一致性的有效性的可視化示例Fig.5 Visual examples of the effectiveness of camera consistency（（a）pedestrian ID 133；（b）pedestrian ID 241；（c）pedestrian ID 299 and ID 416）

表2為標(biāo)簽集成（LE）的標(biāo)簽優(yōu)化方式與傳統(tǒng)的標(biāo)簽軟化（label smooth，LS）的標(biāo)簽優(yōu)化方法的比較結(jié)果。其中，LR（LE）代表基于標(biāo)簽集成的標(biāo)簽優(yōu)化，LR（LS）代表基于標(biāo)簽軟化的標(biāo)簽優(yōu)化方法。這里的標(biāo)簽軟化是將N維的one-hot標(biāo)簽中數(shù)值為1的維度的數(shù)值設(shè)置為0.8，將其他N- 1 維度的數(shù)值設(shè)置為0.8/（N- 1）。由實(shí)驗(yàn)結(jié)果可見，若用簡單的標(biāo)簽軟化進(jìn)行偽標(biāo)簽的優(yōu)化，性能反而變差，在Duke→Market 和Market→Duke 上的mAP 分別下降了0.6%和1.7%，R1 分別下降了0.3%和1.6%，進(jìn)一步說明標(biāo)簽集成的標(biāo)簽優(yōu)化方式的有效性。

表2 不同標(biāo)簽優(yōu)化方式的對比Table 2 The comparisons between different label refinery methods/%

3.4 與現(xiàn)有方法的對比

表3為基于MCRN 改進(jìn)的MCRNCC 與現(xiàn)有的其他無監(jiān)督域適應(yīng)行人重識別方法在4 個任務(wù)上的性能比較結(jié)果。比較的方法包括MMT（mutual meanteaching）（Ge 等，2020a）、MEB-Net（multiple expert brainstorming）（Zhai 等，2020）、SpCL（Ge 等，2020b）、UNRN（uncertainty-guided noise resilient network）（Zheng 等，2021a）、GCL（generative and contrastive learning）（Chen 等，2021）、GLT（group-aware label transfer）（Zheng 等，2021b）、OPLG（online pseudo label generation）（Zheng 等，2021c）、IDM（intermediate domain module）（Dai等，2021）、TDRL（Isobe等，2021）和MCRN（Wu等，2022）?？梢钥闯?，MCRNCC在4個任務(wù)上都取得了最佳的性能，顯著優(yōu)于其他方法，mAP 分別為85.0%，73.5%，41.3%，39.3%；R1 分別為94.0%，85.6%，71.6%，69.5%。特別地，在Duke→MSMT 和Market→MSMT 任務(wù)上，與MCRN 相比，MCRNCC的mAP分別超越了5.6%和6.5%，R1分別超越了4.1%和5.1%。為了使學(xué)習(xí)過程更魯棒，MMT使用了4個網(wǎng)絡(luò)進(jìn)行標(biāo)簽軟化，MEB-Net使用了6個網(wǎng)絡(luò)進(jìn)行集成學(xué)習(xí)，而MCRNCC只使用了2個網(wǎng)絡(luò)，并通過充分挖掘2個網(wǎng)絡(luò)的特征進(jìn)行實(shí)例一致性約束、相機(jī)一致性約束和基于標(biāo)簽集成的標(biāo)簽優(yōu)化，取得了更好的性能。

表3 與先進(jìn)的 UDA Re-ID方法的比較Table 3 Comparison with state-of-the-art UDA Re-ID methods/%

4 結(jié) 論

針對無監(jiān)督域適應(yīng)行人重識別問題，本文提出一種具有一致性約束的方法MCRNCC。其中，設(shè)計了實(shí)例一致性約束、相機(jī)一致性約束和基于標(biāo)簽集成的標(biāo)簽優(yōu)化方法等3 個模塊，以分別解決現(xiàn)有方法中存在的行人實(shí)例特征不穩(wěn)定問題、行人特征對相機(jī)變化的不魯棒問題以及偽標(biāo)簽噪聲的過擬合問題。實(shí)例一致性約束通過約束同一實(shí)例在不同增廣下的特征相近，從實(shí)例內(nèi)部挖掘豐富的信息，學(xué)習(xí)到更魯棒的特征表達(dá)；相機(jī)一致性約束對跨相機(jī)的正樣本對和同相機(jī)的負(fù)樣本對構(gòu)建難例三元組，提升了行人在不同相機(jī)下的特征穩(wěn)定性；基于標(biāo)簽集成的標(biāo)簽優(yōu)化引入了額外的偽標(biāo)簽估計，通過將標(biāo)簽估計與原來聚類生成的one-hot 編碼偽標(biāo)簽集成，減少了偽標(biāo)簽噪聲的過擬合風(fēng)險。本文通過大量消融實(shí)驗(yàn)驗(yàn)證了MCRNCC 中各模塊設(shè)計的有效性。與其他現(xiàn)有方法的比較表明MCRNCC 取得了先進(jìn)的性能。

本文方法主要針對的是單源域的域適應(yīng)問題，對于多個源域的域適應(yīng)問題尚未探究。通常，由于源域之間存在域差異，將多個源域簡單地一起訓(xùn)練并不能有效提升性能。而在實(shí)際應(yīng)用中，已有很多標(biāo)注好的源域數(shù)據(jù)集，這些豐富的數(shù)據(jù)集已經(jīng)使用了大量的人力物力，如何充分利用這些數(shù)據(jù)集，將各個源域通用的知識有效地傳遞到目標(biāo)域上，進(jìn)一步提升模型的性能，具有非常高的實(shí)用價值。