基于動態(tài)雙注意力機(jī)制的跨模態(tài)行人重識別模型

李大偉，曾智勇*

（1.福建師范大學(xué) 計算機(jī)與網(wǎng)絡(luò)空間安全學(xué)院，福州 350117；2.福建師范大學(xué) 數(shù)字福建大數(shù)據(jù)安全技術(shù)研究所，福州 350117）

0 引言

行人重識別是跨越多個不重疊監(jiān)控攝像機(jī)檢索特定行人圖像的技術(shù)。目前，絕大多數(shù)研究者關(guān)注的是可見光下的行人重識別問題，并取得了較大進(jìn)展。然而，由于成像機(jī)制不同，跨模態(tài)圖像模態(tài)間存在巨大差異，跨模態(tài)行人重識別技術(shù)面臨巨大挑戰(zhàn)，解決該問題對公共安全和刑偵有著非常重要的現(xiàn)實意義，對加強(qiáng)社會管理、預(yù)防犯罪行為發(fā)生、維護(hù)國家安全等方面具有廣闊的應(yīng)用前景［1］。

相較于單模態(tài)行人重識別來說，跨模態(tài)行人重識別由于行人在不同模態(tài)下圖像之間的差異比在各自單模態(tài)下的差異大得多，如圖1 所示，圖1（a）關(guān)注的是可見光到可見光之間圖像的匹配，而圖1（b）關(guān)注的是紅外到可見光之間圖像的匹配，因此，對于跨模態(tài)行人重識別來說，直接應(yīng)用這些單模態(tài)方法效果不佳。

現(xiàn)有的大多數(shù)方法是通過特征對齊的方式對圖片進(jìn)行預(yù)處理，再通過一個單流網(wǎng)絡(luò)或雙流網(wǎng)絡(luò)去學(xué)習(xí)不同模態(tài)的可共享的特征表示。如Ye等［2］將可見光圖像的三個通道逐像素做線性累加，得到輔助的灰度圖像，然后將三種模態(tài)的圖像經(jīng)過一個參數(shù)共享的單流網(wǎng)絡(luò)，學(xué)習(xí)不同模態(tài)間共享的特征表示。其他一些學(xué)者通過對抗生成網(wǎng)絡(luò)（Generative Adversarial Network，GAN）生成某種模態(tài)對應(yīng)的另一模態(tài)的圖像來減小不同模態(tài)間的差異。如Dai等［3］首次把GAN 運(yùn)用在跨模態(tài)行人重識別上，并提出了一個具有交叉模態(tài)三重?fù)p失的對抗生成訓(xùn)練框架，以共同區(qū)分不同身份和模態(tài)。Wang等［4］提出一種對齊生成對抗網(wǎng)絡(luò)（Alignment Generative Adversarial Network，AlignGAN），利用像素對齊和特征對齊學(xué)習(xí)到對鑒別不同身份有益的特征。然而，這種全局特征學(xué)習(xí)的方法對背景中的噪聲格外敏感，不能較好地解決模態(tài)差異問題。此外，一些學(xué)者也積極地將注意力機(jī)制運(yùn)用到行人重識別中。如Ye等［5］設(shè)計了一個動態(tài)雙注意力聚合（Dynamic Dual-attentive AGgregation，DDAG）學(xué)習(xí)模型，該模型包括模內(nèi)加權(quán)部分聚合（Intra-modality Weighted-Part Aggregation，IWPA）模塊和跨模態(tài)圖形結(jié)構(gòu)化注意力（Crossmodality Graph Structured Attention，CGSA）模塊。IWPA 的目標(biāo)是通過同時挖掘每個模態(tài)中行人身體不同部位之間的上下聯(lián)系，得到一個具有區(qū)分度的局部聚合特征表征。CGSA利用不同模態(tài)圖像特征的鄰近結(jié)構(gòu)關(guān)系去學(xué)習(xí)兩個模態(tài)的全局特征，結(jié)合兩種模態(tài)之間的結(jié)構(gòu)關(guān)系去加強(qiáng)特征表達(dá)能力。但對于跨模態(tài)行人重識別來說，由于有限的樣本和模態(tài)間存在較大的模態(tài)差異，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中很容易被噪聲樣本污染從而造成不穩(wěn)定。

為了解決上述問題，受Ye等［2，5］方法的啟發(fā)，本文提出了一個新的跨模態(tài)行人重識別模型。為了在有限樣本中學(xué)習(xí)到充分的特征信息，在模型開始的輸入部分，輸入兩組圖片分別對同一個網(wǎng)絡(luò)進(jìn)行訓(xùn)練：第一組圖像是可見光和紅外圖像的組合；第二組圖像加入了通過齊次增強(qiáng)方式生成的可見光圖像對應(yīng)的灰度圖像。這些灰度圖像保留了可見光圖像的結(jié)構(gòu)信息，由于紅外圖像不包含任何顏色信息，因此結(jié)構(gòu)信息對跨模態(tài)匹配是至關(guān)重要的。此外，經(jīng)過灰度化的圖像在風(fēng)格上更加接近紅外圖像，這對于拉近可見光和紅外圖像的特征分布是有益的［2］。其次，為了縮小同一個行人的不同模態(tài)圖像特征間差異，提出了適用于三個模態(tài)間圖像的加權(quán)六向三元組排序（Weighted Six-Directional triple Ranking，WSDR）損失，該項損失充分利用了所找出的硬三元組中的信息，整體優(yōu)化了不同模態(tài)間特征的相對距離，提高了對模態(tài)變化的魯棒性，從而改善跨模態(tài)行人重識別的性能。

本文的主要工作如下：

1）提出了一個新的跨模態(tài)行人重識別網(wǎng)絡(luò)模型，通過利用齊次增強(qiáng)的灰度圖像進(jìn)行多模態(tài)學(xué)習(xí)，進(jìn)一步提升網(wǎng)絡(luò)模型的性能。

2）為多視圖檢索提出了一個加權(quán)六向三元組排序損失，有效縮小了同一行人不同模態(tài)間圖像特征在特征空間中的距離，從而減少了模態(tài)間差異。

3）通過大量實驗來分析驗證所提模型的有效性，為未來的研究提供了一個有效提升模型性能的方式。在兩個公共跨模態(tài)（可見光-紅外）數(shù)據(jù)集上均取得了較高的識別準(zhǔn)確率。

1 相關(guān)工作

1.1 單模態(tài)行人重識別

單模態(tài)行人重識別是對不同單模態(tài)攝像機(jī)拍攝到的行人圖像進(jìn)行匹配的過程。但是，由于在不同的場合下行人的姿態(tài)、著裝、遮擋以及光照等變化都會對匹配產(chǎn)生較大的影響，最終造成識別精度的降低。開始階段的研究工作主要通過利用方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征［6］、尺度不變特征變換（Scale Invariant Feature Transform，SIFT）特征［7］、Gabor 特征［8］以及局部二值模 式（Local Binary Pattern，LBP）［9］等方法，使用人工的方式進(jìn)行行人特征提取，再利用相對距離比較（Relative Distance Comparison，RDC）［10］、大邊際鄰近（Large Margin Nearest Neighbor，LMNN）［11］分類、交叉視角的二次判別分析（Crossview Quadratic Discriminant Analysis，XQDA）［12］、概率相對距離比較（Probabilistic Relative Distance Comparison，PRDC）［13］、局部Fisher 判別分析（Local Fisher Discriminant Analysis，LFDA）［14］等算法進(jìn)行度量學(xué)習(xí)。然而，由于人工提取特征的效率限制，已無法適應(yīng)當(dāng)前大數(shù)據(jù)的特征提取任務(wù)。隨著深度神經(jīng)網(wǎng)絡(luò)的出現(xiàn)和發(fā)展，有學(xué)者將其運(yùn)用到了行人重識別中，取得了較好的效果。已有的工作通過全局特征［15-16］或部分特征學(xué)習(xí)［17-19］在端到端的深度學(xué)習(xí)模型上取得了較高的準(zhǔn)確率；然而，這些方法通常無法處理跨模態(tài)圖像間的模態(tài)差異，從而無法應(yīng)用到跨模態(tài)行人重識別上。

1.2 跨模態(tài)行人重識別

跨模態(tài)行人重識別旨在解決不同種模態(tài)圖像之間的行人匹配問題，例如紅外圖像到可見光圖像之間的匹配識別［20-21］、圖像和文本描述等非視覺數(shù)據(jù)之間的匹配［22］、可見光圖像與素描圖像之間的匹配［23］等。

對于可見光到紅外的行人重識別，Wu等［24］提出了一種深度零填充的方法，解決了圖像結(jié)構(gòu)不同無法用同一神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題。Ye等［25］設(shè)計了一個雙流網(wǎng)絡(luò)來學(xué)習(xí)多模態(tài)可共享特征，同時處理具有雙重約束的跨模態(tài)高階損失和模態(tài)內(nèi)變化。Zhu等［26］提出了異質(zhì)中心（Hetero Center triplet，HC）損失，通過約束兩個異質(zhì)模態(tài)之間的類內(nèi)中心距離來監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)跨模態(tài)圖像間的不變信息，以減少類內(nèi)交叉模態(tài)的變化。Hao等［27］提出了一種端到端的雙流超球面流形嵌入模型來約束模態(tài)內(nèi)和模態(tài)間的變化。此外，一些方法還利用特定模態(tài)分類器的優(yōu)勢來促進(jìn)特征學(xué)習(xí)［28-29］；然而，這些方法通常側(cè)重于學(xué)習(xí)全局特征表示，而忽略了行人之間具有區(qū)分度的局部特征及同一行人不同模式圖像之間的潛在關(guān)系。

近兩年來，隨著對抗生成網(wǎng)絡(luò)（GAN）的不斷發(fā)展，該技術(shù)也被運(yùn)用到跨模態(tài)的行人重識別中。Wang等［20］提出一種雙層差異減少方法，利用GAN 生成可見光（紅外）圖像對應(yīng)的紅外（可見光）圖像，形成統(tǒng)一的多光譜圖像，減少了模態(tài)間差異。Wang等［4］提出一種對齊生成對抗網(wǎng)絡(luò)，該模型由像素對齊模塊、特征對齊模塊和聯(lián)合鑒別器組成，可以聯(lián)合利用像素對齊和特征對齊。這樣不僅能夠緩解模態(tài)間和模態(tài)內(nèi)的變化，而且能夠?qū)W習(xí)到基于身份的一致性特征。目前來說盡管GAN 在跨模態(tài)行人重識別中取得了一定的成功，但訓(xùn)練GAN 模型非常困難，需要消耗大量的計算資源。同時，利用GAN 生成新圖像時容易引入噪聲，影響跨模態(tài)行人重識別的精度。相比之下，通過線性累加可見光圖像三個通道像素得到的灰度圖像就會避免上述問題，并且生成的灰度圖像還很好地保留了原始圖像的結(jié)構(gòu)信息。

1.3 注意力機(jī)制

注意力機(jī)制已經(jīng)廣泛應(yīng)用于各種深度學(xué)習(xí)應(yīng)用中，以增強(qiáng)數(shù)據(jù)的特征表示。對于行人重新識別研究來說，注意力機(jī)制被用來組合來自不同視頻幀的時空信息［30］。一些工作［31］還研究了使用多尺度或不同的卷積通道來捕獲像素級或小區(qū)域級關(guān)注。Yin等［32］提出了局部注意機(jī)制，通過一個可學(xué)習(xí)的轉(zhuǎn)換函數(shù)來細(xì)化局部聚合特征，以考慮一個人不同身體部位之間的重要性。然而，這些注意力機(jī)制對于較大的交叉模態(tài)差異和噪聲，可能無法取得較好的效果。

2 本文方法

本文基于數(shù)據(jù)增強(qiáng)和注意力機(jī)制提出了一個新的跨模態(tài)行人重識別模型，整體網(wǎng)絡(luò)框架如圖2 所示。

2.1 多輸入的跨模態(tài)行人重識別

在本文模型中，為神經(jīng)網(wǎng)絡(luò)模型輸入了兩組圖像，其中一組是由可見光和紅外圖像組合而成，另一組由可見光圖像、紅外圖像和由可見光圖像生成的灰度圖像組成。兩組圖片都參與標(biāo)簽損失與三元組損失的計算，這樣就充分利用了有限的圖像資源學(xué)習(xí)到更加優(yōu)秀的圖像特征。該網(wǎng)絡(luò)是采用了單流網(wǎng)絡(luò)與雙流網(wǎng)絡(luò)相結(jié)合的方式，用以提取和合并不同模態(tài)圖像的特征。在早期為了學(xué)習(xí)到不同模態(tài)圖像間具有區(qū)分度的特征，采用了雙流網(wǎng)絡(luò)；不同流中的卷積模塊的網(wǎng)絡(luò)參數(shù)是獨立的，從而可以更好地捕獲到具有特定形態(tài)的低級模態(tài)特征。由于可見光圖像和灰度圖像在結(jié)構(gòu)信息上更加地相似，因此將可見光和灰度圖像送入同一個網(wǎng)絡(luò)流中進(jìn)行學(xué)習(xí)。區(qū)別于前面兩種圖像，紅外圖像的特征更加獨特，因此讓其單獨通過一個網(wǎng)絡(luò)流。為了學(xué)習(xí)到不同模態(tài)之間可以共享的特征，對網(wǎng)絡(luò)后面的卷積模塊進(jìn)行了參數(shù)共享。在獲取到卷積特征并將其通過全局平均池化后，增加一個共享的批量歸一化層來學(xué)習(xí)共享特征嵌入。

對于可見光圖像的灰度化，直接將可見光的R、G、B 三個通道的像素進(jìn)行累加，從而得到增強(qiáng)數(shù)據(jù)。與運(yùn)用GAN的方法相比，這種生成圖片的方式基本不會額外增加訓(xùn)練時間，這種數(shù)據(jù)增強(qiáng)的方式也不會額外地引入噪聲，從而降低模型訓(xùn)練的效果。

2.2 同質(zhì)和異質(zhì)共享多模態(tài)分類器

2.2.1 模態(tài)共享身份分類器

模態(tài)共享身份分類器為三種不同的模態(tài)特征學(xué)習(xí)一個共享分類器θp。表示使用θp分類器將可見光圖像特征預(yù)測成圖像標(biāo)簽為yi的輸出概率。相同地，和分別代表了灰度圖像和紅外圖像特征，其中上標(biāo){v，r，g}表示模態(tài)的索引。假設(shè)每個訓(xùn)練批次包含了n個可見光圖像、n個齊次增強(qiáng)的灰度圖像和n個紅外圖像，則標(biāo)簽損失表示如下：

2.2.2 齊次不變正則化

為了增強(qiáng)對模態(tài)變化的魯棒性，本文引入了齊次不變正則化［2］。其主要思想是原始可見圖像和均勻增強(qiáng)灰度圖像的特征通過特征網(wǎng)絡(luò)提取后保持不變［2］。具體來說，采用平滑L1 損失作為正則化：

其中：B表示當(dāng)前批次圖像集合表示身份標(biāo)簽為i的可見光圖像通過神經(jīng)網(wǎng)絡(luò)得到的特征向量表示身份標(biāo)簽為i的灰度增強(qiáng)圖像通過網(wǎng)絡(luò)得到的特征向量。

將這一部分總的損失稱作雙重同質(zhì)和異質(zhì)識別損失（Dual Homogeneous and Heterogeneous Identification loss，DHHI），則

DHHI 通過兩組輸入充分利用了有限的圖片資源，學(xué)習(xí)到了更加充分的圖像特征。

2.3 面向多視圖檢索的加權(quán)六向三元組排序損失

本節(jié)介紹了為多視圖檢索設(shè)計的加權(quán)六向三元組排序（WSDR）損失，它優(yōu)化了在跨模態(tài)多視圖檢索間（可見-紅外-灰度）的關(guān)系。

2.3.1 信息三元組挖掘

上述SDR 損失充分利用了不同視角下的跨模態(tài)三態(tài)關(guān)系。它使最遠(yuǎn)的交叉模態(tài)正對距離和最近的負(fù)對距離之間的相對差異最小化，提高了對模態(tài)變化的魯棒性；SDR 損失使所學(xué)到的跨模態(tài)特征更具有可區(qū)分性。

2.3.2 三元組全局加權(quán)

這部分損失僅用在第二組含有3 個模態(tài)圖像的特征上，其中對于第一組的雙模態(tài)輸入的圖像用常規(guī)三元組損失進(jìn)行計算，記作Ltri。

2.4 注意力機(jī)制

目前大多數(shù)跨模態(tài)行人重識別方法傾向于學(xué)習(xí)全局表征，這使得模型的區(qū)分能力和魯棒性不足；然而，基于局部特征的單模態(tài)行人重識別的方法由于跨模態(tài)的差異而無法得到可靠的局部特征；此外，并且當(dāng)兩種模態(tài)之間圖像差異變大時，模型的學(xué)習(xí)容易受到噪聲的干擾而變得不穩(wěn)定。為了解決這些問題，集成了IWPA 模塊［5］和CGSA 模塊［5］來進(jìn)一步提高模型的識別性能。

1）模態(tài)內(nèi)加權(quán)部分注意力（IWPA）。為了挖掘輸入圖片特征的上下文信息，以形成增強(qiáng)的部分聚合表示，從而應(yīng)對復(fù)雜的挑戰(zhàn)，本文在上述深度網(wǎng)絡(luò)中加入模態(tài)內(nèi)加權(quán)部分注意力（IWPA）模塊。該模塊首先用一個改進(jìn)的非局部模塊學(xué)習(xí)模態(tài)內(nèi)部分注意力，然后用一個可學(xué)習(xí)的加權(quán)部分聚集策略和殘差歸一化來穩(wěn)定和加強(qiáng)訓(xùn)練過程，最終得到一個帶有注意力加權(quán)的圖片特征。該部分的損失定義如下：

2）跨模態(tài)圖形結(jié)構(gòu)化注意力（CGSA）。CGSA 通過學(xué)習(xí)兩個模態(tài)間的結(jié)構(gòu)關(guān)系以加強(qiáng)特征表示。該模塊的主要思想是屬于同一身份的不同模態(tài)圖像的特征表示是互利的。為了引導(dǎo)跨模態(tài)圖形結(jié)構(gòu)化注意力模塊學(xué)習(xí)，CGSA 引入了一個具有單輸出結(jié)構(gòu)的圖形注意層，其中最終輸出節(jié)點特征由表示。其中是通過CGSA 模塊計算獲得，采用負(fù)對數(shù)似然損失函數(shù)進(jìn)行圖形注意力學(xué)習(xí)，損失函數(shù)定義為：

3）動態(tài)雙重聚合學(xué)習(xí)［5］。用像素級部分聚合特征學(xué)習(xí)損失Lp作為主導(dǎo)損失，然后逐步添加圖像級全局特征學(xué)習(xí)損失Lg進(jìn)行優(yōu)化。這樣做的主要原因是在早期階段用Lp學(xué)習(xí)像素級特征表示更容易。隨著網(wǎng)絡(luò)不斷的學(xué)習(xí)，圖像級全局特征學(xué)習(xí)使用跨模態(tài)的人物圖像之間的關(guān)系來優(yōu)化特征，表示為：

其中：t是訓(xùn)練輪數(shù)；T()代表前一個訓(xùn)練輪數(shù)的平均損失值；代表當(dāng)前輪數(shù)跨模態(tài)圖形結(jié)構(gòu)化注意力損失數(shù)值。在這個動態(tài)更新框架中，圖像級全局損失Lg逐步加入到整個學(xué)習(xí)過程中。

最終的總損失由Ldhhi、Lwsdr、Ltri、Lp和Lt組成，定義如下：

其中：β作為超參數(shù)控制著SDR 損失的貢獻(xiàn)。DHHI 優(yōu)化了具有身份監(jiān)督的參數(shù)共享網(wǎng)絡(luò)，使得網(wǎng)絡(luò)學(xué)習(xí)到多模態(tài)身份不變特征；WSDR 損失Lwsdr提供監(jiān)督以優(yōu)化從6 個視圖檢索的相對距離；Lp、Lt分別從像素級和圖像級學(xué)習(xí)到了模態(tài)內(nèi)和模態(tài)間特征關(guān)系，加強(qiáng)了特征表示。這幾個組件針對跨模態(tài)行人重識別模型學(xué)習(xí)進(jìn)行了聯(lián)合優(yōu)化。

3 實驗與結(jié)果分析

3.1 實驗設(shè)置

3.1.1 數(shù)據(jù)集

為了評估了模型的性能，在兩個公開的跨模態(tài)行人重識別數(shù)據(jù)集（SYSU-MM01［24］和RegDB［36］）上進(jìn)行了實驗驗證。

SYSU-MM01 數(shù)據(jù)集是由6 個不同的攝像機(jī)收集的大規(guī)模數(shù)據(jù)集，包括4 個通用可見光攝像機(jī)和2 個近紅外攝像機(jī)，該數(shù)據(jù)集包含395 個訓(xùn)練身份，包括22 258 張可見圖像和11 909 張近紅外圖像，圖4 給出了兩個不同身份的行人在6個不同攝像機(jī)下拍攝到的圖片。

測試集包含另外95 個測試身份，具有兩種不同的評估設(shè)置，分別是全局搜索和室內(nèi)搜索。在這兩種設(shè)置中，查詢集是相同的，包含從兩個紅外攝像機(jī)捕獲的3 803 幅圖像。在全局搜索模式下，圖庫集包含從所有4 個可見光相機(jī)捕獲的所有可見光圖像；在室內(nèi)搜索模式下，圖庫集僅包含由兩個室內(nèi)可見光相機(jī)捕獲的可見光圖像。完全按照現(xiàn)有的方法［5］執(zhí)行圖像候選集的10 次檢索實驗，并給出平均檢索性能。

3.1.2 評估指標(biāo)

本文使用累計匹配特性（Cumulative Matching Characteristics，CMC）曲線和平均精度均值（mean Average Precision，mAP）作為評價指標(biāo)。CMC 統(tǒng)計在前r次檢索結(jié)果中出現(xiàn)正確的人物圖像的概率，當(dāng)r=1時，代表Rank-1 精度；r=5時，代表Rank-5 精度，以此類推。mAP 是衡量圖庫集中出現(xiàn)多個匹配圖像時的檢索性能。

3.1.3 實施細(xì)節(jié)

該模型在PyTorch 框架上實現(xiàn)，使用單個NVIDIA Tesla P100 GPU 進(jìn)行模型訓(xùn)練。模型采用ResNet50 作為骨干網(wǎng)絡(luò)進(jìn)行特征提取，網(wǎng)絡(luò)初始化采用ImageNet 預(yù)處理后的模型參數(shù)。采用在PyTorch 中內(nèi)置的灰度化函數(shù)（Grayscale（3））來為每個可見圖像生成灰度圖像。首先將輸入圖像調(diào)整到288×144，然后采用隨機(jī)補(bǔ)零和隨機(jī)水平翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。對于注意力機(jī)制部分采用了文獻(xiàn)［3］中同樣的設(shè)置。采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器進(jìn)行優(yōu)化，動量參數(shù)設(shè)置為0.9。將兩個數(shù)據(jù)集的初始學(xué)習(xí)率都設(shè)置為0.1，學(xué)習(xí)率在第20 個Epoch 時衰減到0.01，在第50 個Epoch 時衰減到0.001，在兩個數(shù)據(jù)集上總共有80 個訓(xùn)練輪次。將WSDR 損失中的裕量參數(shù)ρ設(shè)置為0.3，默認(rèn)設(shè)置β=0.2。在測試階段，使用批量歸一化（Batch Normalization，BN）層的輸出進(jìn)行檢索，并使用原始可見圖像進(jìn)行特征提取。在此，將所提出的模型稱作BADIN。

3.2 消融實驗

3.2.1 組件評估

首先在全局搜索和室內(nèi)搜索兩種模式下對大規(guī)模SYSU-MM01 數(shù)據(jù)集進(jìn)行評估。表1中，“B”代表基線模型，使用原始的DDAG 模型［5］?！癏0”代表額外增加一組輸入圖像，通過模態(tài)共享身份分類器得到標(biāo)簽損失進(jìn)行訓(xùn)練。“DHHI”代表了在模型中加入了DHHI?！癝DR”代表普通的六向三元組排序損失?！癢SDR”代表帶有加權(quán)的SDR 損失。

由表1 可以看出，當(dāng)額外加入一組帶有灰度圖片輸入時，與基線模型B 相比，額外添加一組輸入的性能顯著提高，即Rank-1 精度從0.547 5 變?yōu)?.568 1，提升了2.06 個百分點，證明了帶有灰度圖像的額外輸入對跨模態(tài)人識別的有效性。當(dāng)進(jìn)一步在模型中加入DHHI 損失時，兩種設(shè)置下的性能都得到了進(jìn)一步提高，這表明了平滑L1 損失有效地通過中間模態(tài)拉近了可見光和紅外的特征距離，提高了識別性能。當(dāng)在模型中結(jié)合了SDR 損失，檢索性能大幅提升，表明SDR 損失為減小類內(nèi)間距、增大類間間距提供了強(qiáng)有力的監(jiān)督。最后當(dāng)根據(jù)距離差異對SDR 損失進(jìn)行加權(quán)計算時，性能略有提高。從整體來看，在全局搜索模式下，與DDAG 基線模型相比，所提模型在Rank-1 和mAP 評價指標(biāo)上分別提升了4.66 和3.41 個百分點。

步驟4 將決策變量決策變量Wli的值Wlit代入下層模型目標(biāo)函數(shù)中，獲得下層模型函數(shù)目標(biāo)值θ,s-,s+及目標(biāo)值符合滿意值范圍時(下層約束條件)，則轉(zhuǎn)入步驟5；如果目標(biāo)值未達(dá)到滿意值范圍時，根據(jù)松馳變量s-,s+的值，調(diào)整的Wlit值，轉(zhuǎn)入步驟1。

表1 在SYSU-MM01數(shù)據(jù)集上所提出的每個組件的評估Tab.1 Evaluation of each proposed component on SYSU-MM01 dataset

3.2.2 參數(shù)評估

為了評估所提總損失函數(shù)中超參數(shù)β（式（17））的影響。其在SYSU-MM01 數(shù)據(jù)集上全局搜索模式下的影響結(jié)果如圖5 所示。加權(quán)六向三元組排序損失充分利用了不同視角下的3 種模態(tài)間的關(guān)系，這增強(qiáng)了對跨模態(tài)變化的魯棒性。根據(jù)實驗結(jié)果，在所有實驗中將β設(shè)置為0.2。

3.3 深入分析

3.3.1 加權(quán)六向三元組排序損失

不同的三元組損失變體的性能比較，如表2 所示。與硬挖掘的三元組損失（Triplet（Hard））［37］、加權(quán)三向三元組排序損 失（Weighted Tri-Directional triple Ranking loss，WTDR）［2］相比，所提出的加權(quán)六向三元組排序損失通過顯式優(yōu)化6 個不同視圖中的跨模態(tài)關(guān)系來實現(xiàn)更高的性能，取得了較好的效果。

表2 不同三元組損失變體下的Rank-1和mAPTab.2 Rank-1 and mAP under different triplet loss variants

3.3.2 IWPA及CGSA有效性分析

對于本文加入的IWPA 和CGSA 模塊，也對其進(jìn)行了有效性分析，結(jié)果如表3 所示。其中Base 模型表示BADIN 去除了IWPA、CGSA 模塊以及它們所對應(yīng)的計算損失。從表3 可以看出，Base 模型在全局搜索的模式下取得了0.573 3 的Rank-1 和0.542 6 的mAP；在Base 的基礎(chǔ)上分別加入IWPA和CGSA 模塊后，Rank-1 和mAP 都有了一定程度的提高；當(dāng)兩者同時加入時，與Base 相比，Rank-1 和mAP 分別提高了2.08 和2.17 個百分點。從實驗結(jié)果可以看出，IWPA和CGSA 模塊對模型效果的提升是有益的。此外，Base 模型比所采用的DDAG 基線模型在Rank-1 的準(zhǔn)確率上還高出2.58個百分點。這也從側(cè)面證明了本文模型的有效性。

表3 IWPA、CGSA模塊的有效性驗證Tab.3 Validity verification of IWPA module and CGSA module

3.3.3 復(fù)雜度分析

本節(jié)比較了本文模型與基線模型（DDAG）的額外計算時間和參數(shù)量。從表4 中可以看出，與DDAG 模型相比，本文模型的參數(shù)量只增加了1.05×106，幾乎可以忽略不計，而時間的增加量較多。這是由于在輸入時多增加了1.5 倍的數(shù)據(jù)量，從而導(dǎo)致訓(xùn)練時間也增加了1.46倍，總體而言相較于DDAG 模型來說并未引入額外較大的計算開銷。

表4 不同模型的計算開銷Tab.4 Computational overhead of different models

3.3.4 t-分布式隨機(jī)鄰居嵌入分析

從SYSU-MM01 數(shù)據(jù)集上隨機(jī)選擇的10 個身份的t-分布式隨機(jī)鄰居嵌 入（t-distributed Stochastic Neighbor Embedding，T-SNE）繪制了圖6，包括可見光圖像和紅外圖像在通過初始模型和訓(xùn)練后的模型的特征分布，其中每一個顏色代表一個不同的身份。由圖6 可以觀察到，在初始模型上可見光圖像和紅外圖像的特征分散在兩個不同的區(qū)域。將相同圖片輸入訓(xùn)練過后的模型中，可以觀察到來自不同模態(tài)的每個身份的特征被聚集到嵌入空間同一位置中，說明了模型是有效的。

3.4 與現(xiàn)有技術(shù)的比較

將與現(xiàn)有的跨模態(tài)行人重識別方法進(jìn)行比較，通過此項對比實驗進(jìn)一步驗證了提出的解決方案的有效性。對比對象主要包括：

1）傳統(tǒng)特征提取方法。HOG［38］、局部最大出現(xiàn)次數(shù)（Local Maximal Occurrence，LOMO）特征［12］。

2）基于GAN 的模型。雙層差異減少學(xué)習(xí)（Dual-level Discrepancy Reduction Learning，D2RL）模型［20］、AlignGAN［4］。

3）深度度量學(xué)習(xí)。雙向中心約束的top-ranking（Bi-Directional center-constrained Top-Ranking，eBDTR）模型［25］。

4）基于共享特征學(xué)習(xí)方法。Zero-Padding［24］、AGW［39］、DDAG［5］以及超球面流形嵌入（HyperSphere Manifold Embedding，HSME）［27］、模態(tài)意識協(xié)同（Modality-aware Collaborative，MAC）學(xué)習(xí)［28］、特定模態(tài)表示（Modality-Specific Representations，MSR）學(xué)習(xí)［29］等。其中DDAG 模型通過動態(tài)雙注意力模型學(xué)習(xí)到了更加有效的特征表示，實現(xiàn)了良好的性能。

在SUSY-MM01 數(shù)據(jù)集上的兩種查詢模式的實驗結(jié)果（表5）表明，所提模型在性能相較于現(xiàn)有技術(shù)有著一定程度的提高，在具有挑戰(zhàn)性的SYSU-MM01 數(shù)據(jù)集全局查詢模式下實現(xiàn)了59.41%的Rank-1 精度和56.43%的mAP。

表5 在SYSU-MM01數(shù)據(jù)集上本文方法與先進(jìn)水平方法的性能比較Tab.5 Performance comparison of the proposed method and advanced methods on SYSU-MM01 dataset

在RegDB 數(shù)據(jù)集（表6）上的實驗結(jié)果表明，所提模型在兩種查詢設(shè)置中都獲得了較高的性能，對于可見光到紅外查詢設(shè)置，Rank-1 和mAP 的數(shù)值分別為70.53%和66.76%。

表6 在RegDB數(shù)據(jù)集上本文方法與先進(jìn)方法的性能比較Tab.6 Performance comparison of the proposed method and advanced methods on RegDB dataset

該實驗結(jié)果表明，模型可以通過額外的一組圖像輸入來學(xué)習(xí)更好的跨模態(tài)共享特征表示。但由于RegDB 數(shù)據(jù)集較小、圖片風(fēng)格相近，導(dǎo)致額外的一組訓(xùn)練沒能取得較大的提高，因此相較于SYSU-MM01 數(shù)據(jù)集來說，精度提升的幅度較小。

4 結(jié)語

本文為跨模態(tài)行人重識別提出了一個新的基于數(shù)據(jù)增強(qiáng)學(xué)習(xí)的方法。通過額外增加一組由可見光、紅外和齊次增強(qiáng)得到的灰度圖像組成的輸入，用兩組輸入圖像對網(wǎng)絡(luò)模型進(jìn)行聯(lián)合訓(xùn)練。進(jìn)一步加強(qiáng)了對有限圖像中特征的利用，提高了模型匹配的精度。同時，引入了加權(quán)六向三元組排序損失進(jìn)一步優(yōu)化跨模態(tài)三元組的相對距離，這個策略對所挖掘到的困難三元組的信息進(jìn)行了充分的應(yīng)用，有效地減小了同一身份不同模態(tài)間的特征距離，也增大了不同身份間的特征距離。對于文中所引用的注意力模型也通過實驗證明了它的有效性。實驗結(jié)果表明，該模型在跨模態(tài)行人重識別的任務(wù)上取得了有效的精度提升。但本文模型中所采用的注意力模塊較為復(fù)雜，從而導(dǎo)致訓(xùn)練需要花費(fèi)較長時間，因此未來的工作將優(yōu)化注意力機(jī)制，提高模型訓(xùn)練的整體效率。