基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識別

程南江，余貞俠，陳琳，喬賀轍

（1.成都信息工程大學(xué)計算機學(xué)院，成都 610225；2.中國科學(xué)院重慶綠色智能技術(shù)研究院，重慶 400714）

0 引言

行人屬性是人類可搜索的語義描述，可作為視頻監(jiān)控的軟生物識別技術(shù)，在人的重識別［1-2］、人臉驗證［3］和人物信息檢索［4-5］等方面有重要應(yīng)用。行人屬性識別（Perdestion Attribute Recognition，PAR）任務(wù)的目的是在給定人物圖像時挖掘目標(biāo)人物的屬性，預(yù)測行人圖像中的多個屬性作為視頻監(jiān)控中的語義描述，如年齡、性別、服裝等，其實質(zhì)是對行人的所有屬性標(biāo)簽進行二分類的多標(biāo)簽分類。

傳統(tǒng)的行人屬性識別方法［6］通常側(cè)重于從低層次特征、強大的分類器或?qū)傩躁P(guān)系等角度開發(fā)魯棒的特征表示，也提出了許多經(jīng)典的方法。然而，大量的評估報告表明，這些傳統(tǒng)方法的性能遠遠不能滿足實際應(yīng)用的要求。

與許多視覺任務(wù)一樣，深度學(xué)習(xí)在行人屬性識別方面也取得了顯著進展。近些年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在圖像分類和圖像檢索方面得到了廣泛的應(yīng)用，許多基于CNN 的PAR 方法被提出。這些方法包括基于全局的［7-9］、基于局部的［10-12］、基于視覺注意的［13-16］等。Deep-Mar［7］直接將整幅圖像作為輸入，并用基于ResNet-50［17］的網(wǎng)絡(luò)對所有屬性進行分類。Abdulnabi 等［9］通過三階級聯(lián)CNN 呈現(xiàn)不同類別之間的視覺共享信息，并在多任務(wù)學(xué)習(xí)中利用豐富的先驗信息?；谌值姆椒ǖ膬?yōu)點是相對直觀、復(fù)雜度低、效率高。然而，由于缺乏對局部細粒度屬性識別的考慮，這些方法的性能仍有待提高。基于局部的方法通常需要額外的身體部件信息來提取特定的屬性特征。Bourdev等［12］將一幅圖像分解為一組圖像塊，根據(jù)給定的視角和部分區(qū)域提取判別特征。Li 等［10］提出了一種聯(lián)合學(xué)習(xí)CNN 模型，利用人體姿態(tài)輔助PAR，姿態(tài)估計模型可以生成行人關(guān)鍵點，準(zhǔn)確定位局部區(qū)域進行屬性識別。基于局部的方法結(jié)合全局特征和細粒度局部特征顯著提高了識別性能。然而，此方法更多地依賴于定位模塊的準(zhǔn)確性，并且大多數(shù)PAR數(shù)據(jù)集的數(shù)據(jù)不足，需要手工標(biāo)注身體部位區(qū)域。注意力機制在屬性識別中被廣泛應(yīng)用于對屬性區(qū)域進行弱定位。Liu等［13］提出了一個基于注意力的網(wǎng)絡(luò)：HydraPlus-Net，該網(wǎng)絡(luò)可以分為兩部分：骨干網(wǎng)絡(luò)和注意力網(wǎng)絡(luò)。這兩個網(wǎng)絡(luò)共享同一個主干CNN 的權(quán)重，其輸出通過全局平均池化（Global Average Pooling，GAP）層進行連接和融合。Wu 等［14］提出了一種分散感知注意力算法，以提高多粒度屬性定位的準(zhǔn)確性。Yaghoubi 等［15］擴展了一個多任務(wù)學(xué)習(xí)模型，該模型關(guān)注前景（即人體）特征，并減少了背景區(qū)域的影響。視覺注意力機制通常用于生成注意力掩模，通過匹配識別區(qū)域提取屬性特征。然而，基于注意力的方法只關(guān)注局部區(qū)域或像素的小尺寸，忽略了與屬性相關(guān)的鄰域特征的上下文判別信息。

雖然各種網(wǎng)絡(luò)通過提取更有識別力的特征提高了性能，但現(xiàn)有流行的PAR 數(shù)據(jù)集中，有一個至關(guān)重要的問題經(jīng)常被忽視，即PAR 數(shù)據(jù)集的屬性沒有相關(guān)標(biāo)準(zhǔn)，導(dǎo)致每個數(shù)據(jù)集的屬性有很大差異，如在現(xiàn)有4 個主流的PAR 數(shù)據(jù)集中，PA-100K（Pedestrian Attribute-100K）［13］數(shù)據(jù)集有26 項屬性，PETA（PEdesTrian Attribute）［18］數(shù)據(jù)集有35 項屬性，RAPv1（Richly Annotated Pedestrian v1）［19］和RAPv2［20］的屬性數(shù)則為51 項。這個問題導(dǎo)致了在改進行人屬性識別算法時，通常只能在單一數(shù)據(jù)集上進行比較，無法將多個屬性不同的數(shù)據(jù)集結(jié)合起來。并且在實際應(yīng)用時，由于各個數(shù)據(jù)集間的屬性差異，通常無法加入現(xiàn)有公開數(shù)據(jù)集直接訓(xùn)練，為完成任務(wù)，只能花費大量時間進行圖片的搜集、裁剪和標(biāo)注。這種方法不僅耗時，而且需要大量的人力物力。在一些僅有少量樣本的場景上，大多數(shù)算法往往不能得到良好的訓(xùn)練效果。并且，現(xiàn)有公開數(shù)據(jù)集的采集場景差異也非常大，例如，RAPv1和RAPv2 數(shù)據(jù)集樣本均由室內(nèi)攝像頭采集，光線較為融合，這些圖片也較為清晰，分辨率高；而PATA 數(shù)據(jù)集來自室外攝像頭，其圖片分辨率低且曝光率較高。

針對上述問題，本文提出了一種基于多源多標(biāo)簽，以領(lǐng)域自適應(yīng)為基礎(chǔ)，利用特征對齊和標(biāo)簽對齊提高跨數(shù)據(jù)集行人屬性識別性能的方法。

1 本文方法

本文方法的總體結(jié)構(gòu)如圖1 所示，以ResNet-50 為基礎(chǔ)，加入了用于行人屬性識別任務(wù)的特征及標(biāo)簽對齊模塊。其中特征對齊模塊（Feature Alignment Module，F(xiàn)AM）使用領(lǐng)域自適應(yīng)方法，通過學(xué)習(xí)公共的特征不變表示，使多個數(shù)據(jù)集的樣本在公共特征空間中盡可能有相同的分布，以實現(xiàn)數(shù)據(jù)集間樣本的特征對齊。標(biāo)簽對齊模塊（Label Alignment Module，LAM）則對數(shù)據(jù)集的標(biāo)簽進行操作，從多個數(shù)據(jù)集中找出共有屬性，將數(shù)據(jù)集的共有屬性標(biāo)簽向所選出的源域數(shù)據(jù)集標(biāo)簽進行對齊，以此增強模型對共有屬性的識別效果。

圖1 基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識別總體結(jié)構(gòu)Fig.1 Overall structure of multi-source and multi-label pedestrian attribute recognition based on domain adaptation

1.1 特征對齊模塊

由于數(shù)據(jù)集之間的場景差異，本文采用循環(huán)生成對抗網(wǎng)絡(luò)（Cycle-Generative Adversarial Network，Cycle-GAN）［21-22］實現(xiàn)數(shù)據(jù)集間樣本的特征對齊，以完成兩個數(shù)據(jù)集圖片風(fēng)格的相互轉(zhuǎn)換。以PA-100K 數(shù)據(jù)集和RAPv1 數(shù)據(jù)集為例。特征對齊模塊的目的是得到PA-100K 域P和RAPv1 域R之間的映射關(guān)系，使兩個域之間能夠進行相互映射。域P提供圖片IP，域R提供圖片IR，在給定iR∈IR和iP∈IP的情況下，最終得到兩個最優(yōu)的生成器GP→R和GR→P，前者完成從PA-100K域向RAPv1 域的映射，后者則相反。整個訓(xùn)練過程引入了循環(huán)一致性損失（Lcycle）來規(guī)范，具體來說，對樣本iR和iP而言，目標(biāo)之一是iP→GP→R(iP) →GR→P(GP→R(iP)) ≈iP，另一個則是iR的逆過程。循環(huán)一致性損失是周期架構(gòu)中的L1 損失，其定義如下：

同時，兩個對抗器DR和DP也分別對應(yīng)判別器GP→R和GP→R。具體來說，DR試圖區(qū)分那些來自IR或GP→R(IP)的圖片，DP則試圖區(qū)分那些來自IP或GR→P(IR)的圖片。以DP為例，訓(xùn)練目標(biāo)是得到其對抗損失（Adversarial Loss），公式如下：

綜上，總的損失函數(shù)定義為：

1.2 標(biāo)簽對齊模塊

圖2 將RAPv1數(shù)據(jù)集的標(biāo)簽與PA-100K數(shù)據(jù)集的標(biāo)簽對齊Fig.2 Aligning labels of RAPv1 dataset with those of PA-100K dataset

1.3 損失計算模塊

行人屬性識別方法通常采用具有sigmoid 函數(shù)的多個二元分類器，損失通常以如下方式計算：

其中：rj為數(shù)據(jù)集中第j個屬性的負(fù)樣本比率。

由于上述損失函數(shù)為單一數(shù)據(jù)集的計算方式，而本文中引入了多個數(shù)據(jù)集，因此改進后的多標(biāo)簽半監(jiān)督損失函數(shù)如下：

2 實驗與結(jié)果分析

2.1 數(shù)據(jù)集

PA-100K 數(shù)據(jù)集［13］是由598 個真實的戶外監(jiān)控攝像頭捕獲到的圖像構(gòu)建而成的，其中包括100 000 張行人圖像，是迄今為止最大的行人屬性識別數(shù)據(jù)集。整個數(shù)據(jù)集按8∶1∶1的比例隨機分為訓(xùn)練集、驗證集和測試集。

RAPv1 數(shù)據(jù)集［19］來自真實的室內(nèi)監(jiān)控場景，共選取26臺攝像機來采集圖像，包含41 585 張分辨率范圍為36×92 到344×554 的圖片，其中的33 268 幅圖像用于訓(xùn)練，剩余部分用于測試。

RAPv2 數(shù)據(jù)集［20］采集自現(xiàn)實室內(nèi)購物中心的高清監(jiān)控。該數(shù)據(jù)集包含84 928 張圖像，并分為三個部分，其中50 957張用于訓(xùn)練，16 986 張用于驗證，16 985 張用于測試。

PETA 數(shù)據(jù)集［18］是由10 個公開的用于行人重識別的小規(guī)模數(shù)據(jù)集構(gòu)建而成。該數(shù)據(jù)集包含19 000 張圖像，隨機選出9 500 張用于訓(xùn)練，1 900 張用于驗證，7 600 張用于測試。

2.2 評估標(biāo)準(zhǔn)

實驗采用了基于標(biāo)簽和基于實例的標(biāo)準(zhǔn)評價屬性識別算法。基于標(biāo)簽的標(biāo)準(zhǔn)首先獨立計算每個屬性的準(zhǔn)確率，以所有屬性的平均準(zhǔn)確率（mean Accuracy，mA）作為識別率。mA的計算公式如下：

其中：L為屬性的個數(shù)；TPi和TNi分別為正確預(yù)測的正、負(fù)樣本個數(shù)；Pi和Ni分別為正、負(fù)樣本總數(shù)；N為樣本總數(shù)。

基于實例的標(biāo)準(zhǔn)包括準(zhǔn)確性Acc、精度Prec、召回率Rec和F1 值四個廣泛使用的指標(biāo)，定義如下：

其中：Yi為第i個樣本的真實正標(biāo)簽；f(xi)為第i個樣本的預(yù)測正標(biāo)簽。

2.3 實驗結(jié)果

實驗在2 張NVIDIA GTX1080ti 上使用PyTorch 進行，采用256×192 作為骨干網(wǎng)絡(luò)ResNet-50 的輸入圖像大小，該網(wǎng)絡(luò)已在ImageNet 上進行了預(yù)訓(xùn)練，通過隨機梯度下降（Stochastic Gradient Descent，SGD）對網(wǎng)絡(luò)進行優(yōu)化。圖片通過隨機擦除、隨機裁剪、水平翻轉(zhuǎn)和其他操作進行了簡單的數(shù)據(jù)增強處理。動量大小設(shè)置為0.5，權(quán)重衰減為0.000 5。初始學(xué)習(xí)率為0.01，批處理大小設(shè)置為64，學(xué)習(xí)率的衰減因子為0.1，總共訓(xùn)練30 輪。

實驗時，將PA-100K 作為目標(biāo)域，RAPv1、RAPv2 和PETA 分別作為源域，具體步驟如下：分別將RAPv1、RAPv2和PETA 數(shù)據(jù)集的樣本與PA-100K 數(shù)據(jù)集樣本通過領(lǐng)域自適應(yīng)方法進行特征對齊，再把這三個數(shù)據(jù)集的標(biāo)簽與PA-100K的標(biāo)簽對齊；最后分別將對齊后的樣本和標(biāo)簽與PA-100K 樣本結(jié)合起來組成一個新的訓(xùn)練集，測試集不變，仍將PA-100K 的測試集用作測試。三種混合數(shù)據(jù)集在表中分別以RAPv1→PA-100K、RAPv2→PA-100K 和 PETA→PA-100K表示。

為了驗證本文方法的有效性，本文將所提方法與近年來最先進的（State-Of-The-Art，SOTA）方法進行了比較，包括基于局部的方法，如PGDM（Posed Guided Deep Model）［10］、ALM（Attribute Localization Module）［24］、CoCNN（Co-occurrence Convolutional Neural Network）［24］；基于注意力的方法如HPNet（Hydra Plus Net）［13］、MT-CAS（Multi-Task learning via Co-Attentive Sharing）［25］、AR-BiFPN（Attribute Recognition-Bidirectional Feature Pyramid Network）［26］；以及其他損失函數(shù)改進方法，如StrongBaseline（Strong Baseline model）［27］。表1為在PA-100K 數(shù)據(jù)集上的實驗結(jié)果。

表1 在PA-100K數(shù)據(jù)集上的不同方法結(jié)果對比 單位：%Tab.1 Result comparison of different methods on PA-100K dataset unit：%

從表1 可以看出，本文方法在PA-100K 數(shù)據(jù)集上的性能優(yōu)于其他SOTA 方法。相較于StrongBaseline，所提出的方法在mA上分別提升了1.22、1.62 和1.53 個百分點。具體來說，以RAPv1→PA-100K 為例，本文方法在mA和Acc方面分別比AR-BiFPN 提高了0.67 和0.25 個百分點。在RAPv2→PA-100K 上，方法在mA、Acc方面優(yōu)于其他SOTA 方法，并產(chǎn)生最高的F1 值，這是由于Prec和Rec的值更均衡。F1 和mA值的提升表明，本文方法通過結(jié)合多個來自不同域的樣本（RAPv1 和RAPv2 數(shù)據(jù)集由室內(nèi)攝像機采集，而PA-100K 數(shù)據(jù)集則來自室外攝像機）進行跨數(shù)據(jù)集訓(xùn)練的方法是有效的。

在兩個數(shù)據(jù)集場景差異最大的PETA→PA-100K 上，如表1 所示，本文方法仍然優(yōu)于其他SOTA 方法：mA相較于第二名提高了0.27 個百分點，Rec值是第三好的結(jié)果。綜上，本文方法明顯優(yōu)于其他基準(zhǔn)方法，在將PA-100K 數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集時，生成了最高的基于標(biāo)簽的度量mA。在這些數(shù)據(jù)集上的良好表現(xiàn)展現(xiàn)了行人屬性識別中進行跨數(shù)據(jù)集訓(xùn)練的優(yōu)越性。

為研究各個模塊對實驗結(jié)果的影響，使用ResNet-50 作為基準(zhǔn)，分別加入特征對齊模塊（FAM）和標(biāo)簽對齊模塊（LAM），在RAPv1→PA-100K、RAPv2→PA-100K 和PETA→PA-100K 上進行消融實驗，實驗結(jié)果如表2 所示。加入LAM之后，在三個混合數(shù)據(jù)集上的實驗結(jié)果相較于基準(zhǔn)方法在各項指標(biāo)上均有不同程度提升，其中mA分別提升了0.87、1.14 和0.32 個百分點，說明了LAM 可以使方法的識別效果有較大的增益。并且，在同時加入LAM 和FAM 后，相較于只加LAM 時，三組實驗結(jié)果也均有不同提升，其中在RAPv1→PA-100K 上，mA、Acc、Rec和F1 分別提升了0.75、0.33、0.86和0.11 個百分點；在RAPv2→PA-100K 上這四項指標(biāo)則提升了0.39、1.23、1.33 和0.59 個百分點；在由于場景差異過大而最能反映模塊效果的PETA→PA-100K 上，mA、Rec和F1 這三項指標(biāo)分別提高0.90、0.15 和0.31 個百分點，這表明即使對一些場景差異較大的數(shù)據(jù)集，本文方法也能有效提升屬性識別精度。

表2 消融實驗結(jié)果 單位：%Tab.2 Results of Ablation experiments unit：%

為了分析本文方法對各個屬性的影響，如表3～5 所示，分別展示了在RAPv1→PA-100K、RAPv2→PA-100K 和PETA→PA-100K 上各個共有屬性的識別準(zhǔn)確率，并與StrongBaseline［27］對應(yīng)屬性的識別準(zhǔn)確率進行比較（PA-100K與RAPv1 和RAPv2 的共有屬性相同，共有10 個，與PETA 的共有屬性有11 個）。從表3～5 可以看出：對比基準(zhǔn)算法StrongBaseline，三個混合數(shù)據(jù)集的絕大部分共有屬性識別準(zhǔn)確率均有不同程度的提升，尤其在一些正負(fù)樣本分布失衡的屬性上的效果提升非常大，例如屬性Hat 在PA-100K 中的正樣本比例僅為4.21%，而本文方法在這個屬性上的識別準(zhǔn)確率相較于StrongBaseline 分別提升10.68、8.47 和7.31個百分點。

表3 在RAPv1→PA-100K上的共有屬性識別準(zhǔn)確率對比Tab.3 Comparison of common attribute recognition accuracy on RAPv1→PA-100K

表4 在RAPv2→PA-100K上的共有屬性識別準(zhǔn)確率對比Tab.4 Comparison of common attribute recognition accuracy on RAPv2→PA-100K

表5 在PETA→PA-100K上的共有屬性識別準(zhǔn)確率對比Tab.5 Comparison of common attribute recognition accuracy on PETA→PA-100K

3 結(jié)語

為解決行人屬性識別數(shù)據(jù)集中屬性不一致，導(dǎo)致很難將現(xiàn)有行人屬性識別數(shù)據(jù)集進行實際應(yīng)用的問題，提出了一種基于領(lǐng)域自適應(yīng)的多源多標(biāo)簽行人屬性識別方法。該方法包含兩個模塊，即標(biāo)簽對齊模塊和特征對齊模塊，其中標(biāo)簽對齊模塊將來自不同領(lǐng)域的多個數(shù)據(jù)集的標(biāo)簽對齊；特征對齊模塊用于多個數(shù)據(jù)集間的特征對齊。通過這兩個模塊得到一個新的混合數(shù)據(jù)集重新進行訓(xùn)練。在PA-100K、PETA、RAPv1 和RAPv2 數(shù)據(jù)集上的實驗結(jié)果（將PA-100K 數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集）表明，本文方法的性能優(yōu)于大多數(shù)現(xiàn)有SOTA方法，有很大的應(yīng)用潛力。不過由于本文方法僅在四個數(shù)據(jù)集上進行實驗，且使用的領(lǐng)域自適應(yīng)方法沒有考慮到行人屬性識別樣本的特殊性，因此，未來的研究可以圍繞增添數(shù)據(jù)集進行實驗和改進領(lǐng)域自適應(yīng)方法上展開。