行人再識(shí)別中基于無監(jiān)督學(xué)習(xí)的粗細(xì)粒度特征提取

唐佳敏，韓 華，黃 麗

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620）

0 概述

視頻監(jiān)控網(wǎng)絡(luò)作為重要的基礎(chǔ)安全公共設(shè)施已在全球范圍內(nèi)得到廣泛運(yùn)用。在智能監(jiān)控普及的同時(shí)，需要對(duì)攝像頭監(jiān)控區(qū)域是否有重疊視域進(jìn)行區(qū)分。在無重疊視域的多攝像機(jī)聯(lián)合監(jiān)控系統(tǒng)中，行人再識(shí)別［1］是關(guān)鍵問題，其定義為在無重疊區(qū)域的視頻監(jiān)控網(wǎng)絡(luò)中判別目標(biāo)行人是否具有關(guān)聯(lián)性身份。目前，行人再識(shí)別已成為研究熱點(diǎn)，國(guó)內(nèi)外學(xué)者們提出了很多優(yōu)秀的技術(shù)和方法［2-4］。在計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)相關(guān)的各大頂級(jí)國(guó)際會(huì)議上，也出現(xiàn)了很多關(guān)于行人再識(shí)別研究的成果［5-7］。

目前，行人再識(shí)別方法主要可分為基于人工設(shè)計(jì)特征和基于深度學(xué)習(xí)兩類。在基于深度學(xué)習(xí)的方法中，監(jiān)督學(xué)習(xí)［8-10］已被證明能夠獲得很好的性能，但存在需要利用目標(biāo)行人圖像數(shù)據(jù)標(biāo)簽的不足。因?yàn)槭謩?dòng)打標(biāo)簽需要消耗很多的人力和時(shí)間資源，所以在任務(wù)執(zhí)行過程中存在一定的限制性。無監(jiān)督學(xué)習(xí)中常用到的算法有聚類、可視化與降維、關(guān)聯(lián)學(xué)習(xí)等，與監(jiān)督學(xué)習(xí)方法相比，無監(jiān)督學(xué)習(xí)方法不需要對(duì)數(shù)據(jù)集的數(shù)據(jù)手動(dòng)打標(biāo)簽，因此適用的數(shù)據(jù)集比較多，此類方法更具有可行性和擴(kuò)展性。

在無監(jiān)督學(xué)習(xí)中，三元組損失函數(shù)因能拉近樣本和正樣本間的距離而得到廣泛應(yīng)用，但其學(xué)習(xí)的僅僅是樣本間的相對(duì)距離，只考慮了類間的差異性，沒有學(xué)習(xí)絕對(duì)距離，忽視了類內(nèi)的相似性。同時(shí)，不同攝像頭下同一個(gè)人的不同圖片外表特征差異較大，如果聚類合并時(shí)使用最大距離準(zhǔn)則會(huì)放大差異性，導(dǎo)致不能合并來自不同攝像頭下的同一人的圖片。鑒于此，本文提出一種基于無監(jiān)督學(xué)習(xí)的粗細(xì)粒度特征提取方法。分別通過相斥函數(shù)和相吸函數(shù)擴(kuò)大類間差異和類內(nèi)相似度，在此基礎(chǔ)上進(jìn)行特征學(xué)習(xí)和參數(shù)更新，同時(shí)使用最小距離準(zhǔn)則將跨攝像頭中差別較大擁有相同身份的人的圖片聚類在一起，并對(duì)多個(gè)聚類進(jìn)行逐步合并，解決特征差異性問題。

1 相關(guān)研究

行人再識(shí)別問題定義為在無重疊區(qū)域的視頻監(jiān)控網(wǎng)絡(luò)中判別目標(biāo)行人是否具有關(guān)聯(lián)性身份的任務(wù)，如圖1 所示。其中，第1 列給定一個(gè)行人圖或是行人視頻作為查詢目標(biāo)，在大規(guī)模數(shù)據(jù)庫(kù)中找出與其相近的同一身份的行人圖或行人視頻，由同一行為同一身份的行人在不同攝像頭下所拍攝到的圖片不難發(fā)現(xiàn)，哪怕是同一身份的行人，在不同攝像頭下也會(huì)有差異比較大的外觀展示，主要影響因素有視角、光照、遠(yuǎn)近、遮擋等，但是即使有較大差異，仍然要對(duì)行人的身份進(jìn)行正確匹配。行人再識(shí)別方法的識(shí)別流程如圖2 所示。

圖1 行人再識(shí)別問題示意圖Fig.1 Schematic diagram of pedestrian re-identification problem

圖2 行人再識(shí)別流程Fig.2 Procedure of pedestrian re-identification

在基于深度學(xué)習(xí)的行人再識(shí)別方法中，基于監(jiān)督學(xué)習(xí)的方法被證明具有很好的性能。ZHU 等［8］提出CycleGAN 算法，對(duì)目標(biāo)行人的圖片進(jìn)行一系列形變、圖片增強(qiáng)等操作后，將其轉(zhuǎn)換到目標(biāo)行人的數(shù)據(jù)庫(kù)候選圖片中。WEI 等［9］提出行人重識(shí)別生成對(duì)抗網(wǎng)絡(luò)，采用場(chǎng)景分割的思想，先確保圖片中的目標(biāo)行人不改變，再將圖片所處的背景風(fēng)格轉(zhuǎn)變?yōu)槿藶樗谕臄?shù)據(jù)庫(kù)的風(fēng)格樣式，最后進(jìn)行一系列操作實(shí)現(xiàn)重識(shí)別。QIAN 等［10］提出行人姿態(tài)歸一化生成對(duì)抗網(wǎng)絡(luò)，利用原始目標(biāo)行人的圖形生成含有同一身份并且姿勢(shì)可以控制的歸一化圖像，通過目標(biāo)行人的姿勢(shì)遷移解決姿勢(shì)偏差的問題。但監(jiān)督學(xué)習(xí)存在需要利用目標(biāo)行人圖像的數(shù)據(jù)標(biāo)簽這一不足。因?yàn)槭謩?dòng)打標(biāo)簽需要消耗很多的人力和時(shí)間資源，所以在任務(wù)執(zhí)行過程中存在一定的限制性。

如果說監(jiān)督學(xué)習(xí)的本質(zhì)是告訴計(jì)算機(jī)怎么做的話，那么無監(jiān)督學(xué)習(xí)的本質(zhì)就是讓計(jì)算機(jī)自己去學(xué)習(xí)怎么做，因此，無監(jiān)督學(xué)習(xí)中常用到的算法有聚類、可視化與降維、關(guān)聯(lián)學(xué)習(xí)等。在行人再識(shí)別中，基于無監(jiān)督學(xué)習(xí)［11-13］的方法已經(jīng)有很多。WU 等［11］簡(jiǎn)化了無監(jiān)督行人重識(shí)別問題，給每個(gè)目標(biāo)行人一張圖片作為訓(xùn)練集，通過動(dòng)態(tài)取樣的思想為每個(gè)身份的行人動(dòng)態(tài)地分配沒有標(biāo)簽的候選圖片，并利用偽標(biāo)簽對(duì)模型進(jìn)行訓(xùn)練學(xué)習(xí)。DENG 等［12］提出相似性保留生成對(duì)抗網(wǎng)絡(luò)的思想，將目標(biāo)行人的圖片從源域替換到目標(biāo)域，之后使用有監(jiān)督的流程訓(xùn)練算法模型。ZHONG 等［13］提出異質(zhì)學(xué)習(xí)的方法，通過三元組損失函數(shù)挖掘信息，對(duì)于相同相機(jī)域的正樣本對(duì)和不同域的負(fù)樣本對(duì)進(jìn)行屬性加強(qiáng)，增強(qiáng)相機(jī)的不變性和域的聯(lián)結(jié)性。無監(jiān)督的方法不需要對(duì)數(shù)據(jù)集的數(shù)據(jù)手動(dòng)打標(biāo)簽，這樣對(duì)于數(shù)據(jù)集的要求就不那么嚴(yán)格，擴(kuò)大了可用數(shù)據(jù)集的范圍，使得研究工作更具可行性和擴(kuò)展性。

基于全局［14］的粗粒度特征提取是針對(duì)每一個(gè)目標(biāo)行人的每一張完整的圖片進(jìn)行特征提取。全局特征的顯著優(yōu)勢(shì)是便于訓(xùn)練與處理，能對(duì)行人的外觀有一個(gè)完整全面的表達(dá)，不會(huì)出現(xiàn)“盲人摸象”的問題。但是又存在明顯缺點(diǎn)：對(duì)于目標(biāo)行人的圖片缺少細(xì)節(jié)的特征表示，對(duì)于艱難樣本難以區(qū)分，細(xì)節(jié)特征的判別性不夠。對(duì)于行人再識(shí)別中的遮擋等問題，基于局部［15］的細(xì)粒度特征提取是行人再識(shí)別中常用的特征提取方法。在一張圖片中，位于不同圖像區(qū)域的特征包含不同的信息。在各個(gè)區(qū)域中提取細(xì)粒度特征可以更精確地提取到可能被忽略的判別性特征。因?yàn)橄嗨频膱D片中很有可能會(huì)存在相似的區(qū)域，并且區(qū)域之中的相似度遠(yuǎn)大于行人整體間的相似度，但具有相似區(qū)域的行人不代表是相似的行人，所以，提取局部特征可以減小判斷2 張圖片為同一行人的錯(cuò)誤率。但是僅僅提取局部特征會(huì)造成空間細(xì)節(jié)特征信息的損失和非完整性。而此時(shí)全局特征便于訓(xùn)練，能整體地對(duì)行人的外觀進(jìn)行表達(dá)，所以，怎樣有效地學(xué)習(xí)具有判別性的粗粒度特征和細(xì)粒度特征，在提取特征信息全面的同時(shí)又不缺細(xì)節(jié)，從而提高整個(gè)網(wǎng)絡(luò)算法的判別力精度，是需要研究的問題。

2 本文方法

本文提出一種基于無監(jiān)督學(xué)習(xí)的粗細(xì)粒度特征提取方法。構(gòu)建一個(gè)基于細(xì)粒度和粗粒度特征學(xué)習(xí)的模型框架，如圖3 所示，其中包括局部分支和全局分支，分別用于獲取細(xì)粒度特征和粗粒度特征。首先，得到每個(gè)特征圖的U個(gè)補(bǔ)丁，利用U個(gè)CNN 對(duì)U個(gè)補(bǔ)丁分別提取其細(xì)粒度特征，從而可以得到U個(gè)損失，將其求和平均的結(jié)果視為細(xì)粒度損失。然后，為每張圖片分配不同的簇中心，每個(gè)形狀代表一張圖片，相同的形狀代表相似的身份。使用聚類算法將同一個(gè)身份的相似的樣本逐漸合并，通過聯(lián)合相斥損失函數(shù)和相吸損失函數(shù)得到總的粗粒度損失，從而將相似的圖像特征拉到一起，將不相似的圖像特征推遠(yuǎn)。

圖3 基于粗細(xì)粒度特征學(xué)習(xí)的模型框架Fig.3 Model framework based on fine-grained and coarse-grained features learning

2.1 局部分支的細(xì)粒度特征學(xué)習(xí)

局部分支學(xué)習(xí)主要是為了指導(dǎo)補(bǔ)丁網(wǎng)絡(luò)在未標(biāo)記的數(shù)據(jù)集上學(xué)習(xí)細(xì)粒度特征。在一般的特征學(xué)習(xí)中，讓同一類的特征在特征空間中更靠近，并且遠(yuǎn)離其他類，能夠?qū)W習(xí)到更具判別性的特征。因此，補(bǔ)丁網(wǎng)絡(luò)特征學(xué)習(xí)的作用是將特征空間中相似的補(bǔ)丁塊拉近，同時(shí)將不相似的補(bǔ)丁塊推遠(yuǎn)。

其中：t是訓(xùn)練的次數(shù)；l是訓(xùn)練更新時(shí)的更新率表示體量中第i個(gè)圖像的第u個(gè)補(bǔ)丁的特征是當(dāng)前更新的局部塊特征。當(dāng)t=0 時(shí)，在未標(biāo)記的數(shù)據(jù)集上先進(jìn)行初始化，再通過式（1）逐一更新。

基于無監(jiān)督學(xué)習(xí)框架，本文使用一種基于補(bǔ)丁塊的判別特征損失函數(shù)，將相似的特征拉到一起，并推遠(yuǎn)不相似補(bǔ)丁塊，從而學(xué)習(xí)未標(biāo)記數(shù)據(jù)集中的補(bǔ)丁特征。該函數(shù)計(jì)算公式如下：

2.2 全局分支的粗粒度特征學(xué)習(xí)

粗粒度特征學(xué)習(xí)在全局分支上進(jìn)行。首先，使用這個(gè)和交叉熵?fù)p失類似的相斥損失函數(shù)來優(yōu)化卷積模型，將不同人之間的特征差異性擴(kuò)大。然后，根據(jù)一些相同身份的圖片的相似性，將含有相似特征的行人圖片當(dāng)作是同一個(gè)目標(biāo)人物，使用一個(gè)相吸損失函數(shù)來減少同一類內(nèi)的差異性，并將相同類組合起來當(dāng)作一個(gè)聚類，再由卷積網(wǎng)絡(luò)算法最大化聚類中心的差異性來更新參數(shù)，聯(lián)合相斥和相吸損失函數(shù)進(jìn)行粗粒度特征學(xué)習(xí)。最后，通過將屬于同一個(gè)聚類間的特征向中心聚集，使聚類內(nèi)部的差異性最小化，增加屬于同一個(gè)身份的圖片的特征相似度，利用特征空間中的結(jié)構(gòu)化信息，根據(jù)最小距離準(zhǔn)則對(duì)數(shù)據(jù)進(jìn)行聚類合并。

定義一張圖片x屬于第c個(gè)聚類中心的概率為：

其中：C表示當(dāng)前狀態(tài)下聚類的個(gè)數(shù)，在最初狀態(tài)，C=N，就是給每一個(gè)圖片賦予一個(gè)人聚類身份，讓聚類的個(gè)數(shù)等于圖片的數(shù)量，當(dāng)相似的圖像被逐漸地進(jìn)行合并，聚類C的數(shù)量就會(huì)慢慢減少；用于計(jì)算數(shù)據(jù)xi特征空間中的l2范數(shù)，即||νi||=1；V∈是一個(gè)查詢列表，用于存放每一個(gè)聚類的特征；Vj表示V的第j列特征；τ是一個(gè)標(biāo)量參數(shù)，其作用是便于對(duì)概率的取值區(qū)間進(jìn)行控制。在本文后續(xù)的實(shí)驗(yàn)中，將τ設(shè)置為0.1。在之前的操作中，通過算式VT·νi來計(jì)算數(shù)據(jù)xi和其他數(shù)據(jù)間的余弦相似度，而現(xiàn)在，使用來計(jì)算 表V的第列數(shù)據(jù)，將原來聚類的特征與新的數(shù)據(jù)特征進(jìn)行求和并求平均。在此基礎(chǔ)上，使用式（4）所示的損失函數(shù)優(yōu)化卷積模型，將其作為相斥損失函數(shù)來放大不同身份圖片的差異性：

對(duì)式（4）進(jìn)行最小化操作的結(jié)果可以從式（3）的分式上明顯顯示。分母：計(jì)算每個(gè)圖像特征νi與每一個(gè)聚類中心特征之間的余弦距離，然后將其最大化；分子：計(jì)算每個(gè)圖像特征νi與相對(duì)應(yīng)聚類中心特征之間的余弦距離，并將它最小化。在后續(xù)優(yōu)化的步驟中，Vj列舉了第j個(gè)聚類中心中所包括的全部圖片的特征，將其作為該聚類的“中心點(diǎn)”。在模型訓(xùn)練階段，計(jì)算聚類中心的時(shí)間復(fù)雜度很高，通過查詢表格V的方法來節(jié)省冗余的計(jì)算過程，能夠省去多余的反復(fù)提取特征并存儲(chǔ)的過程。

在此基礎(chǔ)上，本文提出在區(qū)分聚類中心、放大差異性的同時(shí)也可放大相同類間的相似性，將不同攝像頭下相差明顯但具有同一身份的行人圖片聚集在一起。給出對(duì)應(yīng)的相吸損失函數(shù)，如式（5）所示：

全局分支的粗粒度特征損失函數(shù)公式如下：

其中：β是被用來平衡相斥和相吸這兩個(gè)損失函數(shù)的超參數(shù)；m代表行人圖片數(shù)的總和。通過聯(lián)合損失函數(shù)的操作來對(duì)算法模型進(jìn)行特征學(xué)習(xí)和參數(shù)更新。

在聚類不斷生成的過程中，需要聚類合并策略的參與，將相似的樣本歸于同一類，將相異的樣本歸于不同的類。進(jìn)行聚類合并的一個(gè)關(guān)鍵點(diǎn)在于每次迭代中形成的聚類之間以及它們和樣本之間距離的計(jì)算。本文對(duì)于計(jì)算聚類A和聚類B之間的相似度值D(A,B)使用最小距離準(zhǔn)則。合并公式如下：

其中：d(xa,xb)表示行人圖片在特征空間中的歐氏距離，即d(xa,xb)=||νa-νb||。

在每一次的聚類合并過程中，定義n=N×γ，通過此公式來計(jì)算減少的聚類中心的個(gè)數(shù)，其中：γ∈（0,1）表示聚類的速度。在合并的過程中，剛開始有N個(gè)樣本圖片，每一個(gè)樣本圖片都被定義成單獨(dú)的一個(gè)聚類，所以，聚類的個(gè)數(shù)初始化就是C=N，通過每一次合并，所有聚類中距離最小的n個(gè)聚類就被合并減少，在經(jīng)歷了t次合并操作后，聚類的個(gè)數(shù)就會(huì)隨之減少到C=N-t×n。

2.3 聯(lián)合特征學(xué)習(xí)

基于以上無標(biāo)簽數(shù)據(jù)集框架中所使用的粗粒度特征學(xué)習(xí)損失函數(shù)和細(xì)粒度特征學(xué)習(xí)損失函數(shù)，最終每張目標(biāo)行人圖片所形成的總的聯(lián)合損失函數(shù)可以表示如下：

其中：U表示一張圖片的補(bǔ)丁塊的個(gè)數(shù)；λ是一個(gè)控制權(quán)重的參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 參數(shù)設(shè)置

在Market-1501 和DukeMTMC-reID 這2 個(gè)大型數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，使用ResNet-50 卷積網(wǎng)絡(luò)作為整個(gè)算法的骨干網(wǎng)絡(luò)，并使用ImageNet 數(shù)據(jù)庫(kù)預(yù)訓(xùn)練權(quán)重來初始化模型。在實(shí)驗(yàn)操作中刪除了最后一個(gè)完全連接層，并將最后一個(gè)殘差塊的步幅設(shè)置為1，將參數(shù)k設(shè)置為15，參數(shù)s也隨不同數(shù)據(jù)集而設(shè)置不同的數(shù)值，在Market-1501 中將其設(shè)置為15，在DukeMTMC-reID 中將其設(shè)置為5，參數(shù)β設(shè)置為0.5，將參數(shù)τ設(shè)置為0.1，聚類速度γ設(shè)置為0.05，參數(shù)λ設(shè)置為0.8，訓(xùn)練次數(shù)設(shè)為60，一次的體量大小設(shè)為32，使用動(dòng)量為0.9 的隨機(jī)下降梯度方法訓(xùn)練模型。

3.2 與先進(jìn)方法的比較

在Market-1501 和DukeMTMC-reID 數(shù)據(jù)集上進(jìn)行測(cè)試，將本文方法與經(jīng)典的先進(jìn)方法進(jìn)行性能對(duì)比，表1、表2列出了比較結(jié)果?？梢钥闯觯涸贛arket-1501數(shù)據(jù)集上，本文方法Rank-1 的性能結(jié)果比所有對(duì)比方法的最優(yōu)結(jié)果提高了5.76%，平均精度均值（mean Average Precision，mAP）性能結(jié)果也提高了3.2%；在DukeMTMC-reID 數(shù)據(jù)集上，Rank-1 的性能結(jié)果比對(duì)比方法的最優(yōu)結(jié)果提高了5.07%，mAP 性能結(jié)果也提高了5.6%。

表1 在Market-1501 數(shù)據(jù)集上各算法的性能比較Table 1 Performance comparison of each algorithm on Market-1501 dataset %

表2 在DukeMTMC-reID 數(shù)據(jù)集上各算法的性能比較Table 2 Performance comparison of each algorithm on DukeMTMC-reID dataset %

對(duì)表1、表2 數(shù)據(jù)的具體分析如下：

1）與基于手工特征表示模型的對(duì)比

與局部最大出現(xiàn)率（LOMO）［16］、無監(jiān)督多任務(wù)詞典學(xué)習(xí)詞袋（Bow）［17］、無監(jiān)督多任務(wù)字典學(xué)習(xí)（UMDL）［18］等手工特征方法相比，本文方法具有性能優(yōu)勢(shì)，這是因?yàn)閷?duì)手工特征的研究是在Re-ID 研究的早期開始的，在大部分早期研究中沒有太多可參考的學(xué)習(xí)方法，因此難以學(xué)習(xí)出色的區(qū)分特征。

2）與基于深度學(xué)習(xí)特征表示模型的對(duì)比

（1）偽標(biāo)簽學(xué)習(xí)。與跨視圖非對(duì)稱度量學(xué)習(xí)（CAMEL）［19］、漸進(jìn)無監(jiān)督學(xué)習(xí)（PUL）［20］等基于無監(jiān)督模型的偽標(biāo)簽學(xué)習(xí)方法相比，本文方法具有性能優(yōu)勢(shì)。這是因?yàn)閷?duì)比方法通過比較視覺特征直接分配偽造標(biāo)簽，并且忽略了潛在的歧視性信息，從而導(dǎo)致效果不理想。

（2）無監(jiān)督域適應(yīng)。與行人再識(shí)別的生成對(duì)抗網(wǎng)絡(luò)GAN（PTGAN）［9］、可轉(zhuǎn)移的屬性身份深度學(xué)習(xí)（TJ-AIDL）［21］、保持相似性的對(duì)抗網(wǎng)絡(luò)（SPGAN）［12］、多任務(wù)中級(jí)特征對(duì)齊（MMFA）［22］、CamStyle［23］、異質(zhì)學(xué)習(xí)（HHL）［13］、多標(biāo)簽參考學(xué)習(xí)（MAR）［24］等基于無監(jiān)督域自適應(yīng)的方法相比，本文方法具有性能優(yōu)勢(shì)。這是因?yàn)槎鄶?shù)對(duì)比方法都僅僅考慮了源域中有判別性的特征信息，而忽視了在未標(biāo)記的目標(biāo)域中的具有有效判別性的潛在信息，并且源域中有判別性的特征信息會(huì)隨著數(shù)據(jù)集的改變而有很大不同，所以在目標(biāo)集中減少其本身的有效性與多樣性。同時(shí)，由于圖像塊之間的相似度必定比圖像的相似度大，因此本文方法的局部分支基于圖像塊來學(xué)習(xí)特征比基于圖像的效果好。

3.3 進(jìn)一步分析

3.3.1 全局分支中相吸損失函數(shù)分析

對(duì)全局分支中有無相吸損失函數(shù)的模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表3 所示，可以看出，相吸損失函數(shù)在2 個(gè)數(shù)據(jù)集上對(duì)整體算法性能都有很大的提升作用。

表3 無標(biāo)簽數(shù)據(jù)集中有無相吸損失函數(shù)的對(duì)比結(jié)果Table 3 Comparison results whether or not have attracted loss on the unlabeled datasets %

為更直觀地驗(yàn)證相吸損失的效果，進(jìn)行可視化效果展示，如圖4 所示。在此分支中，如果沒有相吸損失函數(shù)，那么在特征空間中的學(xué)習(xí)過程中就會(huì)有一個(gè)較大的類內(nèi)差異的情況出現(xiàn)。相反，加入相吸損失函數(shù)就會(huì)將聚類中心聚攏。同時(shí)學(xué)習(xí)每個(gè)聚類中心，即可顯著提升深度特征的判別力，來增加每個(gè)身份的相似性。

圖4 有無相吸損失的可視化效果對(duì)比Fig.4 Visual effect comparison of whether or not have attracted loss

3.3.2 局部分支中細(xì)粒度損失函數(shù)分析

從表4 可以看出，加入細(xì)粒度損失函數(shù)之后，在2 個(gè)數(shù)據(jù)集上，性能結(jié)果都好于未使用的時(shí)候，主要原因是該損失函數(shù)可以為模型提供有效的指導(dǎo)，其可視化展示如圖5 所示，當(dāng)沒有細(xì)粒度損失函數(shù)時(shí)在Rank-5 時(shí)，由于衣物與鞋子的相似度就誤以為是目標(biāo)行人，忽略了背包的差異性，導(dǎo)致識(shí)別錯(cuò)誤，因此對(duì)于每一張行人圖片，位于不同圖像區(qū)域的特征具有不同的信息，使用不同的網(wǎng)絡(luò)分支去細(xì)化的學(xué)習(xí)未標(biāo)記數(shù)據(jù)集上不同的局部人體的補(bǔ)丁特征，可以更精確地提取到可能被忽略的特征，最終能夠得到對(duì)行人不同的局部特征更有判別力的模型。

表4 無標(biāo)簽數(shù)據(jù)集中有無細(xì)粒度損失函數(shù)對(duì)比結(jié)果Table 4 Comparison results whether or not have fine-grained loss on the unlabeled datasets %

圖5 有無細(xì)粒度損失的可視化對(duì)比Fig.5 Visual comparison of whether or not have fine-grain loss

3.3.3 聚類合并準(zhǔn)則的有效性分析

觀察3 種常見的聚類合并準(zhǔn)則，通過比較在Market-1501 數(shù)據(jù)集中的結(jié)果選擇最小距離準(zhǔn)則，如表5 所示。當(dāng)使用最小距離準(zhǔn)則時(shí)，Rank-1 準(zhǔn)確率最高，其次是中心距離準(zhǔn)則，最低的則是最大距離準(zhǔn)則。因?yàn)閿?shù)據(jù)集有不同的攝像頭的圖片，而在不同的攝像頭下，相同的人的不同圖片會(huì)有較大的外表特征的差異，所以，使用最大距離準(zhǔn)則會(huì)放大差異性，導(dǎo)致不能合并來自不同攝像頭下的同一人的圖片。

表5 3種常見的聚類合并準(zhǔn)則在Market-1501數(shù)據(jù)集上的結(jié)果Table 5 Results of three common clustering and merging criterias on the Market-1501 dataset %

3.3.4 粗粒度損失中參數(shù)β的分析

在全局分支上，聯(lián)合相斥和相吸2 個(gè)損失函數(shù)，相斥損失放大不同身份的樣本之間的差異性，相吸損失拉近相同身份之間的相似性。如圖6、圖7 所示，評(píng)測(cè)準(zhǔn)則Rank-1 和mAP 直到β的值達(dá)到0.5 時(shí)結(jié)果最優(yōu)。由此可以得出以下結(jié)論：相斥損失相較于吸引損失貢獻(xiàn)了相近的能量值。

圖6 參數(shù)β 對(duì)評(píng)測(cè)準(zhǔn)則Rank-1 的性能影響Fig.6 Performance impact of parameter β for the evaluation criteria Rank-1

圖7 參數(shù)β 對(duì)評(píng)測(cè)準(zhǔn)則mAP 的性能影響Fig.7 Performance impact of parameter β for the evaluation criteria mAP

3.3.5 損失函數(shù)中權(quán)重λ的分析

總損失中參數(shù)λ的影響如圖8、圖9 所示，可以看出，將全局的粗粒度損失和局部的細(xì)粒度損失組合起來得到了更好的結(jié)果，細(xì)粒度損失學(xué)習(xí)到了具有判別性的細(xì)粒度特征，粗粒度損失指導(dǎo)了具有判別性的粗粒度特征學(xué)習(xí)，其中Rank-1 和mAP 隨著權(quán)重λ的增加一直持平穩(wěn)上升的趨勢(shì)，直到0.8 時(shí)達(dá)到最高點(diǎn)，所以將設(shè)置λ=0.8?？梢钥闯觯?xì)粒度損失貢獻(xiàn)的性能略多。

圖8 權(quán)重λ 對(duì)評(píng)測(cè)指標(biāo)Rank-1 的性能影響Fig.8 Performance impact of parameter λ for the evaluation criteria Rank-1

圖9 權(quán)重λ 對(duì)評(píng)測(cè)指標(biāo)mAP 的性能影響Fig.9 Performance impact of parameter λ for the evaluation criteria mAP

4 結(jié)束語(yǔ)

本文提出的行人再識(shí)別無監(jiān)督學(xué)習(xí)框架，通過基于相斥和相吸的特征學(xué)習(xí)聯(lián)合損失指導(dǎo)未標(biāo)記數(shù)據(jù)集中的粗粒度特征學(xué)習(xí)，使用最小距離準(zhǔn)則增加不同相機(jī)下同一目標(biāo)行人之間的相似性，并從全局和局部2 個(gè)方向?qū)W習(xí)判別性特征，提高算法模型的性能。下一步將對(duì)判別特征與損失函數(shù)進(jìn)行優(yōu)化，提取出全面且極具判別性的特征，同時(shí)對(duì)損失函數(shù)加以改進(jìn)，使算法模型能夠較好地達(dá)到收斂狀態(tài)，減小模型數(shù)據(jù)結(jié)果的誤差，從而提高整個(gè)網(wǎng)絡(luò)算法的判別精度。