時(shí)間特征互補(bǔ)的無監(jiān)督視頻行人重識(shí)別

王福銀，韓華，黃麗，陳益平

（上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620）

0 概述

隨著科學(xué)技術(shù)的進(jìn)步，視頻行人重識(shí)別在人們生活中越來越重要，旨在從非重疊視覺域多攝像頭下檢索特定的行人，同時(shí)在與監(jiān)控相關(guān)的應(yīng)用中起到較大輔助作用。近年來，隨著大型視頻基準(zhǔn)的出現(xiàn)和計(jì)算資源的增長(zhǎng)，視頻行人重識(shí)別受到研究人員的極大關(guān)注［1］。與基于圖像的行人重識(shí)別數(shù)據(jù)相比，視頻數(shù)據(jù)包含了豐富的空間信息和時(shí)間線索，有利于緩解基于外觀特征的局限性。在視頻行人重識(shí)別的技術(shù)研究方面，主要有基于圖像集的方法和基于時(shí)間序列的方法［2］?；趫D像集的方法將視頻視為一組無序圖像，獨(dú)立地提取每幀的特征，使用特定的時(shí)間池化策略來聚合幀級(jí)別的特征，但這種方法缺乏對(duì)視頻時(shí)間關(guān)系的建模［3-4］。

在視頻片段特征提取方面，常用的方法是利用強(qiáng)大的深度網(wǎng)絡(luò)和大規(guī)模標(biāo)記基準(zhǔn)使視頻行人重識(shí)別獲得較高的性能和效率，如通過循環(huán)層和時(shí)間注意層。盡管視頻行人重識(shí)別取得了明顯進(jìn)步，但大多數(shù)現(xiàn)有方法仍未充分利用視頻中豐富的時(shí)空線索［5-7］。具體而言，由于視頻的行人幀非常相似，并且現(xiàn)有方法在每幀上執(zhí)行相同的操作，因此這些方法通常會(huì)使視頻幀產(chǎn)生高度冗余的特征，而多余的特征通常出現(xiàn)在相同的局部突出部分上，導(dǎo)致很難區(qū)分外觀相似的行人，并且增加損失函數(shù)的計(jì)算量［8-10］。在無監(jiān)督自適應(yīng)研究方面，利用生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）將源域圖像的風(fēng)格轉(zhuǎn)換為目標(biāo)域的風(fēng)格，保持標(biāo)簽不變，然后對(duì)生成的標(biāo)簽圖像進(jìn)行訓(xùn)練，雖然源域與目標(biāo)域的數(shù)據(jù)進(jìn)行交換產(chǎn)生許多可靠的數(shù)據(jù)，但高度依靠生成圖像的質(zhì)量［11］。而最近在無監(jiān)督領(lǐng)域提出無監(jiān)督的自底向上聚類（Bottom-Up Clustering，BUC）方法不使用人工標(biāo)記的數(shù)據(jù)集，取得了較好的識(shí)別效果，然而在聚類合并時(shí)BUC 無法解決在樣本相似度較高的情況下偽標(biāo)簽所帶來的無法優(yōu)化模型的問題［12］。

本文提出一種時(shí)間特征互補(bǔ)的無監(jiān)督視頻行人重識(shí)別方法。通過設(shè)計(jì)時(shí)間特征擦除網(wǎng)絡(luò)模塊，根據(jù)視頻幀與幀之間的時(shí)間關(guān)系與每幀的空間信息進(jìn)行圖像特征的擦除提取，利用加入多樣性約束和離散度參數(shù)的層次聚類算法提高生成的偽標(biāo)簽質(zhì)量，并運(yùn)用PK 抽樣困難樣本三元組方法對(duì)模型進(jìn)行更新訓(xùn)練，以降低不同身份相似樣本聚集的概率。

1 本文方法

本文無監(jiān)督視頻行人重識(shí)別方法的整體框架流程如圖1 所示。首先將無標(biāo)簽的視頻序列輸入網(wǎng)絡(luò)，利用時(shí)間特征擦除方法提取視頻特征，然后利用約束性無監(jiān)督層次聚類，對(duì)提取的樣本特征進(jìn)行從底向上的離散度分層聚類，生成高質(zhì)量的偽標(biāo)簽，最后通過PK 抽樣法產(chǎn)生新數(shù)據(jù)，困難樣本三元組對(duì)其重新訓(xùn)練，微調(diào)模型，更新聚類信息。

圖1 本文方法整體框架流程Fig.1 Procedure of overall framework of this method

1.1 時(shí)間特征擦除模塊

視頻幀與幀之間包含著豐富的時(shí)間和空間信息，充分利用這些信息可以實(shí)現(xiàn)更可靠的特征表示。但是，大多數(shù)現(xiàn)有方法在每幀上執(zhí)行相同的操作，導(dǎo)致不同幀的特征高度冗余，僅突出在局部，并且多余的特征很大程度上使損失函數(shù)計(jì)算量增加。為此，本文設(shè)計(jì)如圖2所示的時(shí)間特征擦除模塊（TFE），目的是從視頻的連續(xù)幀中挖掘互補(bǔ)特征部分，以形成目標(biāo)行人的整體特征。如圖2（a）所示，特征擦除模塊對(duì)每個(gè)幀迭代執(zhí)行兩個(gè)操作：1）使用擦除操作（Erasing Operation，EO）對(duì)抗性擦除先前幀發(fā)現(xiàn)的部分；2）利用特定的學(xué)習(xí)器發(fā)現(xiàn)新的顯著部分以提取互補(bǔ)特征。輸入的視頻段是經(jīng)CNN Backbone網(wǎng)絡(luò)后的一組幀級(jí)特征圖其中：視頻段包含N個(gè)連續(xù)幀；n是視頻幀的索引；H、W和D分別表示特征圖的高度、寬度和通道號(hào)。首先TFE使用學(xué)習(xí)者L1發(fā)現(xiàn)第一幀最顯著的區(qū)域，然后對(duì)整體幀的全局平均池化（Global Average Pooling，GAP）層求平均，提取I1的最顯著特征，表示為：

圖2 時(shí)間特征擦除模塊Fig.2 Temporal feature erasing module

在幀I2中利用EO 刪除特征圖F2的f1挖掘判別部分，將刪除的特征圖饋送到學(xué)習(xí)者L2中。由于學(xué)習(xí)者L1所參與的部分已被刪除，因此學(xué)習(xí)者L2自然被驅(qū)動(dòng)發(fā)現(xiàn)新的顯著部分，以識(shí)別目標(biāo)行人最新判別特征。遞歸地，對(duì)于幀In的特征圖Fn(n＞1)，時(shí)間特征擦除模塊首先應(yīng)用EO 擦除先前幀發(fā)現(xiàn)的所有部分，以形成擦除的特征圖，然后使用特定的學(xué)習(xí)者LN挖掘新的特征部分并獲得特征向量fn，表示為：

顯著性擦除操作和學(xué)習(xí)者對(duì)輸入視頻段的N個(gè)連續(xù)幀重復(fù)執(zhí)行，最后聚合每次得到的擦除特征，得到整個(gè)目標(biāo)行人的特征。

擦除操作主要包括以下3 個(gè)部分：

1）擦除操作相關(guān)層。式（2）的實(shí)現(xiàn)如圖2（b）所示，對(duì)于要擦除幀In的特征圖Fn，需要設(shè)計(jì)擦除操作的相關(guān)層以獲得前一幀特征向量fk(k＜n)與Fn之間的相關(guān)圖。首先計(jì)算出Fn的每個(gè)空間位置（i，j）的特征向量記作。然后相關(guān)層通過點(diǎn)運(yùn)算符相似性計(jì)算fk與Fn的所有局部描述符之間的語義相關(guān)性，以得到相應(yīng)的相關(guān)圖Rnk∈?H×W，表示為：

2）擦除操作二值化層。該層將相關(guān)圖生成二進(jìn)制掩碼以標(biāo)識(shí)要擦除的區(qū)域。目前最好的方法是在相關(guān)圖上進(jìn)行閾值處理，但這通常會(huì)產(chǎn)生不連續(xù)的區(qū)域，由于卷積特征單元在空間上是連續(xù)的，因此當(dāng)不連續(xù)地擦除特征單元時(shí)，被擦除單元的信息仍有少部分可以被傳送到下一層［13］。因此，本文設(shè)計(jì)一個(gè)塊二值化層來生成擦除特征圖連續(xù)區(qū)域的二進(jìn)制掩碼。如圖2（b）所示，本文使用滑塊搜索標(biāo)記相關(guān)圖中最突出的連續(xù)區(qū)域。在大小為H×W的相關(guān)圖上使用大小為he×we的滑動(dòng)塊，當(dāng)分別移動(dòng)水平步幅sw和垂直步幅sh時(shí)，塊位置總數(shù)計(jì)算的公式如式（4）所示：

經(jīng)過式（4）的計(jì)算可以為每個(gè)相關(guān)圖獲得Npos個(gè)候選塊。此外，定義一個(gè)塊的相關(guān)值為該塊各項(xiàng)的相關(guān)值之和，選擇具有最高相關(guān)值的候選塊作為要擦除的塊，即：相關(guān)圖Rnk的二進(jìn)制掩碼Bnk∈?H×W是通過將所選塊中的單位值設(shè)為0，其他單位值設(shè)為1而生成的。然后將掩碼合并融合為掩碼Bn用于特征映射Fn，計(jì)算表達(dá)式為：

其中：⊙是逐元素乘積運(yùn)算。

3）時(shí)間特征擦除操作。本文采用門控機(jī)制來擦除特征圖Fn，特別地，將softmax 層應(yīng)用到融合相關(guān)圖中，以獲得門圖Gn∈?H×W，表示為：

基于Bn和Gn擦除特征圖Fn，生成擦除后的特征圖同時(shí)為了一致性，本文也對(duì)F1進(jìn)行填充為1的二進(jìn)制掩碼擦除操作，這樣可以使梯度傳播到EO參數(shù)w中，并且時(shí)間特征擦除也可以進(jìn)行反向傳播訓(xùn)練。

1.2 約束層次聚類

為了生成高質(zhì)量的偽標(biāo)簽，監(jiān)督目標(biāo)數(shù)據(jù)集模型訓(xùn)練，本文采用一種從底向上的層次聚類方法。該方法通過加入約束性條件計(jì)算類內(nèi)與類間的距離，之后將相距最近的兩類合并，建立一個(gè)新類，重復(fù)此操作直到滿足停止條件，以提高聚類的準(zhǔn)確性。

1）類內(nèi)之間的距離計(jì)算。類內(nèi)之間的距離反映的是類與類之間的離散程度，定義一個(gè)類為C，類內(nèi)平均樣本離散度表示為：

其中：n表示為類別C的樣本個(gè)數(shù)；D(·)表示歐氏距離。在類內(nèi)計(jì)算類與類之間的距離時(shí)，距離數(shù)值較小的兩個(gè)類被優(yōu)先合并在一起，該計(jì)算方法起到防止類與類之間聚類離散度過高，同時(shí)提高層次聚類的作用。

2）類與類之間的距離計(jì)算。類與類之間的距離越小，表示兩個(gè)類之間的離散度越小，則被聚合在一起的概率越大。針對(duì)類間的差異性，類間離散度表示為：

其中：Ca與Cb分別表示兩種類別；na和nb為兩個(gè)類別的個(gè)數(shù)；為類Ca的樣本；為類Cb的樣本。

3）類內(nèi)間離散度聚類計(jì)算。該聚類表達(dá)式為：

其中：dab表示類Ca和Cb之間的距離；α1為計(jì)算類與類之間距離時(shí)的離散度參數(shù)因子；da和db分別為Ca類中類與類之間的距離和Cb類中類與類之間的距離。在聚類過程中，相同身份的特征在特征空間中的距離較近，類別被聚合在一起的概率較大。

隨著層次聚類的迭代，數(shù)據(jù)中的類別數(shù)不斷變少，類內(nèi)的樣本數(shù)量變多。雖然對(duì)于每個(gè)類別的樣本數(shù)量不清楚，但可以假設(shè)樣本數(shù)量平均分布在每個(gè)類別中，因此達(dá)到每個(gè)類別的樣本數(shù)量差別不會(huì)太多，這稱為多樣性。而本文引入多樣性參數(shù)起到降低極度相似樣本被合并在一起的概率，表示為：

其中：|a|為類Ca的樣本數(shù)量；|b|為類Cb的樣本數(shù)量。

當(dāng)一些類與類之間的距離差別不明顯時(shí)，引入多樣性參數(shù)因子，使其起到先合并樣本數(shù)量少的類，其次合并樣本數(shù)量多的類的作用，因此最終的類內(nèi)間距離表達(dá)式為：

其中：α2為多樣性約束參數(shù)因子。

1.3 損失函數(shù)

本文使用PK 抽樣困難樣本三元組挖掘正樣本錨和負(fù)樣本錨之間的關(guān)系，拉近正樣本與正樣本之間的距離，增加負(fù)樣本與負(fù)樣本之間的距離。在訓(xùn)練過程中，本文從一個(gè)批次中隨機(jī)抽取P個(gè)行人身份，然后從每個(gè)行人身份中抽取K個(gè)視頻片段。因此，每個(gè)批次中包含P×K個(gè)片段，損失函數(shù)定義為：

1.4 模型更新

如算法1 所示，本文模型在ResNet50 網(wǎng)絡(luò)上迭代訓(xùn)練。對(duì)于每個(gè)迭代，在分層聚類開始時(shí)，本文將N個(gè)樣本視為N個(gè)不同的身份，并初始化所有偽標(biāo)簽。設(shè)置超參數(shù)mp來控制合并速度，設(shè)置s為分層聚類的總合并步驟，m=n×mp表示每個(gè)步驟中合并的聚類數(shù)。根據(jù)式（11）生成c×c距離矩陣D，c表示當(dāng)前簇?cái)?shù)。在每個(gè)步驟中合并m對(duì)最近的簇類，直到第s步，并根據(jù)聚類結(jié)果生成偽標(biāo)簽。然后，使用PK 抽樣生成一個(gè)新的數(shù)據(jù)集作為時(shí)間特征擦除網(wǎng)絡(luò)的輸入。通過新數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練，評(píng)估模型性能。本文將分層聚類、PK 抽樣、微調(diào)訓(xùn)練和模型評(píng)估進(jìn)行不斷迭代，直到性能不再改善。

算法1模型更新算法

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集設(shè)置與評(píng)價(jià)指標(biāo)

本文方法是在兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)和評(píng)估，其數(shù)據(jù)集的具體設(shè)置如表1 所示。

表1 視頻數(shù)據(jù)集信息Table 1 Statistics of video datasets

本文使用累積匹配特性（Cumulative Match Characteristic，CMC）作為Rank-k 的概率曲線，表示為檢索精度值的前k個(gè)數(shù)值正確匹配概率。CCMC的表達(dá)式為：

其中：在匹配候選集中有N個(gè)行人；k為前k個(gè)候選目標(biāo)；pi為要查找的目標(biāo)行人在匹配候選集中的位置序號(hào)。

平均精度（Average Precision，AP）是對(duì)單個(gè)類別的精度計(jì)算，平均精度均值（mean Average Precision，mAP）是預(yù)測(cè)目標(biāo)位置以及類別的性能度量標(biāo)準(zhǔn)，為所有類別精度的平均值，表達(dá)式分別為：

其中：i為圖像要查詢的序號(hào)；p（i）為圖像序號(hào)在視頻序列圖像中的比例；r（i）表示每幀視頻序列的圖像是否與要搜索的目標(biāo)圖像匹配，如果匹配則取值為1，不匹配則取值為0；g表示目標(biāo)視頻序列中需要進(jìn)行匹配的序列數(shù)；Q為數(shù)據(jù)集中視頻序列數(shù)。

2.2 實(shí)驗(yàn)方法

在本文實(shí)驗(yàn)中，實(shí)驗(yàn)平臺(tái)采用Ubuntu16.04 操作系統(tǒng)，NVIDIA RTX3090 顯卡的硬件環(huán)境。實(shí)驗(yàn)網(wǎng)絡(luò)采用在ImageNet 上預(yù)訓(xùn)練好的ResNet50 模型作為網(wǎng)絡(luò)骨干，并加入時(shí)間特征擦除模塊對(duì)視頻序列進(jìn)行特征提?。?4-15］。使用PyTorch 框架實(shí)現(xiàn)，在訓(xùn)練時(shí)，從每個(gè)視頻序列中隨機(jī)采樣4 幀作為輸入，并將每幀的大小調(diào)整為256×128，同時(shí)僅采用隨機(jī)翻轉(zhuǎn)進(jìn)行數(shù)據(jù)擴(kuò)充。最初學(xué)習(xí)速率為0.000 3，每經(jīng)過15 個(gè)周期衰減因子為0.1，Adam優(yōu)化器的最小批量大小為32，用于150個(gè)epoch的訓(xùn)練。在合并聚類期間合并參數(shù)mp為0.05，式（11）中α1為0.06，α2為0.002。

2.3 時(shí)間特征擦除模塊有效性分析

本文在MARS 數(shù)據(jù)集上進(jìn)行一系列研究來驗(yàn)證時(shí)間特征擦除模塊的有效性，ResNet50 上用時(shí)間平均池作為基線［16］。在ResNet50 有4 個(gè)連續(xù)的階段組成［17］：即階段1～階段4，每個(gè)階段分別包含3、4、6、3個(gè)殘差塊。本文將前3 個(gè)階段作為主干網(wǎng)絡(luò)，TFE 可以插入主干網(wǎng)絡(luò)的任何階段。而對(duì)于時(shí)間特征擦除模塊的實(shí)驗(yàn)驗(yàn)證，本文對(duì)所有模型只采用自底向上的層次聚類和三元組損失進(jìn)行訓(xùn)練，不加入離散度和多樣性約束參數(shù)及PK抽樣法。

1）首先用TFE（base.+TFE）替換基線層來評(píng)估TFE 模塊的效果。如表2 所示，與基線相比，采用TFE 模塊使mAP、Rank-1 分別提高了2.9、1.4 個(gè)百分點(diǎn)，這是由于TFE 的學(xué)習(xí)者協(xié)同擦除功能挖掘特征互補(bǔ)部分，從而生成目標(biāo)行人的整體特征，使模型對(duì)具有相似特征的不同行人獲得更強(qiáng)的識(shí)別能力。為了進(jìn)一步驗(yàn)證TFE 中的擦除操作提取特征的有效性，本文設(shè)計(jì)了一種變體，即TFE-wo-EO，采用增加大量的有序?qū)W習(xí)者，而不進(jìn)行擦除操作。TFE-wo-EO相對(duì)于基線僅取得了很小的改進(jìn)效果，表明在不進(jìn)行擦除操作的情況下，不同的學(xué)習(xí)者捕獲的視覺特征幾乎相同，可以得出擦除操作的強(qiáng)大功能，迫使不同的學(xué)習(xí)者專注于不同的圖像部分，以發(fā)現(xiàn)不可或缺的視覺特征，而不在于學(xué)習(xí)者數(shù)量的增加。

表2 MARS 上不同設(shè)置的性能比較Table 2 Performance comparison of different settings on MARS

2）在TFE 模塊中學(xué)習(xí)者的數(shù)量不斷增加或減少都對(duì)本文所提模型產(chǎn)生影響，如表3 所示。TFE 包含N個(gè)有序?qū)W習(xí)者，其中N=1 為基線，它們?yōu)镹個(gè)連續(xù)幀挖掘互補(bǔ)特征。隨著增加更多的學(xué)習(xí)者去挖掘互補(bǔ)特征，模型的性能會(huì)提高，但是當(dāng)N達(dá)到4時(shí)性能會(huì)大幅下降。在這種情況下，大多數(shù)判別部分已在輸入段的最后一幀中刪除，第4 學(xué)習(xí)者必須激活非區(qū)別區(qū)域，這會(huì)破環(huán)背景區(qū)域?？紤]到模型的復(fù)雜度，本文將N設(shè)置為2。

表3 MARS 中學(xué)習(xí)者數(shù)量對(duì)TFE 參數(shù)的影響Table 3 Impact of number of learners on TFE parameters in MARS

3）擦除塊的大小改變也會(huì)影響模型的性能，如表4 所示。本文TFE 模塊處理尺寸為16×18 的幀級(jí)特征圖，由于行人圖像的空間結(jié)構(gòu)不同，本文將擦除后的寬度固定為特征圖的寬度，以擦除特征圖的整個(gè)行?？梢钥闯?，當(dāng)擦除塊高度he為3 時(shí)模型的性能最佳，而當(dāng)擦除塊的高度較大或較小時(shí)，性能都會(huì)變差。因此，擦除塊太小不能有效激勵(lì)當(dāng)前學(xué)習(xí)者發(fā)現(xiàn)特征互補(bǔ)部分；擦除塊太大會(huì)迫使當(dāng)前學(xué)習(xí)者激活如背景等非區(qū)別區(qū)域。

表4 MARS 中擦除塊高度對(duì)TFE 參數(shù)的影響Table 4 Impact of erasing block height on TFE parameter in MARS

4）對(duì)于復(fù)雜度方面的比較，本文除了對(duì)在MARS數(shù)據(jù)集上所提出的網(wǎng)絡(luò)進(jìn)行成分分析外，還對(duì)輸入的視頻片段的浮點(diǎn)運(yùn)算數(shù)量（GFLOPs）及模型的參數(shù)數(shù)量（Params）進(jìn)行了分析對(duì)比。FLOPs 表示訓(xùn)練模型時(shí)GPU 的計(jì)算量（1GFPLOs=109FLOPs），用來衡量模型的復(fù)雜度（時(shí)間長(zhǎng)短）。參數(shù)數(shù)量為網(wǎng)絡(luò)模型中需要訓(xùn)練的參數(shù)總數(shù)（顯存大?。?。模型中浮點(diǎn)運(yùn)算和參數(shù)數(shù)量采用python 的第三方庫thop 中的profile（）方法進(jìn)行計(jì)算。

從表2 可以得出，在基線上對(duì)數(shù)據(jù)集進(jìn)行測(cè)試時(shí)需要14.144 的GFLOPs，而在TFE（base.+TFE）上進(jìn)行測(cè)試時(shí)需要14.149 的GFLOPs，與原始模型（基準(zhǔn)）相比僅相對(duì)增加了0.005GFLOPs。而增加的成本主要是由TFE 的相關(guān)圖所造成的，不過這種問題可以通過矩陣乘法進(jìn)行解決，因此，在運(yùn)算時(shí)占用GPU 的時(shí)間很少。在參數(shù)數(shù)量方面，TFE 相對(duì)基線參數(shù)數(shù)量增加了6.4×106，占用顯存的增加主要是由TFE 的一系列有序?qū)W習(xí)者所造成的。重要的是僅通過使用一系列學(xué)習(xí)器來擴(kuò)展基線所帶來模型準(zhǔn)確率上的提高，表明TFE 的改進(jìn)不僅僅是因?yàn)樵黾恿藚?shù)設(shè)置。

2.4 約束性層次聚類有效性分析

如表5 所示，分別為加入類內(nèi)間離散度參數(shù)和多樣性約束參數(shù)以及兩者結(jié)合對(duì)模型結(jié)果所帶來的影響。在模型中僅考慮類間離散度時(shí)（基準(zhǔn)），MARS 和DukeMTMC-VideoReID 上的Rank-1 分別為66.9%和75.9%，mAP 分別為44.3%和68.7%。加入類內(nèi)離散度后，Rank-1 在MARS 和DukeMTMC-VideoReID 上分別提升了0.9 和0.6 個(gè)百分點(diǎn)，起到了防止高離散度類被聚合的作用，保證了類別平衡。加入多樣性約束后Rank-1分別達(dá)到了69.3%和80.5%，mAP 分別達(dá)到了46.4%和72.5%。表明在模型中加入類內(nèi)間離散度參數(shù)和多樣性約束參數(shù)能夠提高層次聚類的準(zhǔn)確性以及提升圖像匹配的準(zhǔn)確率。

表5 在MARS 和DukeMTMC-VideoReID 上不同設(shè)置的性能比較Table 5 Performance comparison of different settings on MARS and DukeMTMC-VideoReID %

本文對(duì)整個(gè)迭代過程進(jìn)行對(duì)比分析。如圖3 所示，在兩個(gè)數(shù)據(jù)集上進(jìn)行聚類迭代實(shí)驗(yàn)，Rank-1 和mAP 的性能百分?jǐn)?shù)隨著迭代次數(shù)的增加不斷增加，但迭代次數(shù)達(dá)到一定程度時(shí)，兩個(gè)性能指標(biāo)趨于穩(wěn)定，同時(shí)數(shù)據(jù)集的類別數(shù)目越來越少，最后得出數(shù)據(jù)集的偽標(biāo)簽。

圖3 在MARS 和DukeMTMC-VideoReID 上Rank-1 和mAP 隨聚類迭代次數(shù)的變化Fig.3 Change of Rank-1 and mAP with the number of clustering iterations on MARS and DukeMTMC-VideoReID

2.5 參數(shù)分析

本文對(duì)類內(nèi)間平衡參數(shù)α1和多樣性約束參數(shù)α2進(jìn)行了實(shí)驗(yàn)分析。如圖4 所示，在式（11）中保持α2值不變，改變?chǔ)?的值，計(jì)算性能指標(biāo)的數(shù)值。當(dāng)α1=0.06 時(shí)，圖4 上縱軸上的指標(biāo)取得最大值，而隨著實(shí)驗(yàn)不斷進(jìn)行，橫軸上的取值過大或過小，縱軸上的值都會(huì)下降。在圖5 中，類內(nèi)間平衡參數(shù)α1設(shè)置為0.06，對(duì)α2取不同的值。從圖5 可以看出，當(dāng)α2=0.002 時(shí)效果最好。在MARS 數(shù)據(jù)集上Rank-1 精度提升到了69.3%，mAP 提升到了46.4%；在DukeMTMC-VideoReID 上隨著參數(shù)的數(shù)值改變，Rank-1 的精度提升到了80.5%，mAP 提升到了72.5%。在實(shí)驗(yàn)中α2的值無論小于或大于0.002，性能指標(biāo)的取值都會(huì)下降，因此α2的取值為0.002。

圖4 Rank-1 和mAP隨α1的不同取值在MARS 和DukeMTMC-VideoReID 上的變化Fig.4 Change of Rank-1 and mAP with different values of α1 on MARS and DukeMTMC-VideoReID

圖5 Rank-1 和mAP隨α2的不同取值在MARS 和DukeMTMC-VideoReID 上的變化Fig.5 Change of Rank-1 and mAP with different values of α2 on MARS and DukeMTMC-VideoReID

2.6 不同方法的對(duì)比

如表6 所示，本文方法在MARS 數(shù)據(jù)集和DukeMTMC-VideoReID 數(shù)據(jù)集上實(shí)驗(yàn)得出的結(jié)果與利用目前最新方法得出的結(jié)果進(jìn)行比較，可以看出，本文方法具有較大的優(yōu)越性。

表6 不同方法性能比較Table 6 Performance comparison of different methods %

在表6 中，第2 列顯示“單樣本”的標(biāo)簽為訓(xùn)練模型時(shí)一部分?jǐn)?shù)據(jù)采用身份偽標(biāo)簽，不是真正的完全無監(jiān)督，而在其列中顯示“無”的標(biāo)簽，為完全無監(jiān)督。對(duì)MARS 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與利用傳統(tǒng)方法RACM 和DAL 得出的實(shí)驗(yàn)結(jié)果進(jìn)行比較，可以看出，本文方法Rank-1 分別提高26.1%和20%，mAP 分別提高21.9%和23.4%；與完全無監(jiān)督BUC 進(jìn)行比較，Rank-1 和mAP 分別提高14.2%、15%；與單樣本的深度學(xué)習(xí)方法EUG 相比，本文方法也具有很大的競(jìng)爭(zhēng)力。在數(shù)據(jù)集DukeMTMC-VideoReID 上的實(shí)驗(yàn)結(jié)果與利用BUC 方法得出的實(shí)驗(yàn)結(jié)果進(jìn)行比較，本文方法Rank-1 和mAP分別提高5.7%、5.8%，與利用EUG 方法得出的結(jié)果進(jìn)行比較，Rank-1 和mAP 分別提高7.8%、9.3%。

3 結(jié)束語

本文通過研究視頻行人重識(shí)別的每幀特征提取和標(biāo)簽，提出一種時(shí)間特征互補(bǔ)的無監(jiān)督視頻行人重識(shí)別方法。使用時(shí)間特征擦除網(wǎng)絡(luò)模塊提取具有強(qiáng)力的判別性特征，解決特征的冗余問題，減少后續(xù)類別分類的計(jì)算量，在層次聚類進(jìn)行合并時(shí)加入離散度參數(shù)因子和多樣性參數(shù)因子，生成高質(zhì)量的偽標(biāo)簽，解決手工標(biāo)簽帶來的巨大代價(jià)問題，并通過PK 抽樣困難樣本三元組損失優(yōu)化模型，減少不同身份的相似樣本被合并的概率。實(shí)驗(yàn)結(jié)果表明，與RACM 和DAL 等方法相比，本文方法性能指標(biāo)得到較大提升。下一步將改進(jìn)時(shí)間特征提取建模方法，消除噪聲幀的影響，以獲得更強(qiáng)的特征表示，并繼續(xù)研究無監(jiān)督算法在數(shù)據(jù)標(biāo)簽上的應(yīng)用。