基于代價敏感的細粒度服裝圖片檢索

鄒子安，何儒漢

（1.武漢紡織大學(xué) 計算機與人工智能學(xué)院；2.紡織服裝智能化湖北省工程研究中心，湖北 武漢 430200）

0 引言

隨著人們需求的進一步精細化，圖片檢索技術(shù)逐漸向細粒度方向深入發(fā)展。細粒度服裝圖片檢索主要通過對圖像的相似度進行比較實現(xiàn)［1-4］，該類方法在服裝圖片像素層面構(gòu)建檢索模型提取全局或局部特征進行相似度的排序比較。然而，細粒度服裝圖片檢索中廣泛存在類別不平衡問題，即當(dāng)部分類別數(shù)量遠高于其他類別數(shù)量時，在學(xué)習(xí)過程中通常會導(dǎo)入有利于數(shù)量占比多類別的分布偏差，導(dǎo)致數(shù)量少類別的條件概率被低估，從而影響分類和檢索結(jié)果。

由于相同類別服裝圖片之間高度相似，以及部分服裝圖片數(shù)據(jù)集存在類別不平衡現(xiàn)象，面向服裝圖像的細粒度檢索是一個具有挑戰(zhàn)性的課題。對于非平衡問題，目前算法層面的解決方案主要是優(yōu)化損失函數(shù)。該領(lǐng)域最常使用的損失函數(shù)為交叉熵（Cross Entropy，CE）損失函數(shù)。經(jīng)典的交叉熵損失函數(shù)對每個數(shù)據(jù)實例具有同等的重要性，這導(dǎo)致網(wǎng)絡(luò)對較少數(shù)量的類別缺少優(yōu)化監(jiān)督。因此，在類別不平衡情況下的分類、分割和檢索等任務(wù)中，CE 損失函數(shù)是不適用的。另一種簡單固定權(quán)重交叉熵（weighted CE）損失函數(shù)被廣泛用于類別不平衡時的檢索任務(wù)，其設(shè)置類權(quán)重與類頻率成反比［5-6］，然而這種策略在大規(guī)模真實數(shù)據(jù)集中存在困難樣本時性能很差。Focal 損失函數(shù)采用動態(tài)策略分配類的權(quán)重，重點關(guān)注難以訓(xùn)練的實例，但如果某個樣本標(biāo)注錯誤，會導(dǎo)致模型訓(xùn)練效果越來越差［7］。

針對細粒度服裝圖像檢索任務(wù)中存在的不平衡數(shù)據(jù)集問題，本文提出基于代價敏感的細粒度服裝圖片檢索模型。該模型通過聯(lián)合預(yù)測服裝屬性和關(guān)鍵點學(xué)習(xí)服裝特征，采用基于代價敏感的損失函數(shù)處理細粒度服裝類數(shù)據(jù)集的不平衡問題，對模型中的關(guān)鍵點檢測模塊進行改進，提升模型提取特征的性能。為證明該模型的有效性，在DeepFashion 數(shù)據(jù)集上進行實驗，與文獻［2，8］中的細粒度圖片檢索方法進行比較，與文獻［9］中的方法進行服裝類別、屬性識別性能比較。

1 相關(guān)研究

1.1 細粒度圖像檢索

在計算機視覺中，細粒度圖像檢索比基于內(nèi)容的圖像檢索更為困難，這是由于類別之間的差異較大，但同一類別內(nèi)的差異很小。目前關(guān)于細粒度圖像檢索技術(shù)的研究有很多，例如Sathit［8］提出基于自適應(yīng)深度學(xué)習(xí)的細粒度文化遺產(chǎn)圖像檢索方法，該模型可以處理新類別的增量流，同時保持其過去在舊類別中的性能，不丟失文化遺產(chǎn)圖像的舊分類。該方法的目標(biāo)是執(zhí)行類別檢索任務(wù)，同時對新類別進行增量學(xué)習(xí)以減少重新訓(xùn)練的過程；Liu 等［9］通過聯(lián)合預(yù)測服裝屬性和關(guān)鍵點學(xué)習(xí)服裝特征來進行服裝分類和檢索；Zeng 等［10］采用分段交叉熵損失函數(shù)增強模型的泛化能力并提高檢索性能；Xu 等［11］提出一個視覺—語義嵌入模型，該模型使用知識庫和文本研究語義嵌入；然后訓(xùn)練一個端到端卷積神經(jīng)網(wǎng)絡(luò)框架，將圖片線性地映射到豐富的語義嵌入空間中；Liu 等［12］提出一種基于圖嵌入的方法學(xué)習(xí)圖像與場景草圖之間的相似性度量，該方法對多模態(tài)信息（包括對象的大小、外觀以及布局信息）進行建模，在細粒度圖像檢索中有應(yīng)用潛力；Zhang 等［13］提出一種自動細粒度識別方法，通過匯集深度卷積核空間響應(yīng)向量并加權(quán)組合，從而使訓(xùn)練和測試階段均不需要任何對象/部件注釋；Xie 等［14］引入一個基線系統(tǒng)，使用細粒度的分類分數(shù)表示和共享索引圖像，將語義屬性更好地納入在線查詢階段，并在合理的時間和內(nèi)存消耗下獲得了良好的搜索結(jié)果；Kumar 等［15］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)容細粒度圖像檢索框架；Cui 等［16］提出一個端到端可訓(xùn)練網(wǎng)絡(luò)ExchNet，基于注意力機制和注意力約束分別獲得局部和全局特征，并為細粒度圖像生成緊湊的二進制代碼以改善查詢速度慢和冗余存儲成本問題；Wang 等［17］提出一種三向增強的部分感知網(wǎng)絡(luò)，該網(wǎng)絡(luò)在中層特征空間后加入一個混合的高階注意力模塊，以生成各種高階注意力圖，捕捉中層卷積層中包含的豐富特征。雖然以上研究在細粒度服裝圖像檢索方面取得了一定進展，但在處理數(shù)據(jù)集類別不平衡問題時仍存在困難。

1.2 數(shù)據(jù)層面非平衡學(xué)習(xí)

數(shù)據(jù)層面的非平衡學(xué)習(xí)方法采用重新取樣策略改變原始數(shù)據(jù)中的類分布，以達到平衡數(shù)據(jù)集的目的［18-20］。最簡單的重抽樣形式包括隨機過量取樣和隨機欠量取樣，前者處理類的不平衡是通過重復(fù)少數(shù)類中的實例實現(xiàn)的，而后者是隨機從多數(shù)類中刪除實例，以便與少數(shù)類的數(shù)量相匹配。研究表明，數(shù)據(jù)抽樣策略對分類性能影響不大［19］。雖然抽樣策略被廣泛采用，但這些方法操縱了給定領(lǐng)域的原始類表示，并引入了一些缺點，例如過度采樣有可能會導(dǎo)致過度擬合并加重計算負擔(dān)，而欠抽樣則可能消除對歸納過程至關(guān)重要的信息。此外，采用抽樣方法人為地平衡數(shù)據(jù)可能不適用于具有很大差異的數(shù)據(jù)集［20］。

1.3 算法層面非平衡學(xué)習(xí)

算法層面的非平衡學(xué)習(xí)方法可分為集合方法和對成本敏感的方法兩類［21-22］。例如，Liu 等［23］提出一種成本敏感的變分自動編碼分類器，通過引入成本敏感因素將高成本分配給少數(shù)群體數(shù)據(jù)的錯誤分類，從而使分類器偏向少數(shù)群體數(shù)據(jù)以解決不平衡數(shù)據(jù)分類問題；Wang 等［24］提出一種基于信息熵的兩類成本敏感矩陣化分類模型，將信息熵引入到矩陣化學(xué)習(xí)框架中以降低錯誤分類成本；An等［25］提出一個基于深度學(xué)習(xí)的模型，通過強化學(xué)習(xí)代理指導(dǎo)成本敏感的特征獲取過程，以自適應(yīng)地為每個實例選擇信息豐富且成本較低的特征；Aram 等［26］引入一種基于支持向量機的濾波方法，通過選取模型對二次最大邊緣特征進行線性化，提高了支持向量機特征選擇的泛化能力，使其適用于各種代價錯誤情況；Losifidis 等［27］針對不平衡數(shù)據(jù)提出一種成本敏感的提升模型AdaCC，在提升過程中根據(jù)模型表現(xiàn)動態(tài)地調(diào)整錯誤分類成本，而不是使用固定的錯誤分類成本矩陣。

以上研究主要通過引入深度神經(jīng)網(wǎng)絡(luò)模型、修改損失函數(shù)或修改原始數(shù)據(jù)集的方式處理數(shù)據(jù)不平衡問題。本文在參考以上研究成果的基礎(chǔ)上引入聯(lián)合預(yù)測服裝屬性與關(guān)鍵點的深度網(wǎng)絡(luò)模型，通過代價敏感損失函數(shù)處理服裝類別、屬性不平衡等問題。主要創(chuàng)新點為：①與固定權(quán)重相比，所提出的代價敏感損失函數(shù)既采用固定的權(quán)重方案，又根據(jù)數(shù)據(jù)實例的預(yù)測難度自適應(yīng)增加動態(tài)權(quán)重；②動態(tài)權(quán)重對實例的錯誤預(yù)測結(jié)果進行懲罰，提高困難樣本的參數(shù)優(yōu)化程度；③優(yōu)化了服裝關(guān)鍵檢測模塊，使得模型保留了特征的空間對應(yīng)關(guān)系，提升了服裝特征提取性能。

2 檢索模型構(gòu)建

誤差的反向傳播算法通常用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其根據(jù)訓(xùn)練過程中產(chǎn)生的誤差更新模型權(quán)重，來自每個類的數(shù)據(jù)實例錯誤分類具有相同的重要性。本文基于該算法建立基于代價敏感的細粒度服裝圖片檢索模型。

2.1 細粒度服裝圖片檢索模型結(jié)構(gòu)

細粒度服裝圖片檢索模型依靠大量圖片和細粒度標(biāo)簽等數(shù)據(jù)進行訓(xùn)練，通過損失函數(shù)誤差反向傳播優(yōu)化模型參數(shù)以學(xué)習(xí)圖片包含的細粒度服裝屬性。然而，細粒度服裝圖片數(shù)據(jù)集中的類別不平衡對訓(xùn)練模型性能有很大影響。數(shù)據(jù)集類別不平衡的解決方法有數(shù)據(jù)層面和算法層面兩種，由于本文數(shù)據(jù)集類別分布過于極端，圖片屬性存在各種復(fù)雜的包含關(guān)系，采用數(shù)據(jù)集重組方法存在過擬合和加重計算負擔(dān)等缺點，不適合使用數(shù)據(jù)層面的方法。因此，本文設(shè)計了算法層面基于代價敏感的方法解決數(shù)據(jù)集類別不平衡問題。

聯(lián)合預(yù)測服裝屬性與關(guān)鍵點的細粒度服裝圖片檢索模型結(jié)構(gòu)如圖1 所示。該模型將關(guān)鍵點坐標(biāo)變?yōu)闊釄D的形式，不破壞卷積網(wǎng)絡(luò)與標(biāo)簽的對應(yīng)空間關(guān)系，有利于服裝特征提取。該模型由4 個部分組成：①主干網(wǎng)絡(luò)模塊。用于提取28×28×512 維度的圖片特征；②服裝關(guān)鍵點檢測模塊。通過Roi-pooling 層切割圖片關(guān)鍵點位置特征，組合成4×4×4 096 維度的卷積層；③服裝類別、屬性分類模塊。服裝類別分類模塊通過下采樣卷積壓縮主干網(wǎng)絡(luò)的圖片特征維度至7×7×512，通過全連接分類網(wǎng)絡(luò)區(qū)分服裝的類別信息；服裝屬性分類模塊壓縮第②部分網(wǎng)絡(luò)輸出信息，通過全連接屬性分類網(wǎng)絡(luò)識別出服裝屬性；④服裝圖片檢索模塊。該模塊通過深度網(wǎng)絡(luò)模型輸出的特征信息建立特征索引庫，實現(xiàn)服裝的檢索查詢。

Fig.1 Fine-grained apparel image retrieval model structure圖1 細粒度服裝圖片檢索模型結(jié)構(gòu)

2.2 代價敏感學(xué)習(xí)

分類損失函數(shù)設(shè)定包含n 個樣本的數(shù)據(jù)集表示為D=，其中X?表示圖片的特征空間域，Y?表示標(biāo)簽的空間域。對于每個數(shù)據(jù)實例i，xi?X為輸入特征向量，yi?Y={1，2，...，c}為真實的類標(biāo) 簽。分類器的訓(xùn)練參數(shù)表示為F：=，其將輸入的特征向量映射到標(biāo)簽空間向量f ：X→Y，并通過最小化損失函數(shù)學(xué)習(xí)L(f(x；θ)，y)。定義1 個損失函數(shù)L：R×Y→R+和1 個分類器F，模型誤差均值被定義為RL(f)=ED[f (x；θ)，y]，其中期望值與數(shù)據(jù)集D有關(guān)。

模型的細粒度屬性為多標(biāo)簽性分類，其最后一層為sigmoid激活函數(shù)，那么細粒度屬性損失函數(shù)的平均誤差可表示為：

式中：θ 為模型的參數(shù)集，yij為實例xi的編碼標(biāo)簽中第j個元素，yi=∈{0，1}c；fj(x；θ)∈Rc為模型輸出，fj為f的第j個元素。

代價敏感損失函數(shù)在原分類損失函數(shù)的基礎(chǔ)上引入一個代價矩陣的加權(quán)分類目標(biāo)函數(shù)，為少數(shù)類和難以訓(xùn)練的實例分配更高權(quán)值，表示為：

式中：cost(fj(xi：θ)，yij)用于計算模型輸出fj(xi：θ)與真實標(biāo)簽yij對應(yīng)的代價權(quán)重wij。將代價權(quán)重wij作為一個超參數(shù)來處理，設(shè)置其與該類出現(xiàn)的類頻率成反比，其所有的值表示為一個代價矩陣。

令pj=fj(xi：θ)，則代價矩陣定義為：

式中：py表示數(shù)據(jù)集中真實標(biāo)簽yij的頻率。

代價權(quán)重既有數(shù)據(jù)集樣本類別不平衡的權(quán)重w1=(1-py)，又增加了模型預(yù)測錯誤的懲罰項其中因此，代價權(quán)重函數(shù)可簡化為wij=w1+w2，其中w1的特點為數(shù)據(jù)樣本越小，其權(quán)重越大；w2表示模型輸出結(jié)果在向量中與正確標(biāo)簽的距離，作用為控制困難樣本的權(quán)重。該代價損失函數(shù)有兩個優(yōu)點：①當(dāng)一個訓(xùn)練實例被錯誤分類時，懲罰項w2能起到修正作用；②當(dāng)一個訓(xùn)練實例所屬類的數(shù)量占比很低時，權(quán)重w1能減小其帶來的負面影響。

3 實驗方法與結(jié)果分析

3.1 實驗設(shè)置

在最新DeepFashion 數(shù)據(jù)集中選取209 222 個樣本用于訓(xùn)練，4 萬個樣本用于驗證，4 萬個樣本用于測試。數(shù)據(jù)集中服裝圖片的類別標(biāo)簽有50 種，細粒度屬性標(biāo)簽有1 000種。

進行以下比較實驗：①以使用損失函數(shù)（1）為基線；②使用代價敏感損失函數(shù)，僅使用平衡加權(quán)項w1；③使用代價敏感損失函數(shù)，僅使用錯誤懲罰項w2；④使用代價敏感損失函數(shù)，采用平衡加權(quán)項w1和錯誤懲罰項w2。

3.2 實驗評價

采用3 種指標(biāo)評估模型性能，分別為：①精度（Precision，Pr）。表示正確預(yù)測的正例占所有預(yù)測為正例的比例；②召回率（Recall，Re）。表示預(yù)測屬于某類，且真正屬于該類的比例；③F1-分數(shù)（F1-score）。其為精確和召回率的加權(quán)調(diào)和平均值。將指定的類j定義為一個正實例，所有其他類定義為負實例，則指定類標(biāo)簽j的性能指標(biāo)分別表示為：

式中：TP表示正樣本且預(yù)測正確，TN表示負樣本且預(yù)測正確，F(xiàn)P表示負樣本但預(yù)測為正樣本，F(xiàn)N表示正樣本但預(yù)測為負樣本。

3.3 代價敏感損失函數(shù)的消融實驗

細粒度服裝共有50 類。如圖2 所示，各類別分布非常不平衡，圖片數(shù)量為10 000 張以上的類別有6 個，由少到多分別為第33、17、32、3、18、41 類，其中第41 類圖片有5萬多張；有15 個類別的圖片數(shù)量為1 000-10 000 等級；有14 個類別的圖片數(shù)量為100-1 000 等級；有15 個類別的圖片數(shù)量為0-100 等級。細粒度服裝圖片屬性有1 000 個，而且一個圖片可以有多個細粒度屬性。由于數(shù)據(jù)集類別不平衡，細粒度的屬性也分布極不平衡。此外，細粒度屬性數(shù)量比服裝類別數(shù)量更多且為多標(biāo)簽，因此細粒度服裝屬性的檢索更加困難。

Fig.2 Fine-grained apparel category distribution圖2 細粒度服裝類別分布

代價敏感損失函數(shù)固定權(quán)重和動態(tài)權(quán)重的消融實驗結(jié)果如表1 所示，其中Category-Average 表示服裝類別的平均性能指標(biāo)，Attribute-Average 表示服裝屬性的平均性能指標(biāo)。實驗結(jié)果表明，不論是使用w1加權(quán)、w2加權(quán)還是w1+w2加權(quán)，均比使用原損失函數(shù)效果好。此外，w1權(quán)重的作用大于w2權(quán)重，w1和w2權(quán)重聯(lián)合使用有相互加強的作用。

Table 1 Ablation experiment of fixed weight and dynamic weight of cost-sensitive loss function表1 代價敏感損失函數(shù)固定權(quán)重和動態(tài)權(quán)重的消融實驗（%）

3.4 代價敏感損失函數(shù)性能

細粒度服裝圖片檢索模型使用不同損失函數(shù)進行實驗得到的精確率、召回率、F1-分數(shù)性能指標(biāo)結(jié)果如表2所示。使用到的比較損失函數(shù)包括：①二分類交叉熵損失函數(shù)（Binary Cross-Entropy Loss，BCE Loss），其特點為優(yōu)化整個模型，最小化代價函數(shù)。當(dāng)數(shù)據(jù)集分布不平衡時，其優(yōu)化結(jié)果偏向于數(shù)量更多的類別，因此其實驗結(jié)果最差；②固定權(quán)重二分類交叉熵損失函數(shù)（Weighted Binary Cross-Entropy Loss，Weighted CE），其對不平衡數(shù)據(jù)進行加權(quán)處理，與BCE loss 相比能提升數(shù)量少的類別性能；③Focal Loss 與前兩個損失函數(shù)相比不僅對不平衡數(shù)據(jù)進行加權(quán)處理，還針對樣本難易增加了權(quán)重控制；④本文損失函數(shù)除對不平衡數(shù)據(jù)進行加權(quán)處理外，還增加了錯誤懲罰項，對分類錯誤的樣本進行動態(tài)加權(quán)，使得損失函數(shù)優(yōu)化偏向于分類困難的類別。代價敏感損失函數(shù)使用固定權(quán)重和動態(tài)權(quán)重的方法處理數(shù)據(jù)集的非平衡問題，在關(guān)鍵點檢測中通過將坐標(biāo)轉(zhuǎn)換為熱圖的方式保留圖像空間特征的對應(yīng)關(guān)系。因此，本文損失函數(shù)檢索性能優(yōu)于其他3個損失函數(shù)。

Table 2 Experimental results of using different loss functions for clothing categories and attributes表2 模型使用不同損失函數(shù)的實驗結(jié)果 （%）

3.5 服裝類別和屬性識別性能

模型檢索性能與其區(qū)分服裝屬性的能力有關(guān)，因此本文選擇與文獻［18］中的FashionNet（FN）及其相似版本進行服裝屬性識別比較實驗，比較模型包括使用Joints 的關(guān)鍵點檢測方法（Joints、Poselets）［28］代替FN 模型關(guān)鍵點檢測部分模塊 的FN+Joints 和FN+Poselets；使用VGG-16 與ResNet50 等替換FN 主干網(wǎng)絡(luò)的FN-VGG16 和FNResNet50。評價指標(biāo)包括服裝類別、紋理、布料、形狀、組件、風(fēng)格等屬性的預(yù)測準(zhǔn)確率和平均準(zhǔn)確率，結(jié)果如表3所示?？梢钥闯?，在使用top-3、top-5 準(zhǔn)確性進行評估時，本文模型表現(xiàn)優(yōu)于其他比較模型。

Table 3 Experimental results of models for recognizing clothing categories and attributes表3 模型識別服裝類別和屬性實驗結(jié)果（%）

3.6 細粒度服裝檢索性能

將本文方法與以下細粒度檢索方法進行比較：①基于局部化三聯(lián)體損失的細粒度時尚圖像檢索（Localized Triplet Loss for Fine-grained Fashion Image Retrieval，Localized Triplet）［2］；②基于自適應(yīng)深度學(xué)習(xí)的細粒度文化遺產(chǎn)圖像檢索（Adaptive Deep Learning for Cultural Heritage Image，ADLCHI）［8］；③三向增強的部分感知網(wǎng)絡(luò)模型（Three-way Enhanced Part-aware Network，TEPN）［17］。表4 實驗結(jié)果表明，本文方法的評價指標(biāo)優(yōu)于3種比較方法。

Table 4 Retrieval performance comparison of different methods表4 不同方法檢索性能比較 （%)

4 結(jié)語

為提高服裝圖片檢索效果，本文提出一種代價敏感適應(yīng)加權(quán)方法，并引入代價敏感損失函數(shù)，其中加權(quán)方案基于訓(xùn)練數(shù)據(jù)的類頻率和單個數(shù)據(jù)實例的預(yù)測難度實施，動態(tài)權(quán)重由神經(jīng)網(wǎng)絡(luò)產(chǎn)生的輸出結(jié)果分數(shù)決定。本文損失函數(shù)在細粒度服裝類別和多標(biāo)簽細粒度服裝屬性檢索中展示出一致結(jié)果，表明代價敏感損失函數(shù)提升了模型性能，能有效處理數(shù)據(jù)集類別不平衡問題。如果能獲取更多數(shù)據(jù)集，模型的檢索準(zhǔn)確率可能會更高。目前模型使用K-means 分類的方式加速檢索過程，比傳統(tǒng)窮舉方法速度提升了許多，但檢索準(zhǔn)確率有所下降。未來可構(gòu)建一個分布式檢索系統(tǒng)，以應(yīng)對大規(guī)模檢索數(shù)據(jù)時速度變慢的問題。