基于全局與局部標(biāo)簽關(guān)系的多標(biāo)簽圖像分類方法

任煒，白鶴翔

（山西大學(xué) 計算機與信息技術(shù)學(xué)院，太原 030006）（?通信作者電子郵箱2783800599@qq.com）

基于全局與局部標(biāo)簽關(guān)系的多標(biāo)簽圖像分類方法

任煒*，白鶴翔

（山西大學(xué) 計算機與信息技術(shù)學(xué)院，太原 030006）（?通信作者電子郵箱2783800599@qq.com）

針對多標(biāo)簽圖像分類任務(wù)中存在的難以對標(biāo)簽間的相互作用建模和全局標(biāo)簽關(guān)系固化的問題，結(jié)合自注意力機制和知識蒸餾（KD）方法，提出了一種基于全局與局部標(biāo)簽關(guān)系的多標(biāo)簽圖像分類方法（ML-GLLR）。首先，局部標(biāo)簽關(guān)系（LLR）模型使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、語義模塊和雙層自注意力（DLSA）模塊對局部標(biāo)簽關(guān)系建模；然后，利用KD方法使LLR學(xué)習(xí)全局標(biāo)簽關(guān)系。在公開數(shù)據(jù)集MSCOCO2014和VOC2007上進行實驗，LLR相較于基于圖卷積神經(jīng)網(wǎng)絡(luò)多標(biāo)簽圖像分類（ML-GCN）方法，在平均精度均值（mAP）上分別提高了0.8個百分點和0.6個百分點，ML-GLLR相較于LLR在mAP上分別進一步提高了0.2個百分點和1.3個百分點。實驗結(jié)果表明，所提ML-GLLR不僅能對標(biāo)簽間的相互關(guān)系進行建模，也能避免全局標(biāo)簽關(guān)系固化的問題。

圖像分類；自注意力機制；深度學(xué)習(xí)；知識蒸餾；多標(biāo)簽分類

0 引言

如何對不同標(biāo)簽之間存在的關(guān)系進行建模一直以來就是多標(biāo)簽分類尤其是多標(biāo)簽圖像分類中的一個重要問題。以卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）［1-4］為例，在一些大型單標(biāo)簽圖像數(shù)據(jù)集（例如ImageNet［5］）上精度已能夠達到90%以上［6］。然而，由于CNN獨立對待目標(biāo)，將多標(biāo)簽問題轉(zhuǎn)化為一組二分類問題來預(yù)測每個目標(biāo)是否存在，忽視了標(biāo)簽之間的依賴關(guān)系，因此很多相關(guān)研究發(fā)現(xiàn)其對多標(biāo)簽圖像，例如數(shù)據(jù)集MSCOCO（MicroSoft Common Objects in COntext）2014［7］的分類精度通常僅有80%左右［2，8］。因此，對標(biāo)簽關(guān)系進行建模是提高多標(biāo)簽圖像分類精度的關(guān)鍵。

基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的模型是目前多標(biāo)簽圖像分類中最具代表性的一類方法［9-11］。Wang等［9］提出了使用RNN模型來對標(biāo)簽關(guān)系進行建模的卷積神經(jīng)網(wǎng)絡(luò)-循環(huán)神經(jīng)網(wǎng)絡(luò)（CNN-RNN）模型。這一模型使用CNN和RNN的聯(lián)合嵌入空間來表征圖像與語義結(jié)構(gòu)。CNN-RNN模型保留了交叉標(biāo)簽相關(guān)性，提高了多標(biāo)簽分類精度。然而，在CNN-RNN訓(xùn)練時需要根據(jù)訓(xùn)練數(shù)據(jù)中各標(biāo)簽邊緣概率來定義標(biāo)簽順序。這種預(yù)定義的標(biāo)簽預(yù)測順序可能錯誤地對標(biāo)簽依賴關(guān)系進行建模。例如，根據(jù)標(biāo)簽頻率可能得到｛餐桌，花，叉子｝，然而從語義的角度上，由于“餐桌”與“叉子”有更強的依賴關(guān)系，所以正確順序應(yīng)為｛餐桌，叉子，花｝。為了解決這一問題，Yazici等［11］提出了基于視覺注意力的長短期記憶（Long Short-Term Memory， LSTM）深度學(xué)習(xí)框架，通過引入視覺注意力模型來自動地學(xué)習(xí)標(biāo)簽順序。然而這一模型仍然難以完全避免RNN模型自身的缺陷，即以序列方式逐個預(yù)測標(biāo)簽，同標(biāo)簽之間關(guān)系的雙向性相矛盾，從而導(dǎo)致RNN模型無法完整地對標(biāo)簽之間關(guān)系進行建模。

此外，CNN-RNN模型僅關(guān)注每張圖像自身的標(biāo)簽相關(guān)性，即局部標(biāo)簽關(guān)系（Local Label Relationship， LLR），忽略了整個數(shù)據(jù)集上的全局標(biāo)簽關(guān)系。為解決這一問題，Chen等［12］提出了基于圖卷積網(wǎng)絡(luò)（Graph Convolutional Network， GCN）的多標(biāo)簽圖像分類（Multi-Label image classification based on GCN， ML-GCN）模型。這一模型在整個訓(xùn)練集上統(tǒng)計全局標(biāo)簽關(guān)系，利用GCN在全局標(biāo)簽關(guān)系的指導(dǎo)下建立多個標(biāo)簽之間的共現(xiàn)概率，進而在一定程度上提高多標(biāo)簽圖像的分類精度。

圖1是ML-GCN在多標(biāo)簽圖像數(shù)據(jù)集VOC2007（PASCAL VOC challenge 2007）［13］上統(tǒng)計出的全局標(biāo)簽相關(guān)矩陣。在數(shù)據(jù)集的圖像中與“人”這一標(biāo)簽具有較高共現(xiàn)概率的標(biāo)簽有很多，如“自行車”“馬”和“摩托”。當(dāng)圖像中存在“人”“桌子”時，“椅子”可能存在被遮蓋的情況從而導(dǎo)致漏標(biāo)；但在全局標(biāo)簽關(guān)系中，因為“桌子”與“椅子”有較高的共現(xiàn)率，所以“椅子”會被標(biāo)注出來。

圖 1 VOC2007上的標(biāo)簽關(guān)系矩陣（未填寫部分為0）Fig. 1 Label relation matrix on VOC2007 （0 for unfilled part）

雖然ML-GCN能夠考慮全局標(biāo)簽的相關(guān)性，但由于該方法過度依賴標(biāo)簽共現(xiàn)概率，容易導(dǎo)致弱關(guān)系情況下缺標(biāo)簽和強關(guān)系情況下多標(biāo)記的問題。

為解決上述兩個多標(biāo)簽分類問題，本文提出了基于全局與局部標(biāo)簽關(guān)系的多標(biāo)簽圖像分類方法（Multiple Label image classification method based on Global and Local Label Relationship， ML-GLLR）。該方法利用雙層自注意力（Dual Layer Self-Attention， DLSA）來探索局部標(biāo)簽之間相互作用的關(guān)系；同時，用知識蒸餾（Knowledge Distillation， KD）對全局與局部的標(biāo)簽關(guān)系進行建模，并在兩個公共數(shù)據(jù)集MSCOCO2014和VOC2007上進行了實驗。

1 ML?GLLR

ML-GLLR的框架如圖2所示。該框架由兩部分組成，分別為LLR模型和KD方法，其中LLR細分為傳統(tǒng)分類器、語義模塊、DLSA模塊。首先，利用CNN提取圖像特征，得到特征，為特征圖的個數(shù)，、分別表示特征圖的長和寬；接著，語義模塊將按不同類別注意的區(qū)域在空間維度上加權(quán)求和得到標(biāo)簽特征，為總類別數(shù)，表示標(biāo)簽特征的維度；然后，經(jīng)過DLSA以及DLSA分類器得到標(biāo)簽分布，與由經(jīng)過傳統(tǒng)分類器得到的標(biāo)簽分布進行加權(quán)平均操作，得到局部標(biāo)簽分布；最后，分別與真實標(biāo)簽分布和ML-GCN得到的全局標(biāo)簽分布進行知識蒸餾。

圖2 ML-GLLR整體框架Fig. 2 Overall framework of ML-GLLR

1.1 語義模塊

語義模塊的目的是在預(yù)測期間聚焦和描述感興趣的圖像區(qū)域；同時，還可以將CNN模型得到的特征轉(zhuǎn)化為標(biāo)簽特征，有利于DLSA模型計算標(biāo)簽關(guān)系。受文獻［11，14］啟發(fā)，使用用于圖像字幕生成的軟注意力的機制，將特征圖表示成相應(yīng)的標(biāo)簽特征，本文的語義模塊也使用同樣的機制。具體地，有：

不難發(fā)現(xiàn)，語義模塊能充分利用注意力機制來粗略定位標(biāo)簽對應(yīng)的區(qū)域，并根據(jù)注意力權(quán)重得到標(biāo)簽特征，隱式地利用了標(biāo)簽共現(xiàn)信息。在實驗部分會展示和說明語義模塊在多標(biāo)簽圖像上的可視化結(jié)果及其作用。

1.2 DLSA模塊

張小川等［15］利用自注意力機制學(xué)習(xí)文本序列內(nèi)部的詞依賴關(guān)系，提升了文本分類的精度。受此啟發(fā)，本文利用DLSA機制對標(biāo)簽之間的依賴關(guān)系進行建模。DLSA模塊由兩個自注意力模塊與標(biāo)簽關(guān)系矩陣組成。具體地，雙層注意力模塊分為三步。

第二步 使用C維的全連接層將映射并通過函數(shù)得到結(jié)果：

1.3 知識蒸餾與傳統(tǒng)分類器

高欽泉等［16］針對目前用于超分辨率圖像重建的深度學(xué)習(xí)網(wǎng)絡(luò)模型結(jié)構(gòu)深且計算復(fù)雜度高的問題，使用KD方法將知識從教師網(wǎng)絡(luò)轉(zhuǎn)移到學(xué)生網(wǎng)絡(luò)，最后在不改變學(xué)生網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)量的前提下提升學(xué)生網(wǎng)絡(luò)的重建效果；鄧棋等［17］通過KD方法，將訓(xùn)練好的“知識”提取到AlexNet模型中，從而實現(xiàn)了在減少系統(tǒng)資源占用的同時，提高準(zhǔn)確率的效果。受此啟發(fā)，本文將利用KD使DLSA在保留局部標(biāo)簽關(guān)系知識的同時學(xué)習(xí)ML-GCN的全局標(biāo)簽關(guān)系知識。

在1.2節(jié)中，DLSA的輸出結(jié)果還無法進行知識蒸餾，需DLSA分類器與傳統(tǒng)分類器結(jié)合。傳統(tǒng)分類器分為兩步：首先，對進行全局平均池化；然后，利用全連接層進行分類。傳統(tǒng)分類器的標(biāo)簽分布計算式為：

KD方法是以ML-GCN作為教師模型，以LLR作為學(xué)生模型，計算式為：

2 實驗與結(jié)果分析

2.1 評價指標(biāo)

為了與現(xiàn)有方法進行公平比較，本文沿用文獻［12，18］的評價指標(biāo)，具體如下。

1）在類別上的準(zhǔn)確率（CP）、召回率（CR）、F1分?jǐn)?shù)（CF1）；在總體上的準(zhǔn)確率（OP）、召回率（OR）、F1分?jǐn)?shù)（OF1），以及為每幅圖像分配得分前3名的標(biāo)簽，即Top-3。

2）每個類別的平均精度（Average Precision， AP）。首先，遍歷的索引（是從高到低的排序函數(shù)，是第類別的預(yù)測得分），每次遍歷需要判斷索引位置的真實標(biāo)簽是否存在，若存在則使用和統(tǒng)計數(shù)量（是第類別的真實標(biāo)簽），然后，按照式（12）計算；若不存在則只在統(tǒng)計數(shù)量。遍歷結(jié)束后，第類別的準(zhǔn)確率如式（13）所示。

3）所有類別的平均精度均值（mean Average Precision，mAP）。mAP是基于排序的度量，具體地：

2.2 實驗設(shè)置

本文以深度殘差網(wǎng)絡(luò)為基線方法。首先，選用101層的殘差網(wǎng)絡(luò)（101-layer deep Residual network， Res-101）［3］提取特征；然后，經(jīng)過池化、全連接層和函數(shù)來進行多標(biāo)簽圖像分類。Res-101也是LLR的主干網(wǎng)絡(luò)。在上述的訓(xùn)練過程中，數(shù)據(jù)預(yù)處理為：對輸入圖像進行隨機裁剪并調(diào)整大小為長寬448的圖像，然后隨機水平翻轉(zhuǎn)。優(yōu)化器選擇隨機梯度下降（Stochastic Gradient Descent， SGD）法，其中學(xué)習(xí)率初始化為0.05，動量為0.9。特別地，本文方法LLR中主干網(wǎng)絡(luò)Res-101的參數(shù)學(xué)習(xí)率初始化為0.005，其余參數(shù)為0.05。所有參數(shù)的學(xué)習(xí)率在訓(xùn)練至第20輪與第30輪時以0.1的倍率進行變化，一共訓(xùn)練40輪。批處理大小為16，損失函數(shù)使用二元交叉熵函數(shù)。ML-GCN以文獻［12］的方式進行訓(xùn)練。訓(xùn)練方法完成后，使用訓(xùn)練好的LLR模型和ML-GCN模型，以式（9）為損失函數(shù)進行知識蒸餾。使用SGD為優(yōu)化器，主干網(wǎng)絡(luò)Res-101的參數(shù)學(xué)習(xí)率初始化為0.000 5，其余參數(shù)為0.005，動量為0.9。所有參數(shù)的學(xué)習(xí)率在訓(xùn)練至第5輪時以0.1的倍率變化，一共訓(xùn)練10輪。

2.3 數(shù)據(jù)集

本文實驗使用MSCOCO2014［7］和VOC2007［13］這兩個公共多標(biāo)簽圖像數(shù)據(jù)集。數(shù)據(jù)集具體信息如下：

1）MSCOCO2014數(shù)據(jù)集包含12 218張圖像，其中，訓(xùn)練集有82 081張圖像，驗證集有40 137張圖像，共有80個類別，平均每張圖像大約有2.9個標(biāo)簽。因此，MSCOCO2014常用于多標(biāo)簽圖像分類。

2）VOC2007數(shù)據(jù)集包含9 963張圖像，共有20個類別，它被分為訓(xùn)練集、驗證集、測試集。本文將訓(xùn)練集和驗證集合并為訓(xùn)練集。所以，訓(xùn)練集有5 011張圖像，驗證集有4 952張圖像。

2.4 對比結(jié)果分析

將本文方法（ML-GLLR）分別與CNN-RNN、空間正則化網(wǎng)絡(luò)（Spatial Regularization Network， SRN）［8］、Res-101、基于多特征過濾和融合（Multi-Evidence filtering and fusion，Multi-Evidence）［19］的分類方法、基于視覺注意的CNN-LSTM（CNN-LSTM based on visual Attention， CNN-LSTM-Att）［11］、ML-GCN［12］以及語義特定圖表示學(xué)習(xí)（Semantic-Specific Graph Representation Learning， SSGRL）［18］在MSCOCO2014數(shù)據(jù)集上進行對比實驗，其結(jié)果評估如表1所示。ALL下的6個指標(biāo)是將分類結(jié)果按照閾值為0.5劃分，高于0.5則標(biāo)記為1，低于0.5則標(biāo)記為0，然后使用式（10）～（11）計算；Top-3下的6個指標(biāo)是直接將分類結(jié)果最高的3個標(biāo)簽標(biāo)記為1，其余為0，然后再使用式（10）～（11）計算。

表1 不同方法在MSCOCO2014數(shù)據(jù)集上的評價指標(biāo)對比 單位： %Tab. 1 Evaluation index comparison of different methods on MSCOCO2014 dataset unit： %

在MSCOCO2014數(shù)據(jù)集上，LLR相較于基線Res-101、ML-GCN模型，mAP分別提升了3.7、0.8個百分點，與SSGRL模型持平，都達到了83.8%；LLR相較于CNN-LSTM-Att、ML-GCN、SSGRL，OF1分別提升了1.9、0.7、1.3個百分點，CF1分別提高了3.2、0.8、2.0個百分點。當(dāng)進行知識蒸餾后，考慮全局與局部標(biāo)簽關(guān)系的ML-GLLR模型，其mAP可以達到84.0%，比其他方法更優(yōu)。

將本文方法（ML-GLLR）分別與CNN-RNN、區(qū)域潛在語義相關(guān)性（Regional Latent Semantic Dependencies， RLSD）［20］、VGG（Visual Geometry Group）［2］、HCP（Hypothesis CNN Pooling）［21］、Res-101、ML-GCN和SSGRL在VOC2007數(shù)據(jù)集上進行對比實驗，其結(jié)果評估如表2所示。

與Res-101、ML-GCN相比，LLR的mAP分別提升了2.7、0.6個百分點。當(dāng)充分考慮全局與局部標(biāo)簽關(guān)系時，與ML-GCN、SSGRL、LLR相比，文本ML-GLLR的mAP分別提升了1.9、0.9、1.3個百分點。

對于各類AP，如“沙發(fā)”，ML-GCN的AP只有84.3%，而LLR達到了88.4%。通過KD方法，對ML-GCN全局標(biāo)簽關(guān)系進行學(xué)習(xí)，LLR在局部標(biāo)簽關(guān)系與全局標(biāo)簽關(guān)系之間達到了一定的平衡，“沙發(fā)”類別的AP達到90.7%，類似的類別還有“植物”和“桌子”等。所以，實驗結(jié)果可以表明，利用KD結(jié)合全局與局部標(biāo)簽關(guān)系在多標(biāo)簽圖像分類中是有效的。

2.5 網(wǎng)絡(luò)消融分析

本文所提ML-GLLR包含三個消融因素：語義模塊、DLSA模塊、KD模塊。為了驗證ML-GLLR的有效性，在數(shù)據(jù)集MSCOCO2014和VOC2007上，采用如下的方式進行消融實驗：1）采用Res-101和維的全連接層（分類器）結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)作為基準(zhǔn)網(wǎng)絡(luò)；2）在LLR的基礎(chǔ)上，去除DLSA模塊，保留語義模塊；3）在LLR的基礎(chǔ)上，使用兩個全連接層替代語義模塊，保留DLSA模塊；4）LLR，只考慮局部標(biāo)簽關(guān)系的方法；5）ML-GLLR，結(jié)合全局與局部標(biāo)簽關(guān)系的方法。表3給出了上述五種方法的預(yù)測精度。其中，T-OF1和T-CF1表示Top-3下的OF1和CF1指標(biāo)；A-OF1和A-CF1表示ALL下的OF1和CF1指標(biāo)。

表2 不同方法在VOC2007數(shù)據(jù)集上各標(biāo)簽的結(jié)果對比 單位： %Tab. 2 Comparison of results in various labels on VOC2007 dataset with different methods unit： %

表3 消融實驗結(jié)果 單位： %Tab. 3 Ablation experimental results unit： %

2.5.1 語義模塊的作用

語義模塊可以使CNN模型得到的特征圖按權(quán)重進行加權(quán)求和，該權(quán)重表示各個標(biāo)簽在圖像中所注意的區(qū)域。圖3（a）、（e）是MSCOCO2014的測試集樣本COCO_val_476534和COCO_val_473994，圖3（b）、（c）、（d）和（f）、（g）、（h）分別展示了圖3（a）、（e）在語義模塊中注意到的區(qū)域（高亮區(qū)域）。對于2個樣本的所有真實標(biāo)簽（貓、遙控器、沙發(fā)、人、狗、飛碟），LLR都預(yù)測正確。圖3（a）中，“遙控器”“貓”“沙發(fā)”能分別與圖中較亮的區(qū)域一一對應(yīng)，這些區(qū)域都有著較高的權(quán)重，標(biāo)簽特征就是以這些權(quán)重對CNN特征圖在空間維度上加權(quán)求和得到的。

圖3 語義模塊可視化Fig. 3 Semantic module visualization

由表3可知，當(dāng)LLR去除語義模塊后，LLR的mAP在MSCOCO2014數(shù)據(jù)集上從83.8%下降到82.1%，在VOC2007數(shù)據(jù)集上從94.6%下降到93.6%，表明了語義模塊對后續(xù)標(biāo)簽關(guān)系學(xué)習(xí)的有效性。

2.5.2 DLSA模塊與KD模塊的作用

DLSA模塊用于探索局部標(biāo)簽關(guān)系。由表1、2可知，在兩個數(shù)據(jù)集上，含DLSA模塊的LLR和ML-GLLR各項分類指標(biāo)都優(yōu)于ML-GCN和CNN-LSTM-Att：與CNN-LSTM-Att相比，LLR可以充分考慮標(biāo)簽之間的相互作用關(guān)系；與ML-GCN相比，DLSA模塊從局部上考慮標(biāo)簽相關(guān)性。圖4中，斜體下劃線為模型預(yù)測結(jié)果中缺失的標(biāo)簽，斜體下劃線加粗為多余標(biāo)簽。在圖4（a）中，“貓”“植物”與其他標(biāo)簽的共現(xiàn)率都很低，因此有這兩個標(biāo)簽時，ML-GCN會忽略“瓶子”。在圖4（b）中，“人”和“電視機”都與“沙發(fā)”有較高的共現(xiàn)率，從而導(dǎo)致ML-GCN標(biāo)記了不存在的“沙發(fā)”。但DLSA模塊在圖4（a）中標(biāo)記出了“瓶子”，在圖4（b）中沒有標(biāo)記“沙發(fā)”，所以，DLSA模塊在一定程度上防止了漏標(biāo)和多標(biāo)記的問題。

圖4 多標(biāo)簽圖像分類中ML-GCN與ML-GLLR比較Fig. 4 Comparison of ML-GCN and ML-GLLR in multi-label image classification

此外，由表3可知，當(dāng)LLR無DLSA模塊時，在MSCOCO2014數(shù)據(jù)集上mAP只能達到81.4%，在VOC2007上mAP只能達到92.7%，驗證了DLSA模塊的有效性。

事實上，無論是從局部上還是從全局上考慮標(biāo)簽關(guān)系，它們都存在一定的局限性。例如，圖5是VOC2007中的兩個樣本圖像在ML-GCN、LLR和ML-GLLR中的分類結(jié)果。LLR只能識別出圖5（a）中的“椅子”“植物”以及圖5（b）中的“人”“?！?，這是因為LLR相較于ML-GCN更依賴CNN提取的特征，更重要的是缺乏全局標(biāo)簽關(guān)系上的考慮。

圖6是圖5的圖像在不同模型下的標(biāo)簽關(guān)系矩陣（由式（5）得到）。經(jīng)過知識蒸餾后，在圖6（a）、（c）中，當(dāng)存在“椅子”“植物”時，這兩個標(biāo)簽與“沙發(fā)”的共現(xiàn)率從59.3%、60.1%變化至66.6%、66.3%；在圖6（b）、（d）中，當(dāng)存在“?！薄叭恕睍r，與“馬”的共現(xiàn)率從64.5%、57.7%變化至64%、61.8%。這使得LLR在圖5（a）中識別出“沙發(fā)”，在圖5（b）中識別出“馬”。

圖5 多標(biāo)簽圖像分類中ML-GCN、LLR與ML-GLLR比較Fig. 5 Comparison of ML-GCN， LLR and ML-GLLR in multi-label image classification

圖6 LLR經(jīng)過知識蒸餾后標(biāo)簽關(guān)系的變化Fig. 6 Change of LLR label relationships after knowledge distillation

同樣在圖1中也可以發(fā)現(xiàn)“椅子”“植物”都與“沙發(fā)”的共現(xiàn)率高，“人”“?！倍寂c“馬”的共現(xiàn)率高。這表明LLR通過知識蒸餾學(xué)習(xí)到了全局標(biāo)簽關(guān)系，驗證了基于知識蒸餾來實現(xiàn)全局與局部關(guān)系信息的結(jié)合是有效的。

此外，經(jīng)過知識蒸餾后的LLR在不少類別之間的共現(xiàn)率發(fā)生顯著變化。圖7、8分別是VOC_val_0986圖像中類別“人”與其他類別、類別“?！迸c其他類別在LLR和ML-GLLR上的共現(xiàn)率。

不難發(fā)現(xiàn)，雖然在圖7中“人”與其他類別在經(jīng)過知識蒸餾后共現(xiàn)率都有提高，但在圖9中很多類別卻不會被標(biāo)記。這是因為，式（8）中局部標(biāo)簽分布與傳統(tǒng)分類器的標(biāo)簽分布相關(guān)，而傳統(tǒng)分類器是對圖像內(nèi)容的基本分類，正如圖9中的LLR在各個類別的得分，除了類別“馬”處于被發(fā)現(xiàn)的臨界值外，其他類別得分都很低，所以即使提升了共現(xiàn)率也無法標(biāo)記。KD的目的是使LLR學(xué)習(xí)全局標(biāo)簽關(guān)系（如圖1中的標(biāo)簽關(guān)系），所以圖7中“人”與其他類別的共現(xiàn)率經(jīng)過KD后都有提升的趨勢，而圖8中“?！迸c其他類別的共現(xiàn)率變化卻很難發(fā)現(xiàn)規(guī)律。這是因為圖6中標(biāo)簽關(guān)系都是LLR根據(jù)每一個樣本的特征計算出來的，不是固化的全局標(biāo)簽關(guān)系。雖然LLR通過知識蒸餾處理全局標(biāo)簽關(guān)系，但它不會完全地擬合全局標(biāo)簽關(guān)系，一定程度上也需要考慮樣本自身標(biāo)簽關(guān)系的內(nèi)部聯(lián)系，避免出現(xiàn)強標(biāo)記的問題。

圖7 VOC_val_0986中類別“人”與其他類別的共現(xiàn)率Fig. 7 Co-occurrence rate of category “people” and other categories in VOC_val_0986

圖8 VOC_val_0986中類別“?！迸c其他類別的共現(xiàn)率Fig. 8 Co-occurrence rate of category “cattle” and other categories in VOC_val_0986

圖9 VOC_val_0986中各個類別在LLR和ML-GLLR模型的得分Fig. 9 Scores of each category of VOC_val_0986 in LLR and ML-GLLR models

本文方法的不足之處是語義模塊。CNN得到的特征在經(jīng)過語義模塊表示為各個類別特征后，一些類別可能會包含其他類別的信息，如圖3（h）除飛碟區(qū)域有很高的注意程度外，對人的區(qū)域也有少量的注意程度，這表明語義模塊得到的特征向量不能十分準(zhǔn)確地表達各個類別信息，這可能會對標(biāo)簽關(guān)系的判斷造成一定的干擾。所以，對于該問題還需進一步的研究。

3 結(jié)語

標(biāo)簽關(guān)系的挖掘是多標(biāo)簽圖像分類的關(guān)鍵問題之一，本文提出了基于全局與局部標(biāo)簽關(guān)系的多標(biāo)簽圖像分類方法（ML-GLLR）。該方法利用DLSA對樣本內(nèi)部的標(biāo)簽關(guān)系即局部上的標(biāo)簽關(guān)系進行建模，又通過知識蒸餾充分考慮全局上與局部上的標(biāo)簽關(guān)系。在兩個公共數(shù)據(jù)集MSCOCO2014和VOC2007上的實驗結(jié)果表明，所提方法的性能優(yōu)于其他對比方法。但本文所提方法也存在一些問題：首先，不是端到端的訓(xùn)練方法，需要進行多次訓(xùn)練，導(dǎo)致實用性差；語義模塊對圖像中各類的注意區(qū)域存在重合問題，可能會影響最后的判斷。所以，如何將模型構(gòu)建成端到端的訓(xùn)練方法以及消除各類別的注意區(qū)域重合問題是接下來的研究重點。

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 2012 25th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2012： 1097-1105.

[2] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. ［2021-03-15］. https：//arxiv.org/pdf/1409.1556.pdf

[3] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[4] 劉尚旺，郜翔.基于深度模型遷移的細粒度圖像分類方法［J］.計算機應(yīng)用，2018，38（8）：2198-2204.（LIU S W， GAO X. Fine-grained image classification method based on deep model transfer ［J］. Journal of Computer Applications， 2018， 38（8）： 2198-2204.）

[5] DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database ［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255.

[6] PHAM H， DAI Z H， XIE Q Z， et al. Meta pseudo labels ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021：11552-11563.

[7] LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.

[8] ZHU F， LI H S， OUYANG W L， et al. Learning spatial regularization with image-level supervisions for multi-label image classification ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 2027-2036.

[9] WANG J， YANG Y， MAO J H， et al. CNN-RNN： a unified framework for multi-label image classification ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：IEEE， 2016： 2285-2294.

[10] CHEN S F， CHEN Y C， YEH C K， et al. Order-free RNN with visual attention for multi-label classification ［C］// Proceedings of the 2018 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 6714-6721.

[11] YAZICI V O，GONZALEZ-GARCIA A， RAMISA A， et al. Orderless recurrent models for multi-label classification ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：13437-13446.

[12] CHEN Z M， WEI X S， WANG P， et al. Multi-label image recognition with graph convolutional networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5172-5181.

[13] EVERINGHAM M， GOOL VAN L， WILLIAMS C K I， et al. The PASCAL Visual Object Classes （VOC） challenge ［J］. International Journal of Computer Vision， 2010， 88（2）：303-338.

[14] XU K， BA J L， KIROS R， et al. Show， attend and tell： neural image caption generation with visual attention ［C］// Proceedings of the 2015 32nd International Conference on Machine Learning. New York： JMLR.org，2015： 2048-2057.

[15] 張小川，戴旭堯，劉璐，等.融合多頭自注意力機制的中文短文本分類模型［J］.計算機應(yīng)用，2020，40（12）：3485-3489.（ZHANG X C， DAI X Y，LIU L， et al. Chinese short text classification model with multi-head self-attention mechanism ［J］. Journal of Computer Applications， 2020， 40（12）： 3485-3489.）

[16] 高欽泉，趙巖，李根，等.基于知識蒸餾的超分辨率卷積神經(jīng)網(wǎng)絡(luò)壓縮方法［J］.計算機應(yīng)用，2019，39（10）：2802-2808.（GAO Q Q， ZHAO Y， LI G， et al. Compression method of super-resolution convolutional neural network based on knowledge distillation ［J］. Journal of Computer Applications， 2019， 39（10）： 2802-2808.）

[17] 鄧棋，雷印杰，田鋒.用于肺炎圖像分類的優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)方法［J］.計算機應(yīng)用，2020，40（1）：71-76.（DENG Q， LEI Y J，TIAN F. Optimized convolutional neural network method for classification of pneumonia images ［J］. Journal of Computer Applications， 2020，40（1）： 71-76.）

[18] CHEN T S， XU M X， HUI X L， et al. Learning semantic-specific graph representation for multi-label image recognition ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：522-531.

[19] GE W F， YANG S B， YU Y Z. Multi-evidence filtering and fusion for multi-label classification， object detection and semantic segmentation based on weakly supervised learning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1277-1286.

[20] ZHANG J J， WU Q， SHEN C H， et al. Multilabel image classification with regional latent semantic dependencies ［J］. IEEE Transactions on Multimedia， 2018， 20（10）： 2801-2813.

[21] WEI Y C， XIA W， LIN M， et al. HCP：a flexible CNN framework for multi-label image classification ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016，38（9）： 1901-1907.

Multi-label image classification method based on global and local label relationship

REN Wei*， BAI Hexiang

（School of Computer and Information Technology，Shanxi University，Taiyuan Shanxi030006，China）

Considering the difficulty of modeling the interaction between labels and solidification of global label relationship in multi-label image classification tasks， a new Multiple-Label image classification method based on Global and Local Label Relationship （ML-GLLR） was proposed by combining self-attention mechanism and Knowledge Distillation （KD） method. Firstly，Convolutional Neural Network （CNN）， semantic module and Dual Layer Self-Attention （DLSA） module were used by the Local Label Relationship （LLR） model to model local label relationship. Then， the KD method was used to make LLR learn global label relationship. The experimental results on the public datasets of MicroSoft Common Objects in COntext （MSCOCO） 2014 and PASCAL VOC challenge 2007 （VOC2007） show that，LLR improves the mean Average Precision （mAP） by 0.8 percentage points and 0.6 percentage points compared with Multiple Label classification based on Graph Convolutional Network （ML-GCN） respectively， and the proposed ML-GLLR increases the mAP by 0.2 percentage points and 1.3 percentage points compared with LLR. Experimental results show that， the proposed ML-GLLR can not only model the interaction between labels， but also avoid the problem of global label relationship solidification.

image classification; self-attention mechanism; deep learning; knowledge distillation; multi-label classification

TP391.4

A

1001-9081（2022）05-1383-08

10.11772/j.issn.1001-9081.2021071240

2021?07?16；

2021?08?31；

2021?09?14。

國家自然科學(xué)基金資助項目（41871286）。

任煒（1996—），男，山西襄汾人，碩士研究生，主要研究方向：深度學(xué)習(xí)、計算機視覺； 白鶴翔（1980—），男，山西榆次人，副教授，博士，主要研究方向：機器學(xué)習(xí)、數(shù)據(jù)挖掘。

This work is partially supported by National Natural Science Foundation of China （41871286）.

REN Wei， born in 1996，M. S. candidate. His research interests include deep learning， computer vision.

BAI Hexiang， born in 1980，Ph. D.， associate professor. His research interests include machine learning， data mining.