基于弱監(jiān)督學(xué)習(xí)的多標(biāo)簽紅外圖像分類算法

苗傳開，婁樹理*，李 婷，蔡慧敏

（1.煙臺大學(xué) 物理與電子信息學(xué)院，山東 煙臺 264005；2.天津津航技術(shù)物理研究所，天津 300308）

1 引言

紅外成像由于能夠全天候被動工作，且具有隱蔽性好、識別偽裝能力強、定位精度高等優(yōu)點，廣泛應(yīng)用于光電偵察與制導(dǎo)領(lǐng)域。紅外圖像分類與目標(biāo)識別作為紅外探測與制導(dǎo)的關(guān)鍵技術(shù)，一直是國內(nèi)外研究的熱點。但紅外圖像中背景復(fù)雜多樣、目標(biāo)在視場中相對較小，且存在遮擋以及云霧等干擾，因此如何提取特征實現(xiàn)有效分類，進而實現(xiàn)目標(biāo)準(zhǔn)確識別，是目前研究的難點。當(dāng)前紅外圖像分類方法中，由于目標(biāo)圖像的多樣性及復(fù)雜性，常規(guī)圖像分類反饋信息有限，無法滿足多目標(biāo)、多背景的圖像分類任務(wù)要求。多標(biāo)簽圖像分類技術(shù)對空間信息網(wǎng)絡(luò)中的圖像進行內(nèi)容解析以獲取感興趣的信息，通過反饋多標(biāo)簽的形式更好地實現(xiàn)場景與目標(biāo)的感知分類。

目前，國內(nèi)外研究者在圖像分類領(lǐng)域進行了大量工作，多標(biāo)簽圖像分類也取得了不錯的進展。在多標(biāo)簽場景圖像分類的研究中，傳統(tǒng)經(jīng)典算法常用的分類器包括支持向量機（Support Vector Machine，SVM）、決策樹（Decision Tree，DT）、隨機森林等［1］，傳統(tǒng)分類器在場景分類等任務(wù)中表現(xiàn)較好，具有模型結(jié)構(gòu)簡單、計算量小等優(yōu)點，但隨著光電偵察與制導(dǎo)領(lǐng)域各類任務(wù)復(fù)雜程度的增加，對紅外圖像分類算法的要求越來越高，傳統(tǒng)經(jīng)典算法的性能與適應(yīng)性難以滿足當(dāng)前重要任務(wù)的要求。

隨著深度學(xué)習(xí)等智能算法的發(fā)展，近幾年圖像分類算法得到進一步發(fā)展，主要分為兩類，一是基于強監(jiān)督的方法，該方法需要對圖像進行目標(biāo)級標(biāo)注或像素級標(biāo)注，強監(jiān)督的標(biāo)簽獲取耗費大量的人力，而且繁重的標(biāo)記任務(wù)容易產(chǎn)生錯誤，從而影響最終分類效果；另一類是基于弱監(jiān)督學(xué)習(xí)的分類方法，弱監(jiān)督學(xué)習(xí)能夠在大幅度降低標(biāo)注工作量的情況下，充分、有效地利用數(shù)據(jù)。由于場景分類分級任務(wù)的特殊性，場景類別的標(biāo)簽難以進行強監(jiān)督中的目標(biāo)級或像素級標(biāo)注，而使用弱監(jiān)督學(xué)習(xí)，能夠更加符合場景分類分級的任務(wù)要求，只需要對圖片進行圖像級標(biāo)注即可實現(xiàn)多標(biāo)簽圖像的分類分級任務(wù)。基于弱監(jiān)督的多標(biāo)簽圖像分類算法的實現(xiàn)思路一般有兩種，一種是將多標(biāo)簽分類轉(zhuǎn)換為多個單標(biāo)簽分類器的疊加問題，林春煥提出基于多路結(jié)構(gòu)的端到端卷積神經(jīng)網(wǎng)［2］，將多標(biāo)簽分類轉(zhuǎn)換為多路單標(biāo)簽分類計算，在一定程度上解決了多標(biāo)簽之間的類別競爭問題，但該算法沒有考慮多標(biāo)簽之間復(fù)雜的拓撲關(guān)系，忽略了標(biāo)簽之間的相關(guān)性，精度及適應(yīng)性都難以達到要求；另一種是將原有的圖像分類算法優(yōu)化，完成對多標(biāo)簽分類的適應(yīng)。Sermanet等使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）與SVM相結(jié)合解決多標(biāo)簽分類的問題［3］。2016年，Wei等提出基于CNN網(wǎng)絡(luò)的Hyotheses-CNN-pooling（HCP）［4］，該網(wǎng)絡(luò)精度較高，對多標(biāo)簽分類精度具有較大提升，但網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜，算法速度較慢。Wang將CNN與循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）相結(jié)合，通過表征標(biāo)簽之間的相關(guān)性及映射關(guān)系來解決多標(biāo)簽分類問題［5］，使用預(yù)測標(biāo)簽路徑方法來解決多標(biāo)簽分類問題。Chen提出SSGRL（Semantic-specific Graph Representation Learning）多標(biāo)簽圖像分類器［6］，該框架將注意力機制與圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）相結(jié)合，使用圖神經(jīng)網(wǎng)絡(luò)推理建模標(biāo)簽之間的相關(guān)性，網(wǎng)絡(luò)性能較好，但結(jié)構(gòu)較為復(fù)雜。最 新 算 法 引 入Transformer算 法［7-9］，設(shè) 計CNNtransformer結(jié)構(gòu)，通過多頭注意力機制的Transformer算法計算回歸多標(biāo)簽的相關(guān)性，進一步提高分類精度與性能，但網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜，計算量龐大，且訓(xùn)練困難。

目前多標(biāo)簽圖像分類技術(shù)主要應(yīng)用于遙感圖像以及醫(yī)學(xué)圖像等領(lǐng)域，但在紅外前下視圖像的分類分級任務(wù)中，多標(biāo)簽圖像分類是一個較新的方向，具有研究前景與應(yīng)用價值。本文針對紅外圖像場景，提出了一種基于弱監(jiān)督的多標(biāo)簽圖像分類技術(shù)，針對無人機實拍不同場景、不同視角的紅外圖像數(shù)據(jù)集，通過使用主干網(wǎng)絡(luò)Resnet-50對圖像進行特征提取，引入空間注意力機制算法與先進的損失函數(shù)，顯著提高了多標(biāo)簽學(xué)習(xí)算法的精度和泛化性，實現(xiàn)了多目標(biāo)、多場景的紅外圖像場景感知和分類分級。

2 多標(biāo)簽分類算法模型

在多標(biāo)簽分類中，需要預(yù)測未知目標(biāo)對應(yīng)的正確標(biāo)簽子集，但隨著場景及目標(biāo)種類的增多，預(yù)測過程中候選標(biāo)簽子集數(shù)量以及樣本預(yù)測輸出空間也會呈指數(shù)增長。因此，當(dāng)前的多標(biāo)簽分類任務(wù)中存在兩大難點，一是處理龐大的預(yù)測輸出空間與標(biāo)簽之間的關(guān)系，計算多標(biāo)簽之間的復(fù)雜拓撲關(guān)系；二是隨著數(shù)據(jù)規(guī)模增大，多標(biāo)簽分類任務(wù)不可避免的出現(xiàn)正負樣本失衡的問題，這種正負樣本數(shù)量失衡可能在訓(xùn)練過程占據(jù)主導(dǎo)地位，進而導(dǎo)致在訓(xùn)練過程中來自正標(biāo)簽的梯度強調(diào)不足，導(dǎo)致精度下降。

多標(biāo)簽圖像分類可以理解為在常規(guī)圖像分類基礎(chǔ)上進行拓展而得到更加復(fù)雜的分類問題，一個實例可以有多個標(biāo)簽描述，或者被分為多個類別。在多標(biāo)簽分類中，將輸入對象表示為x，一個對象的標(biāo)注由多個類別標(biāo)簽組成，數(shù)據(jù)集標(biāo)簽包含目標(biāo)類別（如建筑物、農(nóng)田、艦船等）與場景類別（如城市、郊區(qū)、海洋等）。用y=[y1，…，yk]表示對象x所包含的類別，yk∈{0，1}，yk=1表示對象x中包含類別k。多標(biāo)簽分類算法將預(yù)測每一個標(biāo)簽存在的概率，即p=[p1，…，pk]。多標(biāo)簽分類示意圖如圖1。

圖1 多標(biāo)簽分類示意圖Fig.1 Schematic of multi-label classification

2.1 主干網(wǎng)絡(luò)的設(shè)計

在圖像分類任務(wù)中，對于主干提取網(wǎng)絡(luò)，通常直接使用最后一層特征層進行分類處理，在進行卷積網(wǎng)絡(luò)提取特征時，紅外目標(biāo)的重要灰度等信息在淺層卷積神經(jīng)網(wǎng)絡(luò)分布比重較高，因此在訓(xùn)練過程中極為重要的是突出淺層卷積神經(jīng)網(wǎng)絡(luò)的信息。ResNet網(wǎng)絡(luò)設(shè)計的殘差結(jié)構(gòu)能夠較好地解決紅外圖像特征不充分的問題，在訓(xùn)練中使模型達到較好的學(xué)習(xí)效果。本文使用ResNet-50［10］作為算法的主干網(wǎng)絡(luò)進行特征提取。原始Resnet-50網(wǎng)絡(luò)直接應(yīng)用于分類任務(wù)時，一般通過最后的全連接層進行類別回歸，生成最終效果，但將網(wǎng)絡(luò)直接應(yīng)用于多標(biāo)簽分類任務(wù)時，全連接層不僅造成計算冗余，而且不能很好地對多標(biāo)簽進行回歸分類。

在網(wǎng)絡(luò)分類回歸部分，本文使用空間殘差注意力機制（Class-specific Residual Attention，CSRA）算法［11］，為每個類別生成一個特定的特征，提出一個簡單的空間注意力，然后將特征圖的平均池化結(jié)果相結(jié)合，充分利用空間注意力捕捉不同類別所占據(jù)的不同空間區(qū)域，以此實現(xiàn)多標(biāo)簽之間拓撲關(guān)系的推理計算。其次，由于多標(biāo)簽分類中，正負標(biāo)簽數(shù)量極不平衡［12-13］，這種正負不平衡的現(xiàn)象在優(yōu)化過程中占主導(dǎo)地位，常規(guī)的圖像分類損失函數(shù)如交叉熵損失函數(shù)、Focal Loss等無法勝任多標(biāo)簽損失函數(shù)的分類任務(wù)。為了解決多標(biāo)簽正負樣本失衡問題，本文引入適用于多標(biāo)簽分類的損失函數(shù)Asymmetric Loss（ASL）［14］，控制負樣本對損失的貢獻，幫助網(wǎng)絡(luò)從積極樣本中學(xué)習(xí)到更有意義的特征。本文提出的多標(biāo)簽圖像分類主干網(wǎng)絡(luò)（Multi-label Infrared Image Classification，ML_IRI）如圖2所示。

圖2 多標(biāo)簽圖像分類主干網(wǎng)絡(luò)Fig.2 Backbone network for multi-label image classification

設(shè)輸入圖像為紅外圖像x∈Rd×h×w，其中d、h、w為圖像的維度、高度與寬度，通過主干網(wǎng)絡(luò)Resnet-50進行特征提取生成特征圖：

其中，θ為特征提取網(wǎng)絡(luò)的參數(shù)，在本文中，輸入圖片大小為224×224，最后主干網(wǎng)絡(luò)生成特征層 向量為x1，x2，…，x49(xi∈R2048)。

2.2 CSRA注意力機制

在多標(biāo)簽分類任務(wù)中，空間注意力機制可以更好地提取圖像中的有效區(qū)域［15-16］，降低紅外圖像中背景對目標(biāo)的干擾，進行有效的場景感知，空間信息可以幫助網(wǎng)絡(luò)模型獲取更優(yōu)的目標(biāo)所在空間位置。為了更好地適應(yīng)多背景、多目標(biāo)的紅外圖像，本文引入了類特定空間殘差注意力機制（CSRA）算法，為每個類別生成特定的特征，通過提出一個簡單的空間注意力算法，然后與特征圖的平均池化結(jié)果相結(jié)合，充分利用空間注意力捕捉對象的不同類別所占據(jù)的不同空間區(qū)域。

將CSRA應(yīng)用于主干網(wǎng)絡(luò)提取特征層x1，x2，…，x49(xi∈R2048)之 后，進 一 步 處 理 特 征層，用全連接層將［H，W］展平為HW，然后設(shè)mi∈R2048為第i類的分類器，定義si j表 示 第i類 出現(xiàn)在j空間位置上的概率［11］：

然后，我們將每個類別所對應(yīng)的特征向量定義為特征張量的加權(quán)組合，其中第i類的空間注意力得分si為權(quán)重，即：

CSRA算法將全局平均池化作為主要特征向量g，并將ai作為特定類別的殘差特征，如圖3所示，將兩個特征向量相加，得到CSRA的注意力特征fi［11］：最后將所有的CSRA特征向量送入分類器回歸出最終的預(yù)測值y。

圖3 CSRA模型Fig.3 CSRA model

其中，C代表多標(biāo)簽分類類別數(shù)量。

CSRA能夠讓模型關(guān)注不同物體類別在不同位置的分類得分，因此相比于傳統(tǒng)的分類網(wǎng)絡(luò)，CSRA更加適用于多標(biāo)簽分類的任務(wù)。

2.3 ASL損失函數(shù)

多標(biāo)簽分類中，正負樣本不平衡的問題可能導(dǎo)致在訓(xùn)練過程中對來自正面標(biāo)簽的梯度強調(diào)不足，從而導(dǎo)致準(zhǔn)確率低下。常用的場景分類損失函數(shù)已不足以解決多標(biāo)簽分類中正負樣本數(shù)量失衡問題，在此引入ASL損失函數(shù)。

ASL損失函數(shù)針對Focal Loss［17］中的γ進行了修改，使γ-＞γ+，來解耦正負樣本損失函數(shù)的下降速率，從而在稀缺正樣本中學(xué)習(xí)到有效特征。

ASL損失函數(shù)引入超參數(shù)m調(diào)整負樣本的損失函數(shù)曲線，能夠動態(tài)地降低簡單陰性樣本的重要性，使優(yōu)化過程更多地關(guān)注陽性樣本，式（7）變?yōu)椋?/p>

其中，pm=max(p-m，0)，m為網(wǎng)絡(luò)可調(diào)節(jié)的超參數(shù)。

在訓(xùn)練過程中，網(wǎng)絡(luò)的權(quán)重根據(jù)損失的權(quán)重進行更新，為了更好地理解ASL的作用，對負樣本進行損失梯度分析。對L-進行導(dǎo)數(shù)分析，得到：

由式（10）可知，ASL忽略過于簡單的負樣本權(quán)重，專注于更困難的樣本，即p＜m，pm=1；對于負樣本，ASL傾向于平滑的降低其權(quán)重，對于過于困難的負樣本，ASL會自動降低其權(quán)重來減少困難負樣本對網(wǎng)絡(luò)的影響。

ASL損失函數(shù)通過不同的γ+與γ-分別控制正負樣本對損失函數(shù)的貢獻，以限制負樣本對損失函數(shù)的貢獻，能有效解決正負樣本失衡問題，在多標(biāo)簽圖像處理問題上具有顯著效果。

3 分析與討論

3.1 試驗設(shè)計

為了測試本文算法的實際應(yīng)用性能，本文選用無人機實采多種背景、多種目標(biāo)的紅外前視圖像以及前下視圖像，訓(xùn)練集5 570張，測試集582張。根據(jù)實際應(yīng)用情況，對數(shù)據(jù)集進行弱監(jiān)督圖像級別的多標(biāo)簽標(biāo)注，對整幅圖像進行關(guān)鍵詞描述，以達到圖像標(biāo)注的目的，在大幅度降低標(biāo)注工作量的前提下，更充分地利用數(shù)據(jù)進行訓(xùn)練。如圖4所示，數(shù)據(jù)集包括城市、郊區(qū)、海天等多種背景以及建筑群、工業(yè)設(shè)施、機場、艦船等多種目標(biāo)，數(shù)據(jù)集標(biāo)簽數(shù)量為13種，箭頭表示標(biāo)簽之間存在包含關(guān)系，多標(biāo)簽之間具有復(fù)雜的拓撲關(guān)系，標(biāo)準(zhǔn)圖片大小為640×512。本文選用的數(shù)據(jù)集包含紅外圖像常見的多種背景與目標(biāo)，可以滿足目前分類任務(wù)的要求。

圖4 數(shù)據(jù)集多標(biāo)簽之間的拓撲關(guān)系Fig.4 Topological relationships between dataset multiple labels

本文算法基于多標(biāo)簽圖像分類算法進行紅外圖像的分類分級處理，試驗平臺為Windows 10操作系統(tǒng)，其中深度學(xué)習(xí)框架為Pytorch1.8，硬件條件為英特爾Core i9-10900X@3.50 GHz，內(nèi)存為64 GB，GPU為 一張NVIDIA GeForce RTX 2080Ti，顯存為12 GB。訓(xùn)練使用Adam為學(xué)習(xí)率優(yōu)化器，初始學(xué)習(xí)率為0.000 1，使用lr_scheduler算法在訓(xùn)練過程中動態(tài)調(diào)節(jié)學(xué)習(xí)率，訓(xùn)練基本參數(shù)如表1所示。

表1 試驗部分參數(shù)Tab.1 Partial parameters of the experiment

為了更好地驗證多標(biāo)簽分類算法的分類性能與應(yīng)用性，本文在使用深度學(xué)習(xí)中通用的Precision、Recall和F1作為評 價指標(biāo)的同時，將正檢率（Correct Detection）、誤檢率（False Detection）以及漏檢率（Missed Detection）作為評價應(yīng)用性的重要指標(biāo)，其具體計算公式如下：

其中：P為算法Precision值，R為算法Recall值，C為標(biāo)簽數(shù)量，Nci為第i類預(yù)測正確的正樣本數(shù)；Npi為第i類預(yù)測的正樣本數(shù)，Ngi為第i類的正樣本數(shù)，F(xiàn)1為精確率與召回率的調(diào)和平均數(shù)。

為了更好地反映模型的應(yīng)用性能，以圖像的正檢率（PC）、誤檢率（PF）與漏檢率（PM）作為應(yīng)用性能的重要評價指標(biāo)，本文正檢率、誤檢率以及漏檢率計算如下：

3.2 結(jié)果分析

本文紅外圖像數(shù)據(jù)集待測圖片共582張，涵蓋數(shù)據(jù)集中所包含的13種應(yīng)用場景，在基于多標(biāo)簽圖像分類算法下，本文將數(shù)據(jù)集應(yīng)用于多種經(jīng)典常用網(wǎng)絡(luò)，使用正檢率、誤檢率、Recall值等評價標(biāo)準(zhǔn)，綜合評價算法分類性能，其算法結(jié)果數(shù)據(jù)見表2。

表2 不同算法結(jié)果Tab.2 Results of different algorithm

由上述表格數(shù)據(jù)可知，本文優(yōu)化后的算法性能相比于原始算法ResNet-50有較大幅度的提升，針對紅外圖像的多標(biāo)簽分類適應(yīng)性更強，與當(dāng)前優(yōu)秀的主干網(wǎng)絡(luò)相比，本文算法雖然漏檢率高于Multi_path與ResNeXt101算法，但從多維數(shù)據(jù)綜合分析，本文算法在正檢率以及減少錯誤率上都具有較大優(yōu)勢。在與優(yōu)秀主干網(wǎng)絡(luò)對比的同時，本文對多標(biāo)簽分類算法的多支路思想Multi_path算法［4］以及多標(biāo)簽分類算法最新成果的C_train算法［7］進行復(fù)現(xiàn)測試，相比于當(dāng)前提出的多標(biāo)簽分類算法，本文算法針對紅外圖像數(shù)據(jù)集具有更強的適應(yīng)性以及準(zhǔn)確性，正檢率高于91%，F(xiàn)1值高于96%，從正確檢測率以及標(biāo)簽精度綜合評價，本文算法具有明顯的優(yōu)勢，這也為多場景多目標(biāo)的紅外圖像分類處理提供了思路與參考。

表3所示數(shù)據(jù)為本文消融試驗的試驗結(jié)果，試驗數(shù)據(jù)顯示本文優(yōu)化后各個模塊對算法的影響程度。從表3消融試驗數(shù)據(jù)分析可知，CSRA注意力機制的引入充分利用了物體類別的空間注意力，大大降低了誤檢率與漏檢率，提升了算法性能。ASL損失函數(shù)能夠較好地控制負樣本對損失函數(shù)的貢獻，幫助網(wǎng)絡(luò)訓(xùn)練到更有意義的特征，應(yīng)用于原始Resnet-50以及與CSRA算法聯(lián)合作用時，都具有積極意義。從試驗結(jié)果來看，空間注意力機制與新的損失函數(shù)能夠?qū)Χ鄻?biāo)簽分類有較好的優(yōu)化性能，在紅外場景中具有較好的適應(yīng)性與準(zhǔn)確性。

表3 消融試驗結(jié)果Tab.3 Results of ablation experiment

圖5為部分測試集測試結(jié)果展示，詳細標(biāo)簽為a1：機場；a2：低矮建筑、工業(yè)區(qū)域；a3：城市、建筑物群；a4：城市、建筑物群；a5：郊區(qū)、建筑物群、農(nóng)田；a6：郊區(qū)、農(nóng)田；a7：郊區(qū)、水域；a8：海平面、天空、艦船；a9：海平面、天空、艦船。

圖5 典型測試結(jié)果展示Fig.5 Typical test results display

4 結(jié)論

針對紅外圖像分類分級的特殊任務(wù)，本文引入多標(biāo)簽分類算法進行多場景、多目標(biāo)的分類分級技術(shù)研究，針對現(xiàn)有多標(biāo)簽分類算法適應(yīng)性不足問題，本文引入類特定空間殘差注意力機制（CSRA）算法，通過添加空間注意力機制，充分利用空間注意力捕捉對象不同類別所占據(jù)的不同空間區(qū)域，提高多標(biāo)簽分類算法的性能與適應(yīng)性；針對正負樣本失衡問題，本文引入全新的損失函數(shù)ASL，動態(tài)降低負樣本對損失的貢獻，幫助網(wǎng)絡(luò)從正樣本中學(xué)習(xí)到更有意義的特征，進一步增強了網(wǎng)絡(luò)的適應(yīng)性與泛化性。試驗結(jié)果表明，本文優(yōu)化后的多標(biāo)簽紅外圖像分類算法，具有較好的檢測效果，正檢率在90%以上。本文算法對實采紅外圖像具有較好的泛化性與準(zhǔn)確性，具有較強的實際應(yīng)用價值，也為紅外圖像分類分級領(lǐng)域處理提供了新的思路與參考。