基于深度CNN的改進(jìn)弱監(jiān)督學(xué)習(xí)方法設(shè)計(jì)與驗(yàn)證

尚重陽，趙東波，陳 杰

(西安航空學(xué)院 電子工程學(xué)院，西安 710077)

0 引 言

近些年，深度學(xué)習(xí)(deep learning, DL)[1]和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[2]已被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域，如圖像分類[3]、目標(biāo)檢測(cè)[4]和語義分割[5]等。由于DL和CNN通常要求大量的訓(xùn)練樣本，訓(xùn)練數(shù)據(jù)集的研究和運(yùn)用也逐漸增多，如ImageNet，VOC數(shù)據(jù)集等。因此，關(guān)于DL和CNN的相關(guān)研究對(duì)現(xiàn)有工程應(yīng)用的解決方案產(chǎn)生了巨大的沖擊和顛覆。

雖然DL和CNN某些性能優(yōu)越，但對(duì)于一些特定應(yīng)用和問題時(shí)，還需要進(jìn)一步優(yōu)化。因此，一些研究人員對(duì)其進(jìn)行拓展和深化。如文獻(xiàn)[6]在特征包圍盒的訓(xùn)練過程中納入了更精確的注釋，但較高的注釋成本使其無法得到廣泛應(yīng)用，特別是對(duì)于大型數(shù)據(jù)集和逐像素標(biāo)注更是如此。文獻(xiàn)[7]通過CNN學(xué)習(xí)圖像的區(qū)域和邊緣特征，獲取相應(yīng)的目標(biāo)檢測(cè)顯著度置信圖，并且將置信度融入到條件隨機(jī)場(chǎng)。文獻(xiàn)[8]提出一種使用CNN的手勢(shì)識(shí)別算法，該方法能識(shí)別多種手勢(shì)，具有較好的魯棒性，克服了傳統(tǒng)算法的諸多缺點(diǎn)。文獻(xiàn)[9]提出了一種多實(shí)例學(xué)習(xí)(multiple instance learning, MIL)，MIL是弱監(jiān)督學(xué)習(xí)的一個(gè)重要范式，將圖像作為一個(gè)區(qū)域來考慮，實(shí)例得分池化為全局預(yù)測(cè)的聚合函數(shù)。也有一些研究人員將深度模型與MIL相結(jié)合[10]，其中，最大池化僅選擇信息豐富的區(qū)域進(jìn)行MIL預(yù)測(cè)。文獻(xiàn)[11]提出采用多層網(wǎng)絡(luò)構(gòu)建深度CNN來進(jìn)行行人檢測(cè)，系統(tǒng)分析了網(wǎng)絡(luò)層數(shù)、卷積核大小等因素對(duì)結(jié)果的影響。

上述很多深度CNN性能優(yōu)秀，但其不變性是有限的，即僅對(duì)通過池化層的較小位移具有不變性。因此，不適用于帶有較大尺度和平移變化的目標(biāo)或場(chǎng)景數(shù)據(jù)集。一般解決方法是使用局部區(qū)域激活深度特征，或者采用弱監(jiān)督式學(xué)習(xí)框架。因此，本文提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督式學(xué)習(xí)方法，即DCNN，以學(xué)習(xí)與類模態(tài)相關(guān)的局部視覺特征。DCNN的整體架構(gòu)在3個(gè)層面上對(duì)當(dāng)前的深度弱監(jiān)督式學(xué)習(xí)(weak supervised learning, WSL)模型作了改進(jìn)。首先，為了提取分辨率更高的局部特征，同時(shí)考慮到FCN在全監(jiān)督式學(xué)習(xí)下的高效性能，將FCN作為后端模塊，利用FCN的特性可以在弱監(jiān)督環(huán)境下保留高分辨率空間信息；其次，為了弱化不同類型特征的影響，本文納入了一個(gè)多映射WSL傳輸層，對(duì)與補(bǔ)充性類模態(tài)相關(guān)的多個(gè)局部特征進(jìn)行顯式學(xué)習(xí)，多映射傳輸可以找到更多的通用特征，擴(kuò)大了使用不同特征學(xué)習(xí)框架的適用范圍；最后，訓(xùn)練問題是所有學(xué)習(xí)框架的重點(diǎn)之一，本文解決WSL訓(xùn)練問題的途徑是將空間得分聚合為全局預(yù)測(cè)，一定程度上優(yōu)化了訓(xùn)練過程。概括起來，第1層面針對(duì)局部特征提取的準(zhǔn)確性；第2層面主要針對(duì)所用局部特征的適用性；第3層面針對(duì)池化層。此外，本文還考慮了最大池化[10]，全局平均池化[12]等，在多個(gè)數(shù)據(jù)集上對(duì)所提模型進(jìn)行評(píng)價(jià)，結(jié)果表明，所提模型在分類、逐點(diǎn)檢測(cè)和圖像分割中表現(xiàn)優(yōu)越。

1 DCNN模型

圖1給出了整體DCNN架構(gòu)，其中包括適用于空間預(yù)測(cè)的FCN ResNet-101[3]，對(duì)類相關(guān)的模態(tài)進(jìn)行編碼的多映射WSL傳輸層，以及學(xué)習(xí)準(zhǔn)確定位的WSL的全局池化層。下文將研究該模型的3個(gè)部分。

圖1 本文DCNN架構(gòu)Fig.1 Proposed DCNN architecture

1.1 全卷積架構(gòu)

WSL中的一個(gè)主要問題是特征圖內(nèi)相關(guān)信息的選擇，其會(huì)影響到定位結(jié)果的精度(例如語義分割或目標(biāo)探測(cè))。因此，特征圖的分辨率是DCNN的關(guān)鍵組件，因?yàn)楦?xì)的特征圖會(huì)保持更高的空間分辨率，產(chǎn)生更明確的區(qū)域。

為此，本文采用了文獻(xiàn)[3]提出的FCN ResNet-101，F(xiàn)CN ResNet-101會(huì)在整個(gè)網(wǎng)絡(luò)上保留空間信息，還在單次前向傳遞中計(jì)算所有區(qū)域的局部特征，且沒有調(diào)整這些區(qū)域的尺寸。此外，ResNet架構(gòu)能夠有效完成圖像分類任務(wù)，具有參數(shù)和時(shí)間的高效性[3]。在全監(jiān)督式環(huán)境中，這種類型的架構(gòu)可被用于加速計(jì)算過程和生成更準(zhǔn)確的空間預(yù)測(cè)。

對(duì)于編碼和池化方面，本文使用了在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型，并移除了最后2層，將其替換為WSL傳輸和DCNN池化層，如圖2所示。

圖2 本文DCNN的特征編碼和池化Fig.2 Feature encoding and pooling of the proposed DCNN

1.2 多映射傳輸層

所提方法引入了一個(gè)多映射WSL傳輸層，該層學(xué)習(xí)多個(gè)類相關(guān)的模態(tài)，通過1×1卷積將每個(gè)類模態(tài)編碼為M個(gè)特征圖(見圖1中部)。利用圖像級(jí)標(biāo)簽以WSL的方式學(xué)習(xí)模態(tài)，而傳輸層則保持空間分辨率。ResNet-101的conv5映射圖的尺寸為w×h×d，其中，w,h,d分別表示conv5映射圖的寬，高，維度。對(duì)于一個(gè)尺寸為W×H×3的原始圖像，其映射圖尺寸為W/32×H/32×2 048，傳輸層的輸出尺寸則為w×h×MC(見圖2)。

M個(gè)模態(tài)旨在針對(duì)不同的分類特定特征，所提方法能夠?qū)W習(xí)其他類型的特征，多映射傳輸模型可以找到更多通用特征，且在FCN中共享了大部分的計(jì)算，因此整體計(jì)算效率更高。

1.3 本文DCNN池化

DCNN從圖像級(jí)標(biāo)簽中學(xué)習(xí)，因此，需要一種方法來概括每個(gè)分類特征圖中包含的所有信息(見圖1右側(cè))。

該階段通過2個(gè)步驟執(zhí)行。

步驟1通過逐類池化((1)式)對(duì)來自多映射傳輸層的M個(gè)映射圖進(jìn)行合并；

步驟2利用空間池化模塊((2)式)選擇特征圖內(nèi)的相關(guān)區(qū)域以支持預(yù)測(cè)。

(1)

(2)

(1)—(2)式中：z為傳輸層的輸出；C.pool為所選擇的逐類池化函數(shù)；S.pool為空間聚合程序。

1.3.1 逐類池化

步驟1針對(duì)每個(gè)分類單獨(dú)地合并M個(gè)特征圖，如(1)式，其中包含一個(gè)通用池化函數(shù)C.pool。本文使用了均值池化。將映射圖的尺寸從w×h×MC轉(zhuǎn)換為w×h×C(見圖2)。當(dāng)M=1時(shí)，不需要進(jìn)行該操作，因?yàn)槊總€(gè)分類已經(jīng)被表示為單個(gè)映射圖。

雖然多映射后再進(jìn)行均值池化，與單個(gè)卷積(即M=1)在功能上是等價(jià)的，但前者帶M個(gè)模態(tài)的顯示結(jié)構(gòu)，具有重要的實(shí)踐意義，更易于進(jìn)行訓(xùn)練。相關(guān)經(jīng)驗(yàn)表明[13]，M>1時(shí)得到的結(jié)果優(yōu)于M=1。

1.3.2 空間池化

(2)式中實(shí)施的針對(duì)每個(gè)映射圖進(jìn)行空間池的化操作是

(3)

所提模型使用了多個(gè)相似的MIL方法，但從多個(gè)方面對(duì)其進(jìn)行了泛化。表1給出了相應(yīng)參數(shù)。標(biāo)準(zhǔn)最大池化MIL方法[10]僅利用一個(gè)元素獲得，但通過標(biāo)簽比例學(xué)習(xí)的頂部實(shí)例模型，以及全局均值池化[12]可以利用更多元素獲得。根據(jù)否定證據(jù)方法[13]，在所提方法中納入最小得分區(qū)域以支持分類。

表1 MIL方法的泛化相關(guān)參數(shù)

為研究最大和最小得分區(qū)域類型的相對(duì)權(quán)重，本文引入了一個(gè)因子α，假定對(duì)于分類任務(wù)，最大得分區(qū)域更加有用，而最小的分區(qū)域?qū)嵸|(zhì)上起到調(diào)整的作用。當(dāng)α<1時(shí)，DCNN會(huì)更加注重區(qū)域的辨識(shí)，而α=1時(shí)，DCNN重點(diǎn)在于更好的定位特征。

1.4 DCNN應(yīng)用

1.4.1 訓(xùn)練階段

所提DCNN模型以ResNet-101[3]骨干架構(gòu)為基礎(chǔ)。首先從ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的模型中，對(duì)DCNN模型進(jìn)行初始化，然后使用圖像級(jí)標(biāo)簽和隨機(jī)梯度下降對(duì)其進(jìn)行訓(xùn)練。網(wǎng)絡(luò)的所有層均都經(jīng)過了精細(xì)調(diào)整。輸入圖像被調(diào)整為一個(gè)給定尺寸的正方形。本文使用了多個(gè)尺寸設(shè)定，其中針對(duì)每個(gè)尺寸學(xué)習(xí)一個(gè)不同的模型，然后利用目標(biāo)庫(object bank)策略對(duì)這些模型進(jìn)行合并。

本文DCNN僅從圖像級(jí)的監(jiān)測(cè)中學(xué)習(xí)，為圖像分類、弱監(jiān)督式逐點(diǎn)目標(biāo)檢測(cè)和弱監(jiān)督式語義分割使用了相同的訓(xùn)練程序。在學(xué)習(xí)DCNN的過程中，僅在k++k-選擇區(qū)域內(nèi)通過DCNN層對(duì)梯度進(jìn)行反向傳播，并丟棄所有其他的梯度。

1.4.2 推理階段

由于目標(biāo)檢測(cè)和語義分割要求空間預(yù)測(cè)[14]，因此，本文在空間池化之前先提取出特定的映射圖，以保持空間分辨率。該分辨率是ResNet-101架構(gòu)[3]輸入圖像的1/32。對(duì)于弱監(jiān)督式逐點(diǎn)目標(biāo)檢測(cè)，為每個(gè)分類提取帶最大得分的區(qū)域，并用其進(jìn)行逐點(diǎn)定位。對(duì)于弱監(jiān)督式語義分割，取每個(gè)空間位置處得分最大的分類，或者應(yīng)用條件隨機(jī)場(chǎng)(conditional random field, CRF)算法進(jìn)行空間預(yù)測(cè)。

2 分類實(shí)驗(yàn)

為檢驗(yàn)所提方法在多個(gè)數(shù)據(jù)集中的魯棒性，本文在如下幾個(gè)公開數(shù)據(jù)集上進(jìn)行評(píng)估：VOC 2007，VOC 2012，MIT 67，以及VOC 2012的子集VOC 2012 Action，評(píng)估策略遵循文獻(xiàn)[13]的方法。

2.1 與當(dāng)前方法的比較

本節(jié)對(duì)DCNN與一些當(dāng)前其他目標(biāo)分類模型進(jìn)行比較。所提模型中，參數(shù)固定為M=4，α=0.7。表2給出了目標(biāo)分類的實(shí)驗(yàn)結(jié)果，從表2中可看到，DCNN的性能顯著優(yōu)于其他方法。與ResNet-101在整個(gè)圖像上計(jì)算出的深度特征[3]相比，DCNN表現(xiàn)出一定的優(yōu)勢(shì)：在VOC 2007和VOC2012上分別比ResNet-101提升了4.9 pt和5.5 pt。由于DCNN是以ResNet-101為基礎(chǔ)的，這些差異直接體現(xiàn)了所提弱監(jiān)督學(xué)習(xí)方法的優(yōu)勢(shì)。與其他方法比較，所提方法能夠通過每個(gè)類別學(xué)習(xí)多個(gè)模態(tài)，進(jìn)一步實(shí)現(xiàn)性能的顯著提升。

表3給出了本文DCNN和當(dāng)前其他方法的場(chǎng)景分類實(shí)驗(yàn)結(jié)果。可以看出，本文DCNN也具有一定優(yōu)勢(shì)，這證明了所提模型能夠找到差異部分的區(qū)域，而背景和非信息性部分則被納入圖像表示中。表3結(jié)果還表明，DCNN同樣優(yōu)于使用不同空間池化策略的其他WSL模型：比全局均值池化方法[12]提升了16%左右，比使用空間金字塔池化方法[14]提升了6%左右。這證明了所提空間池化方法的有效性。

表2 目標(biāo)識(shí)別數(shù)據(jù)集上的分類性能(MAP)

表3 不同方法的分類性能

2.2 分析

實(shí)驗(yàn)中輸入圖像尺寸為448×448，k+=k-=1，所提模型參數(shù)α和M默認(rèn)均為1。

2.2.1 模態(tài)數(shù)量分析

所提模型中一個(gè)重要的參數(shù)是多映射傳輸層中使用的模態(tài)數(shù)量M。表4給出了使用不同數(shù)值M的性能結(jié)果。對(duì)多個(gè)模態(tài)進(jìn)行顯示學(xué)習(xí)，即M>1，性能顯著優(yōu)于標(biāo)準(zhǔn)分類層，即M=1。然而，對(duì)超過必要數(shù)量的模態(tài)進(jìn)行編碼會(huì)使得分類性能下降。這間接說明了第2層面的改進(jìn)在擴(kuò)大局部特征適用性的同時(shí)，也會(huì)間接影響弱監(jiān)督學(xué)習(xí)的結(jié)果。

表4 多映射傳輸層的分類性能比較

2.2.2 消融分析

本文通過消融分析來體現(xiàn)每個(gè)因子的影響。此處的基準(zhǔn)為M=1和α=1。表5給出了實(shí)驗(yàn)結(jié)果，從表5中可看出，在所有數(shù)據(jù)集上，α=0.7和M=4均能實(shí)現(xiàn)顯著的性能改善。當(dāng)結(jié)合α=0.7和M=4時(shí)，能夠進(jìn)一步改善性能。這證明加權(quán)因子α和模態(tài)數(shù)量M具有互補(bǔ)性。

表5 3個(gè)數(shù)據(jù)集上的消融分析

3 弱監(jiān)督實(shí)驗(yàn)

3.1 弱監(jiān)督式逐點(diǎn)定位檢測(cè)

本文在VOC 2012數(shù)據(jù)集上評(píng)估所提模型的定位性能。使用了文獻(xiàn)[10]基于點(diǎn)目標(biāo)定位度量進(jìn)行性能評(píng)價(jià)。該度量對(duì)檢測(cè)質(zhì)量進(jìn)行衡量，且不對(duì)準(zhǔn)的敏感度低于其他度量(例如IoU)。

表6給出了本文DCNN的定位準(zhǔn)確度?？梢钥吹?，本文DCNN優(yōu)于多實(shí)例學(xué)習(xí)方法[10]，這證明了所提空間池化函數(shù)的有效性。文獻(xiàn)[11]也是一種深度CNN方法，并運(yùn)用于目標(biāo)跟蹤定位，但訓(xùn)練模式和池化方法均采用較為傳統(tǒng)的方法。本文DCNN比傳統(tǒng)弱監(jiān)督方法高出9%的準(zhǔn)確率，這主要是因?yàn)閭鹘y(tǒng)弱監(jiān)督方法使用了更復(fù)雜的策略，即基于搜索樹進(jìn)行位置預(yù)測(cè)。

表6 目標(biāo)定位準(zhǔn)確率比較

由于定位預(yù)測(cè)以分類得分為基礎(chǔ)，因此，良好的分類性能對(duì)于目標(biāo)定位的魯棒性非常重要。圖3給出了VOC 2012數(shù)據(jù)集上分類和定位性能隨α值的變化情況?？梢钥吹剑诸惽€和定位曲線非常相似。當(dāng)α∈[0.6,0.7]時(shí)得到了最優(yōu)定位性能，而α=1和α=0.7之間的性能差異為1.6 pt。α=0時(shí)得到了最差的性能結(jié)果，這證明了最小值帶來的上下文信息有助于分類和定位。

圖3 參數(shù)α的影響分析Fig.3 Influence analysis of parameter α

3.2 弱監(jiān)督式分割

本文在VOC 2012，VOC2007和MIT67圖像分割數(shù)據(jù)集上評(píng)價(jià)了所提模型，上述3個(gè)數(shù)據(jù)集分別包括約20個(gè)前景目標(biāo)分類和1個(gè)背景分類。在訓(xùn)練集中，提供額外注釋對(duì)所提模型進(jìn)行訓(xùn)練，并在驗(yàn)證集上進(jìn)行測(cè)試。利用在21個(gè)類別上像素交并比(IoU)的均值作為性能度量。

3.2.1 分割結(jié)果

表7給出了所提方法在圖像分割方面的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果證明，與使用圖像標(biāo)簽的CNN方法相比，所提方法在分割任務(wù)中的平均IoU更高，能夠?qū)W習(xí)辨識(shí)性的局部特征。

表7 弱監(jiān)督式圖像分割的平均IoU

3.2.2 分割樣例

圖4給出了VOC 2012數(shù)據(jù)集中4個(gè)圖像的預(yù)測(cè)分割掩膜。本文方法的預(yù)測(cè)分割掩膜位于最后一列，第2列和第3列是來自于同一個(gè)分類的熱度圖，體現(xiàn)了所學(xué)習(xí)到的不同模態(tài)，且這2類熱度圖關(guān)注于目標(biāo)的不同部位。由圖4可以看出，本文方法的4個(gè)分割掩膜均可以對(duì)應(yīng)于真實(shí)圖像(第1列)，而使用圖像標(biāo)簽的弱監(jiān)督式方法[6]不能完全分割第4個(gè)物體，因此，本文方法可以更好地分割前景與背景。另外，第4個(gè)物體具有復(fù)雜的背景，從另一個(gè)側(cè)面說明本文方法可以更好地學(xué)習(xí)強(qiáng)局部特征，獲得空間不變性，這證明了第1層面改進(jìn)的有效性。

為了在更多數(shù)據(jù)集上支持所提方法的有效性，本文方法在VOC 2007數(shù)據(jù)集和MIT67數(shù)據(jù)集的分割效果(部分)分別如圖5和圖6所示。其中，第1行是實(shí)物圖，第2行是分割掩膜結(jié)果。這些圖像的分割的對(duì)象有單目標(biāo)，也有多目標(biāo)。有簡(jiǎn)單背景，也有復(fù)雜背景。可以看出，本文DCNN在大多數(shù)情況下，可以較好保留目標(biāo)物體的輪廓，有些分割結(jié)果可以顯示出目標(biāo)的細(xì)節(jié)，如VOC 2007數(shù)據(jù)集第2列圖像中的牛角，第3列圖像中的貓的面部，以及MIT67數(shù)據(jù)集第2列圖像的船頭細(xì)節(jié)等。

圖4 在VOC 2012數(shù)據(jù)集上的分割樣例比較Fig.4 Split sample comparison on data set VOC 2012

圖5 本文DCNN在VOC 2007數(shù)據(jù)集上的分割效果Fig.5 Segmentation effect of DCNN on the VOC 2007 data set

圖6 本文DCNN在MIT67數(shù)據(jù)集上的分割效果Fig.6 Segmentation effect of DCNN on the MIT67 data set

4 結(jié)論與展望

本文提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的弱監(jiān)督式學(xué)習(xí)方法，在3個(gè)層面進(jìn)行改進(jìn)：①使用FCN作為后端以提高局部特征分辨率；②使用多映射WSL傳輸層弱化不同類型特征的影響；③改進(jìn)了池化層以簡(jiǎn)化訓(xùn)練過程。其中，第1層面的改進(jìn)對(duì)弱監(jiān)督學(xué)習(xí)的結(jié)果影響最大；由于模態(tài)數(shù)量的不同，第2層面的改進(jìn)會(huì)間接影響學(xué)習(xí)結(jié)果；池化層的改進(jìn)會(huì)影響圖像的表示，進(jìn)而也會(huì)對(duì)學(xué)習(xí)結(jié)果產(chǎn)生一定影響。在多個(gè)公開數(shù)據(jù)集上，通過圖像分類、弱監(jiān)督逐像素定位和圖像分割驗(yàn)證所提方法，實(shí)驗(yàn)結(jié)果表明了所提方法的有效性。

未來，本文嘗試將所提方法應(yīng)用到局部特征非常重要的語義應(yīng)用中，例如視覺問答等應(yīng)用中。