基于RPN與B-CNN的細粒度圖像分類算法研究

趙浩如 張 永 劉國柱

(青島科技大學信息科學技術學院 山東 青島 266000)

0 引 言

作為計算機視覺的重要研究方向，圖像分類[1]問題一直備受學者關注。圖像分類又包括對象級分類，如對貓和狗進行分類。還包括細粒度分類[2]，如對狗的不同品種進行分類。由于細微的類內差異，往往只能借助微小的局部差異才能分出不同的子類別，使得細粒度分類十分具有挑戰(zhàn)性。細粒度分類的方法主要包括兩種：一種是基于強監(jiān)督的分類模型，如Part-based R-CNN[3]不僅需要物體級標注，還需要局部區(qū)域的標注，這大大限制了在實際場景的應用；另一種是基于弱監(jiān)督的分類模型，如B-CNN[4]僅僅需要圖像級別的標注，不需要局部信息的標注。因此，基于弱監(jiān)督的分類模型在識別精度上要比基于強監(jiān)督的分類模型差一些。Huang等[5]提出了Part-Stacked CNN進行細粒度分類。這個網(wǎng)絡需要提供對象及部位級標簽，它分為定位網(wǎng)絡和分類網(wǎng)絡兩個子網(wǎng)絡，采用經(jīng)典的AlexNet網(wǎng)絡結構作為整個網(wǎng)絡的基本結構。Shen等[6]提出一種迭代的傳遞策略來優(yōu)化目標框，借助對象及部分級標注框進行細粒度分類。Yao等[7]提出了多級的由粗到細的目標描述方法進行細粒度分類，不需借助標注框，但識別率不如最前沿的算法。Liu等[8]提出了基于全連接的注意力機制的網(wǎng)絡結構進行細粒度分類，未考慮各層特征間的聯(lián)系。Murabito等[9]提出顯著性特征分類網(wǎng)絡(SalClassNet)。它包括兩個子網(wǎng)絡，網(wǎng)絡A計算輸入圖片的顯著性特征，網(wǎng)絡B計算網(wǎng)絡A輸出的顯著性特征進行細粒度分類，計算顯著性特征首先要計算圖像像素對應正確分類標準化分數(shù)梯度的絕對值，然后取三個顏色通道的最大值，因此，計算成本太高。綜上，為避免人工標注部位級標簽花費的巨大時間，以及減少計算成本。本文提出利用soft-nms和OHEM優(yōu)化RPN算法得到更精確的對象級標注，以防止背景的干擾，同時改進B-CNN網(wǎng)絡，加強不同層特征間的空間聯(lián)系，提高識別精度。

1 算法描述

為利用細微的類內差異，本文采用OHEM[10]篩選出對識別結果影響大的數(shù)據(jù)，可以有效防止無關信息的干擾。然后，利用soft-nms[11]優(yōu)化RPN[12]網(wǎng)絡，選擇出置信度更高的目標所在區(qū)域。最后，改進B-CNN網(wǎng)絡結構對目標區(qū)域進行細粒度分類，具體的算法流程如圖1所示。

圖1 算法流程圖

1.1 獲取目標區(qū)域

RPN網(wǎng)絡的作用是輸入一張圖像，輸出置信度排名前N個目標可能在的區(qū)域。本文利用OHEM篩選出對最終識別結果影響大的樣本，并用篩選后樣本進行隨機梯度下降。去除了對識別結果影響小的樣本后，有效防止過擬合，具體算法流程如圖2所示。

圖2 獲取目標區(qū)域算法描述圖

圖2中，OHEM有兩個不同的ROI網(wǎng)絡。左邊的ROI網(wǎng)絡只負責前向傳播計算誤差，右邊的ROI網(wǎng)絡從左邊的ROI網(wǎng)絡中通過對誤差排序，選出誤差大的樣本作為右邊ROI網(wǎng)絡的輸入。RPN網(wǎng)絡輸出的矩形目標框Di，其得分fi的計算如下：

(1)

式中：Si是重疊框的交集的面積；S是重疊框的并集的面積。

NMS(Non-maximum suppression)是RPN中重要的組成部分。RPN輸出一系列的檢測框Di以及對應的分數(shù)fi。NMS設置常數(shù)閾值τ，當檢測框的得分大于閾值τ，將其放入最終的檢測結果集合D。同時，集合D中任何與檢測框M的重疊部分大于重疊閾值τ的檢測框，被強制歸零并移除。非最大抑制算法中的最大問題就是將相鄰檢測框的分數(shù)均強制歸零后，如果真實的物體在重疊區(qū)域出現(xiàn)，則將導致對該物體的檢測失敗并降低了算法的平均檢測率。soft-nms不將大于閾值τ的相鄰目標框得分重置為0，而是乘以一個衰減函數(shù)。選取所有的目標框中得分最高的N個，這樣可以有效減少假陰性的概率，提高平均識別率。具體計算如下：

(2)

1.2 基于深度學習進行細粒度分類

Bilinear CNN模型包括Stream A和Stream B，Stream A和Stream B的網(wǎng)絡結構都是采用的VGGNet。Stream A的作用是對物體的局部信息進行定位，而Stream B則是對Stream A檢測到的局部信息進行特征提取。兩個網(wǎng)絡相互協(xié)調作用，完成了細粒度圖像分類過程中兩個最重要的任務：物體、局部區(qū)域的檢測與特征提取。本文在B-CNN基礎上增加了兩個外積操作，外積計算如下：

B=fTA·fB

(3)

雙線性特征B2、B3分別是conv4_3的特征與conv5_3的特征，conv5_1的特征與conv5_3的特征進行點乘得到的。然后將雙線性特征B2、B3與原有的conv5_3層特征與conv5_3層特征點乘得到的雙線性特征B1拼接起來，以加強不同層特征間的空間聯(lián)系。最后，將拼接后的特征B送進全連接層，進行softmax分類。具體算法流程如圖3所示。

圖3 改進的B-CNN算法流程圖

(4)

(5)

2 實驗仿真

2.1 實驗背景

為驗證本算法的有效性，與文獻[5-9]中的算法的結果進行對比。文獻[5-9]分別采用CUB200-2011數(shù)據(jù)集[14]與Standford Dogs數(shù)據(jù)集[15]。因此本文也在兩組數(shù)據(jù)集上進行兩組實驗，來證明本算法的識別精度比文獻[5-9]中的結果高。第一組實驗是在CUB200-2011數(shù)據(jù)集進行的測試和驗證。該數(shù)據(jù)集是最常用和經(jīng)典的細粒度分類數(shù)據(jù)集，包括200中不同類別，共11 788張不同鳥類圖片，不僅提供了對象級標注框而且還提供了局部級標注框。第二組實驗是在Standford Dogs數(shù)據(jù)集[15]進行測試和驗證。該數(shù)據(jù)集包括120類狗的圖像數(shù)據(jù)，共有20 580張圖片，只提供對象級標注框?；赗PN與B-CNN的細粒度分類過程中所用到的主要參數(shù)如表1所示。

表1 B-CNN主要參數(shù)表

2.2 實驗結果與分析

本文利用OHEM與soft-nms優(yōu)化RPN，獲取對象級標注，然后輸入到改進的B-CNN。在RPN階段，訓練集、驗證集和測試集的比例是7∶2∶1。采取的Anchor的尺度是(128,256,512)，比例為(0.5,1,2)，共九種。將一張圖片輸入到RPN就會產生大量的Anchor，對這些Anchor進行soft-nms，最終輸出得分最高的目標框。在目標框提供的位置上剪貼圖片，剪貼后的圖片只含有目標對象，沒有背景的干擾。B-CNN階段中訓練集，驗證集與測試集的比例是7∶1.5∶1.5。在ImageNet中1 000類分類訓練好的參數(shù)的基礎上，在CUB200-2011數(shù)據(jù)集進行微調。將圖片輸入到B-CNN后，Stream A的作用是對圖像中對象的特征部位進行定位，而Stream B則是用來對Stream A檢測到的特征區(qū)域進行特征提取。兩個網(wǎng)絡相互協(xié)調作用，完成了細粒度圖像分類過程中兩個最關鍵的任務。

本文采用softmax函數(shù)做分類函數(shù)輸出一個概率值，計算公式如下：

(6)

式中：Si是第i個類別的概率值；ei是第i個類別的得分。

與文獻[5-6]借助對象級及部位級標注框進行細粒度分類對比，本文僅僅采用了對象級標注框。與文獻[7]利用迭代的方法獲取對象級與部位級標注框對比，本文利用RPN提取目標區(qū)域，并將深度學習框架的注意力[16]全放在目標區(qū)域，防止無關信息的干擾，提高識別速度與精度。實驗結果如表2所示。實驗表明，本文的算法識別率為85.5%，比文獻[5-7]中的方法分別高了8.90%、1.5%、3.0%。證明本文提出的基于RPN與B-CNN的細粒度分類算法，將識別的重心放在目標區(qū)域內。利用B-CNN優(yōu)化目標區(qū)域的同時，在目標區(qū)域內提取特征，不僅不需要提供額外的部位級標注框，并且準確率有較大提高。

表2 不同方法在CUB200-2011數(shù)據(jù)集的識別率

Standford Dogs數(shù)據(jù)集是從ImageNet數(shù)據(jù)集中提取狗的類別組成的。本文在第一組實驗獲取的參數(shù)基礎上進行微調，實驗結果如表3所示。與文獻[8]基于對象級與部位級標注框與注意力機制相比，雖然兩者都將識別重心放在目標區(qū)域，但本文在僅僅使用對象級標注框的前提下，利用外積將B-CNN的Strean A與Stream B統(tǒng)一成一個端到端的訓練模型。與文獻[9]使用SalClassNet網(wǎng)絡提取顯著性特征，并對顯著性特征進行細粒度分類相比，本文使用對象級標注框在ROI區(qū)域上進行特征提取。因此，識別率分別比文獻[8]和文獻[9]的方法高了1.2%和3.9%。這表明同時對標注框與類別進行端到端的訓練能有效提高識別率。

表3 不同方法在Standford Dogs數(shù)據(jù)集的識別率

此外，對本文提出的算法，增加了5組對比實驗分別為：方案一，不使用OHEM優(yōu)化RPN，不改變B-CNN網(wǎng)絡結構；方案二，不使用soft-nms優(yōu)化RPN，不改變B-CNN網(wǎng)絡結構；方案三，在使用OHEM及soft-nms的前提下，不增加B-CNN 的外積操作；方案四，僅增加B-CNN的外積操作；方案五，使用OHEM及soft-nms，同時增加B-CNN的外積操作。實驗對比結果如表4所示。實驗結果表明，方案五的識別率為90.10%，比方案一、方案二、方案三、方案四分別高了2.9%、2.3%、1.6%、1.1%。方案一僅使用OHEM，僅有效地防止了過擬合；方案二僅使用soft-nms，使輸出的對象級標注更加準確，并減少了假陰性概率；方案三則結合了方案一與方案二，識別率有所提升；方案四僅增加B-CNN的外積操作，加強了不同層之間的空間聯(lián)系。這表明使用OHEM與soft-nms改進RPN，能讓獲得的對象級標注更加精確，既可以避免背景的干擾，減少假陰性，又能有效防止過擬合。而增加B-CNN的外積操作，增加了不同層特征間的空間聯(lián)系。這是因為不同層關注的特征不同并且感受野大小也不同，這可以有效地提高識別率。

表4 對比實驗結果圖

3 結 語

本文針對細粒度分類子類別間細微的類間差異、較大的類內差異、依賴大量人工標注信息等問題，提出了基于RPN與B-CNN的細粒度分類算法。本文的主要貢獻如下：(1) 利用RPN網(wǎng)絡自動輸出對象級標注，不需要部位級標注，避免標注對象部位花費的精力。(2) 使用soft-nms和OHEM算法改進RPN，輸出更加精確的區(qū)域提議，可以有效防止過擬合并減少假陰性概率。(3) 改進B-CNN網(wǎng)絡，增加不同層間的外積操作，以融合不同層的特征，并將雙線性特征級聯(lián)在一起加強空間的聯(lián)系。實驗結果證明，基于RPN與B-CNN的細粒度分類算法能顯著提高識別率。但由于增加了RPN網(wǎng)絡以及OHEM與soft-nms操作，程序的運行時間相比其他算法有所增加。并且，未將RPN網(wǎng)絡與B-CNN網(wǎng)絡聯(lián)合起來，也是本文的不足。接下來，我們的工作重心將放在使RPN與B-CNN網(wǎng)絡聯(lián)合成一個端到端的模型，并提取同類物體不同子類的差異特征，作為深度網(wǎng)絡的輸入來提高準確率。