基于改進Faster R-CNN 網(wǎng)絡(luò)的煙葉分級*

吳雪梅 劉紅蕓 王 芳 張富貴 張 康 黃華成

（貴州大學(xué)機械工程學(xué)院 貴陽 550025）

1 引言

煙草是我國主要農(nóng)業(yè)經(jīng)濟作物，煙葉的分級有著至關(guān)重要的作用［1~2］。隨著機器視覺技術(shù)廣泛應(yīng)用，已有研究利用該技術(shù)結(jié)合煙葉的顏色［3~6］、形狀［7~9］、紋理［10~11］等特征進行煙葉分級建模，但這些方法對圖像獲取、預(yù)處理及特征提取具有較強的依賴性。也有研究利用紅外光譜［12~13］對煙葉進行分級得到可靠結(jié)果，但光譜特性是在確定組和顏色的前提下，且紅外光譜成本較高，不適合推廣使用。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有良好的特征提取及泛化能力，目標檢測速度快，模型準確度高［14］，因此被廣泛應(yīng)用于各領(lǐng)域。目前，利用深度學(xué)習進行目標檢測方法有基于候選框和基于回歸的方法［15］；基于候選框的方法有RCNN［16］、SPP-Net［17］、Fast-RCNN［18］、Faster-RCNN［19］等。其中，以Faster-RCNN 為代表的檢測精度高于基于回歸方法檢測的精度［20］，該網(wǎng)絡(luò)模型是將區(qū)域建議網(wǎng)絡(luò)（Region Proposal Networks，RPN）方法與Fast R-CNN 進行融合，實現(xiàn)了高精度的實時檢測［21］。但是隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，帶來高精度的同時伴隨有梯度彌散、梯度消失、網(wǎng)絡(luò)模型難以優(yōu)化以及抑制了淺層網(wǎng)絡(luò)參數(shù)的收斂等問題，導(dǎo)致訓(xùn)練效果差。若直接將該模型訓(xùn)練煙葉圖像數(shù)據(jù)集，會出現(xiàn)一下幾個問題：1）煙葉同部位不同等級之間特征過于相似以及數(shù)據(jù)集不足等問題，導(dǎo)致分級準確率不高；2）由于煙葉在拍攝過程中需要將煙葉鋪平，但是煙葉存在卷曲、皺縮的問題，很難將煙葉完全鋪平，因此在深層卷積層提取特征時目標的信息量不夠，影響煙葉分類的識別精度。為此，本文提出一種改進的Faster-RCNN 網(wǎng)絡(luò)模型，并利用改進的網(wǎng)絡(luò)模型對數(shù)據(jù)集進行訓(xùn)練和驗證分析。

2 試驗數(shù)據(jù)

采集樣本品種為云煙87，共采集了下橘2（X2F）、中橘2（C2F）、中橘3（C3F）、中橘4（C4F）、上橘1（B1F）、上橘2（B2F）、上橘3（B3F）7個等級的煙葉圖像，各等級拍攝的圖像不少于1000幅。

拍攝的有效圖像共計7156 幅，每個等級選出300 幅煙葉圖像作為測試集，其余圖像作為訓(xùn)練的原始數(shù)據(jù)集。原始數(shù)據(jù)集通過Photoshop CS6 軟件進行剪裁，大小為608×342，圖像的儲存格式為.jpg格式，圖像統(tǒng)一命名，由6 位長度的數(shù)字組成，例如：000001.jpg 格式，序號連接。對處理后的原始樣本分別進行上下翻轉(zhuǎn)和順時針旋轉(zhuǎn)90°、180°、270°擴增，形成擴增后的訓(xùn)練數(shù)據(jù)集，擴增后的數(shù)據(jù)集共計29416 幅煙葉圖像。根據(jù)POSCAL VOC2007數(shù)據(jù)集格式，借助開源軟件LabelImg對煙葉數(shù)據(jù)集進行標注，生成xml類的標簽。

3 試驗環(huán)境及試驗方法

3.1 試驗環(huán)境

試驗環(huán)境為64 位Ubuntu16.04 操作系統(tǒng)，在深度學(xué)框架caffe 下完成數(shù)據(jù)集的訓(xùn)練與驗證分析，具體試驗環(huán)境如表1所示。

表1 試驗環(huán)境

3.2 試驗方法

以Faster R-CNN 網(wǎng)絡(luò)模型為檢測圖像的基礎(chǔ)網(wǎng)絡(luò)，在該框架下有三種不同大小訓(xùn)練模型，分別是VGG16、VGG_CNN_M1024 以及ZF，其中VGG16模型具有13 層卷積層，屬于大型網(wǎng)絡(luò)訓(xùn)練模型；VGG_CNN_M1024 模型具有5 個卷積層，屬于中型網(wǎng)絡(luò)訓(xùn)練模型；ZF 模型具有5 層卷積層，屬于小型網(wǎng)絡(luò)訓(xùn)練模型。利用三種網(wǎng)絡(luò)模型分別對煙葉圖像進行分級識別檢測，不同網(wǎng)絡(luò)訓(xùn)練的精度以及檢測結(jié)果如表2。由表2 知，使用VGG16 模型訓(xùn)練時，其訓(xùn)練的MAp（Mean average accuracy）達到89.93%，使用VGG_CNN_M1024 模型訓(xùn)練時其MAp 達到87.98%，使用ZF 訓(xùn)練時其MAp 達到85.79%。由此可見隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，其檢測出的目標矩形框與標注的矩形框重疊度越高，訓(xùn)練精度越高。因此，本文后續(xù)試驗將以VGG16網(wǎng)絡(luò)為基礎(chǔ)模型對煙葉圖像進行特征提取。

表2 基于不同卷積網(wǎng)絡(luò)模型下各等級煙葉檢測精度及結(jié)果比較

3.3 模型的試驗分析

利用改進的Faster R-CNN 網(wǎng)絡(luò)模型與7 個調(diào)整網(wǎng)絡(luò)模型，分別對訓(xùn)練圖像數(shù)據(jù)集進行訓(xùn)練和測試分析，并對各網(wǎng)絡(luò)模型的識別性能進行了對比，模型的說明見表3。針對不同的網(wǎng)絡(luò)模型，不同的測試集下對模型進行測試，模型的性能指標采用召回率以及準確率作為評價指標。計算公式為

表3 測試模型

式中，P為煙葉圖像檢測的準確率，R為煙葉圖像檢測的召回率，Tp為煙葉圖像檢測正確的正例數(shù)量，F(xiàn)p為煙葉圖像檢測誤以為正確的正例數(shù)量，F(xiàn)N為煙葉圖像檢測誤以為錯誤的負例數(shù)量。

4 改進算法及煙葉圖像識別的實現(xiàn)

4.1 模型參數(shù)的改進

為了提高模型的識別準確率，增加模型的收斂速度，對模型參數(shù)進行調(diào)整。基于試錯的思想調(diào)整參數(shù)，對模型進行多次的預(yù)訓(xùn)練及驗證分析，得到較優(yōu)的模型參數(shù)如表4。全連接層參數(shù)改進前后的網(wǎng)絡(luò)模型平均識別準確率分別為88.37%和90.73%，平均識別準確率提高了2.36%。

表4 Faster R-CNN網(wǎng)絡(luò)模型主要調(diào)優(yōu)參數(shù)

4.2 特征提取部分的改進

為了卷積層更準確地提取煙葉的紋理、顏色、形狀以及目標輪廓等更具區(qū)分性的特征，故對Faster R-CNN模型的特征提取部分進行改進，在原VGG16 網(wǎng)絡(luò)模型的基礎(chǔ)上去掉第8 層、12 層、15 層3 個卷積層，同時引入Inception 網(wǎng)絡(luò)結(jié)構(gòu)。在Google Net 提出的Inception［22］網(wǎng)絡(luò)結(jié)構(gòu)之前，通過增加網(wǎng)絡(luò)的深度和寬度提升網(wǎng)絡(luò)性能，雖然有較高的網(wǎng)絡(luò)檢測精度，但也面臨參數(shù)過多、梯度彌散以及計算量增加等問題，為了解決上述方法的不足，Inception 網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)運而生。Inception 網(wǎng)絡(luò)結(jié)構(gòu)主要由1×1，3×3，5×5 的卷積核和3×3 的池化層堆疊構(gòu)成。為了與原有VGG 網(wǎng)絡(luò)結(jié)構(gòu)相匹配，Inception 網(wǎng)絡(luò)結(jié)構(gòu)的具體網(wǎng)絡(luò)參數(shù)為128#1×1，128#3×3 reduce，128#3×3，64#5×5，24#5×5 reduce，64#pool proj，其中，128#3×3 reduce，24#5×5 reduce 表示在3×3，5×5 的卷積層前增加的降維層濾波器1×1，目的是為了降低特征圖的維度，增加網(wǎng)絡(luò)的寬度，減少原網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，增加網(wǎng)絡(luò)尺度的適應(yīng)性。

4.3 感興趣區(qū)域的校準

為解決區(qū)域不匹配問題，對網(wǎng)絡(luò)結(jié)構(gòu)的感興趣區(qū)域進行校準。原有網(wǎng)絡(luò)中的ROI pooling 對候選框及每個小網(wǎng)格位置進行量化時，兩次量化操作可能使得候選框的位置有偏差，造成區(qū)域不匹配問題。而ROI Align 的提出很好地解決了ROI Pooling操作中兩次量化造成的區(qū)域不匹配（mis-alignment）的問題［23］。ROI Align 取消了量化操作的過程，采用雙線性內(nèi)插的方法獲得坐標為浮點數(shù)的像素點上的圖像數(shù)值，從而將整個特征聚集過程轉(zhuǎn)化為一個連續(xù)的操作。改進的模型框架如圖1。

圖1 改進的Faster R-CNN網(wǎng)絡(luò)

conv1×1、conv1×2、…、conv5×3為VGG卷積層，卷積核的大小為3×3；64、128、256、512 為卷積層輸出的通道數(shù)；pool3 為2×2 的最大池化層，Inception1×1、Inception2×1 為新加入的網(wǎng)絡(luò)結(jié)構(gòu)，ROI Align為感興趣區(qū)域的校準；FC為全連接層。

4.4 模型訓(xùn)練

以caffe 為實驗平臺，利用改進的Faster R-CNN 網(wǎng)絡(luò)對數(shù)據(jù)集進行訓(xùn)練。隨機從29416 幅圖像中抽取23533 幅（70%）作為訓(xùn)練驗證集（trainval），其余的5883（20%）作為驗證集，未參與訓(xùn)練的2100 幅圖像對最終模型性能評價。采用四步交替訓(xùn)練的方法，RPN 和Fast R-CNN 2 個網(wǎng)絡(luò)進行訓(xùn)練，設(shè)置參數(shù)：總迭代次數(shù)為4.4×106，mini-batch為128，沖量為0.9，weight_decay 為5×10-4，最大迭代次數(shù)1.2×105。RPN 第一、二階段的訓(xùn)練次數(shù)均為1.2×105，F(xiàn)ast R-CNN 第一、第二階段的訓(xùn)練次數(shù)均為106，其中RPN、Fast R-CNN 第一階段學(xué)習率設(shè)置為10-4，第二階段的學(xué)習率設(shè)置為10-3。在8×105迭代后，每迭代105次保存一個模型，并在保存的模型中選取精度最高的作為最終模型。

5 結(jié)果與分析

5.1 感興趣區(qū)域?qū)Ρ确治?/h3>

對感興趣區(qū)域改進后訓(xùn)練數(shù)據(jù)集，并與未改進之前的訓(xùn)練精度進行對比分析，結(jié)果見圖2。由圖可知，感興趣區(qū)域池化采用ROI align 訓(xùn)練后平均分級準確率比采用ROI pooling 的提高了2.77%，改進后的檢測矩形框精度明顯提升，且改進后每個等級的煙葉識別準確率均有所提升，說明改進后的模型識別效果較好。

圖2 感興趣區(qū)域測試結(jié)果

5.2 去除卷積層，增加Inception結(jié)構(gòu)的效果

增加網(wǎng)絡(luò)層數(shù)雖可提高模型的訓(xùn)練精度，但會出現(xiàn)過擬合現(xiàn)象，因此本文去掉網(wǎng)絡(luò)模型特征提取的卷積層，構(gòu)建了改進的VGG16、VGG16-A、VGG16-1A、VGG16-2A、VGG16-3A 網(wǎng)絡(luò)模型進行訓(xùn)練對比分析，結(jié)果如圖3。得到了去掉特征提取的卷積層識別效果優(yōu)于原有Faster R-CNN 的網(wǎng)絡(luò)的模型，去掉網(wǎng)絡(luò)的不同卷積層，每個等級煙葉識別準確率比VGG16-A 網(wǎng)絡(luò)模型分別提高了1.4%、1.8%、1.7%、0.5%、0.9%、0.93%、1.7%，表明適當去掉卷積層以及對感興趣區(qū)域進行調(diào)整，有利于圖像的特征提取與學(xué)習，從而提升模型的識別性能。但減少不同的卷積層后的準確率與模型的卷積層數(shù)量并不一定存在確定的數(shù)量關(guān)系，表明適量的卷積層個數(shù)才能獲得較好的識別準確率。

圖3 去掉部分卷積層測試結(jié)果

在減少模型不同卷積層基礎(chǔ)上加入Inception結(jié)構(gòu)，構(gòu)建改進模型VGG16-D1A、VGG16-D2A、VGG16-D3A 以及本文改進的最終網(wǎng)絡(luò)模型，基于測試集的測試結(jié)果如圖4。由圖可知，本文改進后模型的準確率總體上比其他模型要高，識別準確率最低為90.62%，最高為92.46%，召回率最低為91.72%，最高為92.87%，平均識別準確率達到92.35%，說明模型能較好地學(xué)習煙葉的類別特征，識別魯棒性更優(yōu)；對于不同的煙葉等級，上部煙葉的識別準確率明顯的沒有其他兩個部位的高，說明在分級時可能將其他級別的煙葉混淆在上部煙葉等級中，而對于同一品種的煙葉等級，下部煙葉的識別準確率較為穩(wěn)定，說明不容易將下部煙葉與其他部位的煙葉混淆；從圖還可以看出，模型的識別準確率波動較大，一方面是因為煙葉的樣本量不夠，另一方面是在制作標簽時人為的誤判所致。

圖4 模型改進測試結(jié)果

5.3 模型的精度

Faster R-CNN網(wǎng)絡(luò)訓(xùn)練模型時，網(wǎng)絡(luò)模型中的損失值（loss）可用來評估模型參數(shù)是否合適。使用改進后的模型對煙葉圖像數(shù)據(jù)集進行訓(xùn)練，分析訓(xùn)練完成后的日志文件中保存網(wǎng)絡(luò)訓(xùn)練各個階段的loss 值，RPN 第一階段以及RPN 第二階段為區(qū)域生成候選框階段，主要是判別候選框與目標框的重合度，并利用RPN 階段的網(wǎng)絡(luò)權(quán)重對Fast-RCNN 網(wǎng)絡(luò)參數(shù)進行初始化，RPN 階段的輸出region proposal 作為Fast R-CNN 階段的輸入訓(xùn)練Fast R-CNN，并對輸入的檢測框背景與目標進行判別，將結(jié)果返回感興趣區(qū)域信息的網(wǎng)絡(luò)參數(shù)去初始化RPN?；趐ython 編程語言，讀取網(wǎng)絡(luò)的迭代次數(shù)，繪制模型不同階段的損失率曲線。訓(xùn)練各階段損失率曲線如圖5所示。

圖5 改進的網(wǎng)絡(luò)模型下訓(xùn)練的各階段Loss曲線圖

圖5（a）和（b）為訓(xùn)練RPN 兩個階段的損失曲線，可以看出，RPN損失曲線的損失率較低，接近于0，說明候選框的重合度高；圖5（c）和（d）為訓(xùn)練FastRCNN 兩個階段的損失曲線，從圖5（c）到圖5（d）可看出，當?shù)螖?shù)到達105次時，RCNN 損失率曲線收斂，損失率約為0.02%，訓(xùn)練效果較為理想。

6 結(jié)語

1）為了實現(xiàn)對煙葉圖像的自動識別與分類，本文對Faster R-CNN 框架下VGG16、VGG_CNN_M1024 以及ZF 模型分別進行訓(xùn)練測試分析，得出VGG16模型對煙葉的識別準確率較高。

2）通過調(diào)整VGG16 網(wǎng)絡(luò)模型全連接層參數(shù)訓(xùn)練數(shù)據(jù)集，在此基礎(chǔ)上將ROI Pooling 改進為ROI Align，再去掉網(wǎng)絡(luò)模型第8層、第12層和第15層卷積層，同時引入Inception網(wǎng)絡(luò)結(jié)構(gòu)為本文的最終分級模型。本文算法對圖像中煙葉分級的識別準確率最低為90.62%，最高為92.46%，召回率最低為91.72%，最高為92.87%，平均識別準確率達到92.35%，識別速度達到0.2s/幅。改進后的模型平均識別準確率相比原始網(wǎng)絡(luò)平均識別準確率（88.37%）提高了3.98%。