基于深度學習與多尺度特征融合的烤煙煙葉分級方法*

魯夢瑤，周強，姜舒文, 3，王聰，陳棟, 3，陳天恩, 3

(1.國家農(nóng)業(yè)信息化工程技術研究中心，北京市，100097；2.安徽皖南煙葉有限責任公司，安徽宣城，242000；3.農(nóng)芯(南京)智慧農(nóng)業(yè)研究院，南京市，211800)

0 引言

煙葉分級是烤煙原料生產(chǎn)和收購過程中最為重要的一個環(huán)節(jié)，煙葉分級的質量直接影響了后續(xù)煙葉工業(yè)可用性、卷煙配方加工和卷煙產(chǎn)品質量[1]。目前我國主要依賴人工進行煙葉分級，分級人員多為當?shù)剞r(nóng)民，水平參差不齊，導致煙葉等級合理率不高、一致性較差且分級效率很低[2]；除此之外，農(nóng)業(yè)勞動力的逐年減少對煙葉分級工作也造成了前所未有的困難。目前，煙葉分級的智能化手段幾乎空白，運用科學手段快速有效地對煙葉等級進行識別，對于煙葉資源的可持續(xù)發(fā)展有著重要意義。

煙葉外觀質量是煙葉內在品質的外在反映，是煙葉收購過程中分級的主要依據(jù)[3]?；趫D像處理技術的煙葉分級研究在許多文獻中可見報道。Maccormac[4]設計了一個用于煙葉等級自動識別的圖像處理單元原型；張建平等[5]建立標準樣本煙葉特征數(shù)據(jù)庫，將待測煙葉與樣本煙葉比較，實現(xiàn)分級；Zhang等[6]提出了一種基于數(shù)字圖像處理技術與模糊理論的煙葉自動方法；李勝[7]利用圖像處理技術依次提取煙葉的形狀、顏色、紋理特征，并采用BP神經(jīng)網(wǎng)絡對提取的特征進行建模；袁奎[8]提出了一種基于煙葉特征的視覺信息表達算法，在RGB和HSV顏色模型下提取顏色特征指標，采用灰色系統(tǒng)理論對煙葉分級因素進行定量化研究。以上基于特征工程的煙葉分級算法依賴人工提取特征，再采用機器學習算法對煙葉等級進行識別，這些方法特征提取與優(yōu)化過程復雜，建模難度較大，且模型對不同的應用場景適應性差，分類結果往往無法令人滿意。近年來，隨著深度學習技術的發(fā)展，基于CNN[9]的智能化圖像識別與分析算法已受到大量關注，CNN可自動學習圖像特征并匹配結果，分類精度高、模型魯棒性好，目前在病蟲害分類[10-11]，作物品質評價[12-13]，區(qū)域特征定位[14-15]等農(nóng)業(yè)問題上[16]得到了應用并取得了一定的成績。同時，一些學者將CNN在煙葉分級任務上進行了簡單的應用：Dasari等[17]采用LeNet-5網(wǎng)絡訓練3個等級120張煙葉圖像并構建了模型，最終該模型獲得了85.10%的準確率；王士鑫[18]將全局平均池化層與dropout層引入Inception-V3網(wǎng)絡訓練煙葉分級模型。

烤煙國家標準GB 2635—1992[19]指出部位、級別、顏色三者共同決定了煙葉等級。一方面不同部位的煙葉差異主要體現(xiàn)在形狀、脈象、顏色上，在圖像識別領域中對應邊緣、紋理、顏色等特征，這些均屬于圖像底層特征；另一方面相同部位內不同級別的煙葉具有成熟度、身份、油分、殘傷等差異，對于計算機視覺這些抽象化和概念化的評價指標需要圖像更高層的語義特征來表達。因此，為了實現(xiàn)煙葉等級的分類、訓練出端到端的煙葉分級模型，實現(xiàn)圖像底層與高層特征的提取與融合是解決煙葉分級問題的關鍵。采用傳統(tǒng)CNN網(wǎng)絡提取的輸出特征圖分辨率小、抽象程度高、高層語義信息豐富，但是低層細節(jié)丟失嚴重，不適合直接用于煙葉圖像分類。

針對基于CNN的煙葉圖像特征提取和等級分類，在經(jīng)典CNN模型的基礎上，引入注意力機制[20]和特征金字塔網(wǎng)絡[21]，通過融合不同層級的特征，豐富煙葉多尺度圖像特征，以提升模型在煙葉等級分類上能力。除此之外，考慮了煙葉正面、背面特征的差異性，首先構建了煙葉正面、背面分類模型識別出煙葉正面，再以正面煙葉為分級算法的研究對象，構建煙葉分級模型，以實現(xiàn)煙葉的自動分級。

1 煙葉分級方法

1.1 煙葉自動分級流程

煙葉人工分級主要靠觀察煙葉的正面評判煙葉等級，文獻[22-23]的研究結果也表明煙葉的外觀質量特征主要集中在葉片正面?？紤]到煙葉自動分級方法在后續(xù)工業(yè)落地時，采圖設備對煙葉正面與背面圖像采集的隨機性，故首先構建煙葉正面、背面分類模型識別出正面煙葉圖像，再對正面煙葉圖像進行分級。

煙葉自動分級流程如圖1所示，在訓練階段首先采集具有等級標注的不同等級的煙葉的正面和背面圖像，然后利用深度神經(jīng)網(wǎng)絡訓練煙葉正面、背面分類模型，利用正面煙葉圖像和提出的煙葉分級算法訓練得到煙葉分級模型。在測試階段，首先利用煙葉正面、背面分類模型識別出正面圖像，再利用煙葉分級模型對正面圖像進行分級，得到煙葉等級。

1.2 煙葉正面背面分類方法

煙葉的正面和背面在人眼視覺感知中存在明顯差異，在計算機視覺中，代表圖像底層特征的紋理和顏色信息，可滿足煙葉正反面圖像特征的表達。

經(jīng)典CNN網(wǎng)絡在ImageNet數(shù)據(jù)集[24]上充分訓練，學習得到的底層濾波器可描述各種不同紋理和顏色信息，對一般圖像的特征提取具有普適性。本試驗采用遷移學習的方式訓練煙葉正面、背面分類模型，具體方法如下：(1)以在ImageNet數(shù)據(jù)集上預訓練的CNN模型為基礎；(2)更改模型的輸出神經(jīng)元的個數(shù)(即分類類別數(shù))為2；(3)采用煙葉正面和背面圖像結合較小的學習率訓練模型，以微調模型參數(shù)，得到煙葉正面、背面分類模型。

1.3 煙葉圖像分級方法

1.3.1 基于FPN-SE-X的煙葉分級算法

基于深度卷積神經(jīng)網(wǎng)絡，采用FPN對ResNet50[25]提取的由淺及深不同層級的特征進行融合，并引入注意力機制SE模塊增強不同通道特征的重要程度，設計了一種基于通道注意力機制的多尺度特征融合的煙葉分級方法，方法的網(wǎng)絡結構整體框架如圖2所示，輸入的煙葉正面圖像經(jīng)過特征提取模塊和分類模塊，計算出該片煙葉的等級。

圖2 煙葉圖像分級算法整體框架圖

如圖2所示，將原始煙葉正面圖像大小縮放至224×224×3，作為網(wǎng)絡的輸入。在特征提取模塊，首先利用嵌入SE模塊的ResNet50網(wǎng)絡自下而上的逐級提取煙葉正面圖像的注意力特征，將ResNet50的第一層卷積和后續(xù)4個殘差模塊對應的輸出特征圖分別記為L0、L1、L2、L3、L4，特征圖大小如表1所示，隨著層數(shù)的增加，網(wǎng)絡的感受野得以增大，特征圖越來越小，特征抽象程度越來越高，L4具有較強的高層語義特征。在傳統(tǒng)的CNN分類任務中，一般是將L4作為網(wǎng)絡提取的最終特征圖，參與到后續(xù)分類任務中；然而，L4層特征圖大小僅為7×7，失去了大量的圖像細節(jié)信息，將其直接應用于煙葉圖像分類任務時效果并不好。為了解決此問題，引入了FPN網(wǎng)絡，通過橫向連接和自上而下的鏈路，將不同分辨率、不同語義強度的特征進行融合，得到P4、P3、P2、P1四個具有不同尺度的融合后的特征圖；之后，為消除上采樣過程的混疊效應，采用3×3的卷積核對特征圖進行卷積，得到煙葉多尺度特征圖F4、F3、F2、F1，特征圖大小如表2所示。最后，通過試驗對比的方法對特征圖F4～F1進行篩選，確定最終用于特征分類任務的特征圖Fn，通過全局均值池化層(Avgpool)和雙層全連接層(Fc1、Fc2)實現(xiàn)特征的降維和非線性整合，完成煙葉圖像的多尺度特征提取，Avgpool層、Fc1層和Fc2層的輸出圖像的大小分別為1×1,1 024；1×1,500；1×1,7。

表1 FPN-SE-ResNet50網(wǎng)絡自下而上支路輸出特征圖的大小

表2 FPN-SE-ResNet50網(wǎng)絡自上而下支路輸出特征圖的大小

在特征分類模塊，采用Softmax多分類器對多尺度煙葉特征進行類別概率映射，實現(xiàn)煙葉等級分類。Softmax分類器可定義為

(1)

式中：Pj(z)——該樣本所屬類別的概率值；

zj——Softmax層類別j的輸入值，共有k類。

1.3.2 SE模塊

SE模塊的核心是圖像通道注意力機制，它考慮了CNN特征通道之間的相互依賴關系，利用Squeeze、Excitation和Reweight一系列操作來計算每個特征通道的權重系數(shù)，以此自動獲取特征通道的重要程度，增強對分類任務有用的特征并抑制用處不大的特征。SE模塊結構如圖3所示，首先通過卷積操作Ftr(·,θ)，將輸入x的特征通道數(shù)由C1轉換為C2；接著通過Squeeze操作Fsq(·,θ)將二維特征轉換為一個實數(shù)來獲得特征圖的全局感受野，實現(xiàn)特征壓縮；Excitation操作Fex(·,θ)為每個特征通道賦予權重w；最后，Reweight操作將輸出的權重通過乘法逐通道加權到原先的特征圖上。其映射關系如式(2)～式(4)所示[20]。

圖3 SE模塊結構

(2)

s=Fex(z,W)=σ[g(z,W)]=σ[W2ReLU(W1,z)]

(3)

(4)

其中，uc代表每一個特征通道；W1和W2為兩個全連接層的權重，采用ReLU激活函數(shù)對兩個全連接層進行非線性操作；σ表示歸一化函數(shù)Sigmoid，將權重參數(shù)歸一化到[0,1]，最后通過Fscale操作加權到原特征圖上。

將基于SE模塊的通道注意力機制應用于煙葉圖像特征提取，以提升圖像特征與類別概率與的相關性。采用的嵌入SE模塊的卷積層如圖4所示，輸入圖像Xl經(jīng)過殘差塊后，依次經(jīng)過全局池化的Squeeze操作和兩個全連接層組成的Excitation操作(本試驗中超參數(shù)r設置為16)，并通過Scale操作將權重恢復到殘差(Residual)模塊的輸出特征圖上，最后經(jīng)過ResNet的shortcut路徑與輸入相加，得到輸出Xl+1。其中，ResNet中殘差模塊的結構如圖5所示。

圖4 ResNet中卷積層嵌入SE模塊

圖5 ResNet中殘差模塊的結構

1.3.3 特征金字塔模塊

煙葉圖像的底層細節(jié)信息與高層語義信息共同決定了煙葉等級分類結果。傳統(tǒng)CNN通過多層特征提取，得到了語義豐富的高級特征，但是圖像分辨率越來越小、底層細節(jié)特征丟失嚴重，不適合直接用于煙葉圖像特征提取。為了解決這一問題，引入FPN，它巧妙地利用了CNN特征層級的金字塔形式，通過合并多個尺度的特征圖，融合具有高分辨率的底層特征和具有高級語義信息的特征，實現(xiàn)圖像特征提取，同時不增加額外計算成本。

特征金字塔網(wǎng)絡的結構如圖6所示。由自下而上、橫向連接、自上而下三條路徑組成。左側自下而上的路徑利用卷積+池化逐級提取圖像特征，具有相同大小的頂層特征圖稱為一個階段的輸出特征圖，多個階段的輸出特征圖共同形成了金字塔結構；右側自上而下的路徑，首先對高層語義特征圖2倍上采樣，橫向連接采用1×1的卷積核改變前一層階段特征圖的通道數(shù)，之后逐像素相加具有相同大小、相同通道數(shù)的相鄰兩階段特征圖，實現(xiàn)多尺度特征融合。為消除上采樣過程的混疊效應，采用3×3的卷積核對融合后的特征圖進行卷積，得到圖像不同尺度的特征圖F4～F1。

圖6 特征金字塔網(wǎng)絡的結構

2 煙葉圖像數(shù)據(jù)集

2.1 煙葉樣品

以安徽省皖南地區(qū)2019年初烤后的云煙87煙葉為研究對象，由1名5年以上工作經(jīng)驗的專業(yè)分級師按照烤煙國家標準GB 2635—1992規(guī)定的煙葉等級標準進行煙葉分級，挑選出上部橘黃二級煙(B2F)、上部橘黃三級煙(B3F)、中部橘黃三級煙(C3F)、中部橘黃四級煙(C4F)、下部橘黃二級煙(X2F)、下部橘黃三級煙(X3F)、青黃二級煙(GY2)共7個等級6 068個煙葉，每個等級煙葉數(shù)量分別為762、828、1 040、916、886、682、954。

2.2 圖像采集裝置

為獲得高質量的煙葉圖像，試驗中設計并定制了一套煙葉圖像采集系統(tǒng)(圖7)。

圖7 煙葉圖像采集系統(tǒng)

箱體規(guī)格為80 cm×40 cm×110 cm，箱體頂部固定相機、鏡頭和光源，在相機正下方設計一個白色置物臺用于放置煙葉，相機垂直拍攝煙葉。相機采用GIG20630型號相機，像素2 000 萬；環(huán)形光源為Led陳列，均勻性好；鏡頭為TD-03070.0。箱體正面為開放式用于煙葉取放；采集的圖像信號通過USB接口傳輸至計算機。

2.3 煙葉圖像采集

通過手動取放煙葉的方式采集煙葉正面、背面雙面圖像，圖像的分辨率為1 500像素×3 000像素。共采集7個等級煙葉正面、背面圖像各6 068個，各等級煙葉圖像如表3所示。

表3 各等級煙葉圖像

2.4 數(shù)據(jù)增廣

考慮到訓練模型時圖像數(shù)量不足可能導致過擬合，采用數(shù)據(jù)增廣的方式擴充煙葉圖像數(shù)據(jù)量，以提高訓練模型的泛化能力。由于相同部位不同等級的煙葉顏色差異較小，若變換圖像亮度、對比度、飽和度等色彩參數(shù)會影響分類精度。故本試驗采用隨機組合旋轉、鏡像、平移、高斯噪聲的方式生成圖像，將訓練集擴充5倍，生成的煙葉圖像如圖8所示。

(a)原始圖像

3 試驗與煙葉分級結果分析

3.1 試驗環(huán)境與模型訓練

模型訓練與測試均在Linux16.04環(huán)境GPU版本的Caffe深度學習框架下完成，硬件環(huán)境：Intel Xeon Silver 4110 CPU處理器，NVIDIA Geforce GTX1080Ti GPU顯存11 GB。煙葉等級測試代碼采用C++編寫。

模型訓練時，將圖像以5∶1∶1的比例劃分為訓練集、驗證集、測試集，對訓練集圖像進行數(shù)據(jù)增廣，用來擬合模型。驗證集用來在訓練過程中監(jiān)測模型性能、輔助參數(shù)調整。模型訓練結束后，保存在驗證集上分類正確率最高的模型，在測試集上評估最終模型泛化能力。

采用隨機梯度下降算法對煙葉正面圖像分級模型進行端到端的訓練，訓練時設置批處理大小為32，全連接層Fc1、Fc2的Dropout系數(shù)為0.5；網(wǎng)絡參數(shù)采用Xavier初始化方式。初始學習率設置為0.001，每訓練10輪學習率衰減0.1。最大迭代次數(shù)設置為60。網(wǎng)絡訓練時，采用交叉熵計算分類損失，采用隨機梯度下降算法對損失函數(shù)進行優(yōu)化。交叉熵損失函數(shù)

(5)

式中：p——期望輸出，即真實類別標簽的概率分布；

q——網(wǎng)絡實際輸出的概率分布；

H(p,q)——交叉熵。

3.2 評價標準

在模型訓練與測試過程中采用原級分類正確率(即煙葉等級合格率)衡量模型精度，分類正確率即為分類正確的樣本數(shù)占所有樣本數(shù)的比例，如式(6)所示。

(6)

式中：TPN——真實類別N中被分類正確的圖像個數(shù)；

totalnum——所有圖像的總數(shù)。

除此之外，為了更客觀地評價煙葉分級的結果，還引入相鄰等級分類正確率(即煙葉純度)評價模型結果，煙葉純度是原料煙葉收購中衡量煙葉等級質量的主要指標，指在煙葉等級合格率的基礎上允許混入相同部位相鄰上、下一等級的煙葉。

3.3 煙葉正面識別模型結果與分析

基于在ImageNet數(shù)據(jù)集上預訓練的VGG-16[26]，Inception-V3[27]，ResNet-18，ResNet-50網(wǎng)絡模型，通過調整模型全連接層輸出神經(jīng)元個數(shù)、學習率、衰減系數(shù)，采用參數(shù)從頭訓練、瓶頸層凍結、網(wǎng)絡參數(shù)微調3種方法訓練煙葉正面、背面分類模型，識別出正面煙葉圖像，模型結果如表4所示。從頭訓練、瓶頸層凍結的模型測試集分類正確率不高，網(wǎng)絡存在一定程度的過擬合。采用微調ResNet-50網(wǎng)絡訓練的煙葉正反面分類模型在測試集上正面煙葉的識別的正確率達到了98.74%，對比其他訓練方式和骨干網(wǎng)絡，分類正確率有明顯的提升，具有較好的分類性能和效率。

表4 煙葉正面、背面分類模型識別性能比較

3.4 煙葉分級模型的最優(yōu)結構確定與結果分析

CNN的網(wǎng)絡結構和網(wǎng)絡深度直接決定了模型的特征提取能力和分類效果，本節(jié)針對2.3.1節(jié)中提出的煙葉分級算法中圖像特征提取網(wǎng)絡的設計進行了詳細的試驗和討論，研究了FPN模塊、注意力機制SE模塊、特征提取骨干網(wǎng)絡X對模型分類結果的影響，通過對比具有不同深度、寬度、結構的CNN骨干網(wǎng)絡在有、無注意力機制SE模塊和FPN模塊的情況下模型的分類能力，篩選適用于煙葉圖像特征提取的CNN結構。除此之外，試驗還分析了FPN的輸出特征圖層級對分類結果的影響。

試驗中，將正面煙葉圖像作為網(wǎng)絡的輸入圖像，在無FPN結構下，采用SE模塊，結合不同深度、寬度的經(jīng)典CNN作為骨干網(wǎng)絡訓練煙葉分級模型，測試集的分類正確率如表5所示。由表5可以看出，SE模塊有益于分類效果的提升；深層CNN(47層的Inception-V3、34層的ResNet-34、50層的ResNet-50)較淺層CNN(16層的VGG16、18層的ResNet-18)在煙葉等級特征表達和分類性能上表現(xiàn)的更好，采用SE-ResNet50訓練的煙葉分級模型在測試集上分類正確率達到75.45%。

表5 煙葉分級模型測試集分類正確率(無FPN結構)

接著引入FPN模塊融合不同層級的輸出特征圖，以提升圖像特征表達能力。試驗中，將金字塔特征F4～F1分別作為輸出特征圖Fn訓練模型，模型的分類結果如表6所示。由表6可知，輸出特征圖Fn采用F4時，整體分類結果與不采用FPN結構時的結果差異不大；這是由于F4層特征圖為P4特征圖經(jīng)過通道轉換生成，未融合前級特征圖。輸出特征圖F2和F3融合了前級的特征圖，分類效果有了明顯的提升，當采用F3作為輸出特征圖，骨干網(wǎng)絡采用SE-ResNet50時，模型效果最佳，分類正確率達到80.19%。該結果相較于無FPN結構、骨干網(wǎng)絡采用SE-ResNet50時，提升了4.74%；相較于無FPN結構、無SE模塊、僅采用經(jīng)典CNN網(wǎng)絡ResNet50訓練模型時，提升了5.21%。F1層特征圖融合了多級特征，但圖像分辨率大，再通過avgpool直接降采樣為1×1，特征圖前期特征抽象不足后期信息損失過大，導致分類正確率整體降低。故設計的煙葉特征提取網(wǎng)絡采用FPN-SE-ResNet50網(wǎng)絡，將FPN的F3層作為網(wǎng)絡的輸出特征圖。

表6 煙葉分級模型測試集分類正確率(含有FPN結構)

3.5 煙葉分級方法驗證

為驗證設計的煙葉分級算法，研究中單獨搜集了一批皖南2019年煙葉，每個等級100片，采集煙葉正面、背面圖像用于模型驗證。模型驗證時，將同一片煙葉的正面、背面圖像輸入煙葉正面識別模型，將識別得到正面圖像輸入煙葉分級模型，得到煙葉等級。最終，煙葉正面圖像的識別率為100%；煙葉等級的分類正確率為80.14%，各等級的分類混淆矩陣如圖9所示。

圖9 煙葉分級混淆矩陣

煙葉分級結果統(tǒng)計如圖10所示，煙葉分級的原級正確率為80.14%，相鄰等級正確率為91.50%；原級正確率排序為GY2>B2F>B3F>X2F>X3F>C3F>C4F，GY2和B2F的正確率在90%以上。上部煙(B2F、B3F)的原級正確率較好且錯判的也多為相鄰等級或相鄰部位的煙葉；中部煙(C3F、C4F)的原級正確率較低、但相鄰等級正確率在80%以上，錯判的多為相鄰等級。下部煙(X2F、X3F)的原級正確率在80%以上，相鄰等級正確率為90%，部位錯判的多為中部煙僅有極少量的判為上部煙，分級效果符合預期。

圖10 煙葉分級結果統(tǒng)計

4 結論

針對煙葉圖像分級類別多、級間差異小，識別準確率不理想的問題，利用深度學習和計算機視覺技術，提出一種基于深度學習的通道注意力機制與多尺度特征融合的煙葉等級分類方法，構建煙葉分級模型并驗證其分類性能。

1)制訂煙葉分級流程，即首先采用煙葉正面、背面分類模型識別出煙葉正面，再利用煙葉分級模型識別煙葉等級。

2)采用ResNet-50網(wǎng)絡、SENet模塊和FPN模塊，對不同層級的煙葉特征進行融合，以更好地提取煙葉低層細節(jié)特征和高層語義特征。

3)提出的煙葉分級方法分類正確率比經(jīng)典CNN高出5.21%，模型在新批次7個等級煙葉上的分級正確率為80.14%，相鄰等級正確率為91.50%，具有較好的識別精度。

未來，可以采集更多的煙葉圖像擴充訓練樣本庫，以提升煙葉分級模型的精度和泛化能力。