基于方向梯度直方圖和局部二值模式混合特征的水稻病蟲害識別方法研究

楊穎， 文小玲， 章秀華

(1.武漢工程大學電氣信息學院，湖北 武漢 430205；2.湖北省視頻圖像與高清投影工程技術研究中心，湖北 武漢 430205；3.光學信息與模式識別湖北省重點實驗室，湖北 武漢 430205)

近年來，中國水稻病蟲害發(fā)生范圍擴大，發(fā)生頻率升高，危害程度日益加重，不僅造成嚴重的經(jīng)濟損失，還間接影響了糧食儲備和社會發(fā)展[1-3]。目前，水稻病蟲害的防治主要依賴于人工參與和主觀判斷，存在人力資源成本高、時效性低、誤判率大等問題。因此，開展田間水稻病蟲害的分類識別研究十分重要。目前，數(shù)字圖像處理技術與機器學習在植物識別、作物產(chǎn)量估算等農業(yè)分析中應用較為普遍。在農業(yè)分析方面，KURMI等[4]提取葉片顏色特征利用支持向量機(support vector machine, SVM)及多層感知器模型對植物葉片數(shù)據(jù)集實現(xiàn)有效分析；侯加林等[5]搭建深度學習網(wǎng)絡實現(xiàn)了生姜種芽的快速識別及其朝向判定。在病蟲害識別方面，張金敏等[6]提出LBP-SVM馬鈴薯芽眼識別方法，芽眼識別率高達97.33%。針對水稻病蟲害研究，徐識博等[7]設計了HOG-SVM水稻識別方案實現(xiàn)了可移動檢測病斑；張超[8]提出將水稻多特征提取與機器學習結合，實現(xiàn)對水稻紋枯病高效識別；黃雙萍等[9]構造卷積神經(jīng)網(wǎng)絡對水稻穗瘟病進行識別。但這些研究也存在僅考慮提取農作物圖像的單一特征致使圖像重要信息缺失等不足[10]，而采用方向梯度直方圖(histograms of oriented gradients, HOG) 和局部二值模式(local binary pattern，LBP)混合特征提取可有效解決這些問題。HOG特征是在計算機視覺領域進行物體檢測的特征描述子，通過統(tǒng)計圖像局部區(qū)域的梯度方向直方圖以構成特征，有助于提取邊緣特征[11]。LBP是用來描述圖像局部紋理特征的算子，具有旋轉不變性和灰度不變性的特點，主要反映圖像每個像素點同其周圍像素點的關系，利于提取邊緣特征[12]。病蟲害水稻與健康水稻的直觀區(qū)別在病斑邊緣與葉片紋理，而在水稻病蟲害研究領域尚未結合HOG和LBP混合特征對其進行分類識別。

因此，本研究在邊緣特征和紋理特征提取的基礎上，提出對水稻病蟲害圖像進行HOG和LBP的混合特征提取。由于深度學習[13-14]取得較高準確率的前提是需要大量訓練素材并占用較大系統(tǒng)資源，不適用于結合田間移動設備高效識別病蟲害，故采用結構簡單及魯棒性強的SVM[15]對健康水稻及3種患病水稻進行分類驗證，并分別與單一提取的HOG特征、LBP特征及灰度共生矩陣(gray-level co-occurrence matrix, GLCM)[16]分類結果進行對比，以驗證HOG和LBP混合特征分類的正確率。在病斑檢測方面，本文方法結合多尺度檢測，再與YOLO v3和Fast R-CNN算法對比訓練時間和檢出率。

1 材料與方法

1.1 水稻圖像樣本采集

4種類型水稻圖像為公開數(shù)據(jù)集[17]，于2019年4月采集于越南峴港水稻梯田，采用iPhoneX后置攝像頭對水稻葉片進行拍攝，4類圖像共計3 356幅，每幅圖像中僅包含單個葉片，像素大小為1 881像素×1 881像素。本研究選取其中病害特征明顯且拍攝環(huán)境相同的634幅圖像。其中，健康水稻160幅，褐斑病水稻157幅，鐵甲蟲病水稻150幅，稻瘟病水稻167幅。4種類型的水稻圖像如圖 1所示。

圖1 4種類型的水稻圖像Fig.1 Four types of rice images

1.2 識別流程

將每種類型水稻按照7∶3劃分訓練集和測試集，分別放于2個文件夾中，每個文件夾下包含4個子文件夾，依次對應4種類型的水稻圖像。其中，健康水稻訓練集和測試集分別為112和48幅，褐斑病水稻訓練集和測試集分別為110和47幅，鐵甲蟲病水稻訓練集和測試集分別為105和45幅，稻瘟病水稻訓練集和測試集分別為117和50幅。

對訓練集進行圖像預處理即圖像縮放和圖像去噪，再對訓練集分別提取HOG特征[18]和LBP特征；SVM分類器對2種特征進行單獨訓練得到分類器，之后通過模板對測試集進行分類以得到單一特征分類的準確率。將2種特征單一提取訓練后的分類準確率作為權重分配依據(jù)，相對較大的權重W分配給分類準確率較高的特征[19]，所得融合特征為：

F=FHOG×WHOG+FLBP×WLBP

(1)

式中：F、FHOG、FLBP分別為融合特征、HOG特征、LBP特征；WHOG、WLBP分別為分配給HOG特征的權重、分配給LBP特征的權重。

本研究具體分類流程如圖 2所示，包括2個階段。訓練階段即對經(jīng)圖像預處理后的訓練集提取HOG和LBP融合特征，通過SVM訓練得到訓練好的分類器。測試階段即對經(jīng)圖像預處理后的測試集分別提取HOG和LBP融合特征，用訓練好的分類器對測試集進行分類，得到分類結果。

圖2 水稻葉片圖像分類流程圖Fig.2 Flow chart of rice leaf image classification

2 水稻特征提取與分類

2.1 水稻圖像預處理

綜合考慮處理效果等因素，為得到較高質量的水稻圖像，首先進行圖像預處理，包括圖像縮放和圖像去噪。圖像縮放：將大小為1 881像素×1 881像素的原圖縮放為256像素×256像素。圖像去噪：為減少所采集圖像的灰度尖銳驟變影響和減小圖像噪聲，并有利于保留葉片及病斑位置的邊緣結構特征，采用非線性平滑性質的雙邊濾波器對經(jīng)灰度化后的圖像進行去噪。

2.2 水稻圖像特征提取

病蟲害水稻與健康水稻相比最直觀的區(qū)分就是葉片表面的病斑[20]。從邊緣區(qū)別來看，病斑會出現(xiàn)斷裂或其他不規(guī)則邊緣特征，其形狀多種多樣，例如褐斑病呈橢圓形狀、稻瘟病呈縱裂紋狀、鐵甲蟲病呈條紋狀等。從紋理區(qū)別來看，健康水稻葉片的紋理規(guī)則清晰完整，而病蟲害水稻葉片紋路模糊甚至消失。健康水稻和致病水稻特點的具體細節(jié)如圖 3所示。

圖3 健康水稻和稻瘟病水稻對比Fig.3 Comparison of healthy rice and pathogenic rice

2.2.1 水稻圖像HOG特征提取 HOG特征描述子有2個主要參數(shù)，第一個是對圖像劃分小連通區(qū)域的細胞單元格，第二個是對應細胞單元每個像素點梯度的方向數(shù)值，用以構造特征描述器。HOG特征的具體提取步驟如圖 4所示。

圖4 HOG特征提取步驟流程圖Fig.4 Flow chart of hog feature extraction steps

1)標準化Gamma空間：將灰度圖像經(jīng)Gamma濾波實現(xiàn)歸一化，以顯著減少局部的陰影光照等因素影響。Gamma壓縮公式為

I(x,y)=I(x,y)gamma

(2)

2)計算梯度：計算圖像的梯度大小和方向，獲取輪廓及紋理要素，并減少光照影響。梯度計算公式如下：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

(5)

(6)

式中：Gx(x,y),Gy(x,y),H(x,y)分別表示目標像素點(x,y)所處的水平梯度、垂直梯度以及像素值；G(x,y),α(x,y)分別表示目標像素點的梯度幅值和方向值。

3)細胞單元格梯度直方圖投影：將圖像分成數(shù)個細胞單元格，累加計算單元格中每個像素的梯度直方圖[18]，映射到一定角度形成特征。

4)區(qū)塊內單元格對比度歸一化：將細胞單元格組成塊后，再將基于不同塊的細胞單元格歸一化，以對光照、陰影等進行壓縮，得到HOG描述子，其特征將以不同結果出現(xiàn)在最后向量中若干次。

5)構造HOG特征：將檢測圖像所有塊的特征進行串聯(lián)，構造HOG特征向量[21]。將提取的HOG特征可視化，如圖5所示。

圖5 HOG特征可視化Fig.5 HOG feature visualization image

2.2.2 水稻圖像LBP特征提取 傳統(tǒng)LBP算子定義于3×3細胞單元格內，將單元格中心像素點灰度值作為參考值與周圍8個像素點灰度值進行比較。若周圍點灰度值比中心值高，則該像素點位置記為1，反之則記為0[22]。該細胞單元格通過比較后按順時針即可產(chǎn)生8位二進制數(shù)，就得到該中心像素點的LBP數(shù)據(jù)，即完成水稻圖像LBP特征提取，如圖 6所示。

圖6 LBP編碼規(guī)則 Fig.6 LBP coding rules

LBP特征提取算子生成公式如下：

(7)

式中：(xc,yc)為中心像素點;ic為中心像素點的灰度值;ip為周圍像素點的灰度值;s(x)為1個符號函數(shù)，滿足下式定義：

(8)

根據(jù)原理分析可知，原始的LBP算子存在局限性。在半徑范圍固定的情況下，當圖像經(jīng)過了平移或旋轉變化時，得到的LBP特征值會發(fā)生一定差異，并對識別準確率的影響較大。在水稻圖像采集過程中一般存在平移或旋轉等不規(guī)則非線性影響因素，本文采用具有旋轉不變性的圓形LBP算子[23]，能較好適應旋轉和各種尺度的特征。在圓形鄰域一直旋轉的情況下，依次生成傳統(tǒng)定義的LBP特征值，此鄰域的LBP值為所得最小值，其公式如下：

LBP(xc,yc)=min{ROR(LBPp,r,i)}>

(9)

式中：i=0,…,P-1;ROR(LBPp,r,i)是旋轉函數(shù)，描述了從中心像素點的正上方像素點開始進行逆時針旋轉的過程。

統(tǒng)計得到所有單元的直方圖，歸一化后將所有單元的直方圖連接構成特征向量，即為LBP紋理特征向量。將提取的LBP特征可視化,如圖7所示。

圖7 LBP特征可視化Fig.7 LBP feature visualization image

2.3 水稻圖像SVM算法

SVM由VAPNIK[15]于20世紀90年代提出的機器學習方法。該方法將分類與回歸轉變?yōu)槎蝺?yōu)化，其決策邊界是在線性可分的情況下，對訓練集數(shù)據(jù)求解的最大邊界距離超平面。對小樣本及多類分類具有較好的分類效果。

設數(shù)量為n、訓練集中每個樣本向量維數(shù)為N的2類訓練集樣本為：

{(xi,yi)}>,i=1,2,…,n,xi∈RN,yi∈{1,-1}>

式中：yi為樣本標簽。將線性問題轉化為二次優(yōu)化問題[16]：

(10)

式中：ω、b分別為權值向量和類閾值；C代表對離群樣本的容忍度，為懲罰因子；ξi代表對應樣本離群的距離，為松弛因子。分類決策公式為：

(11)

式中：λi、xi分別表示Lagrange系數(shù)、支持向量。

針對非線性情況，將樣本經(jīng)由非線性函數(shù)映射到高維特征空間，在該空間進行線性分類以得到最優(yōu)超平面進行分類，使用核函數(shù)K(xi,yj)來表示內積運算。主要有多項式核函數(shù)、徑向基核函數(shù)和Sigmoid函數(shù)。徑向基核函數(shù)具有較強的非線性能力，本文選用該核函數(shù)作為分類器核函數(shù)[24]。確定核函數(shù)后的分類函數(shù)為：

(12)

式中：f(x)結果的正負反映x分類的類別。

解決多分類問題，主要有2種構造SVM多類分類器方式[23]：一是對多分類參數(shù)求解進行合成，轉化為對最優(yōu)化問題進行求解，“一步”實現(xiàn)多分類，但其計算復雜度高，不易實現(xiàn)；二是通過結合若干個二分類器來構造多分類器[25]，本研究選用第二種方式實現(xiàn)多分類。

3 結果與分析

3.1 與其他特征提取方法分類結果比較

對測試集分類時選用混淆矩陣[26]來直觀驗證分類結果，得到分類結果的準確度，對水稻圖像分類的準確度定義式為：

(13)

式中：N為分類正確樣本數(shù)；T為測試集樣本數(shù)。

在上述水稻圖像數(shù)據(jù)集處理后的基礎上進行試驗。為評價HOG與LBP混合特征提取方法對水稻識別的有效性，本文選取常用的HOG特征、LBP特征和GLCM特征單一提取的分類結果進行分析對比。

圖 8為HOG與LBP混合特征分類結果的混淆矩陣。除最后百分數(shù)行列外，混淆矩陣的縱坐標為真實的水稻類別，橫坐標為預測的水稻類別，對角線上數(shù)據(jù)之和為真實值與預測值相符數(shù)量，數(shù)據(jù)下方的百分數(shù)為該數(shù)據(jù)占總測試集的比例，不在對角線數(shù)據(jù)之和為真實值與預測值不符的數(shù)量，右下角百分數(shù)表示整體識別分類正確率。如第一列之和為47即測試集中褐斑病樣本數(shù)，第一列各數(shù)據(jù)表示有43個分類正確為褐斑病，另外有4個誤判為稻瘟病，因此，本文方法對褐斑病識別分類正確率為91.5%，錯誤率為8.5%。由此可知，本文方法對健康水稻、鐵甲蟲病、稻瘟病的正確率分別為95.8%、97.8%和92.0%，對4種類型識別分類正確率均在90%以上。對角線上數(shù)據(jù)之和為179，即為

圖8 HOG與LBP混合特征分類結果的混淆矩陣Fig.8 Confusion matrix of HOG and LBP mixed feature classification results

預測正確量，可知對測試集190幅圖中4種水稻類型的識別分類正確率為94.2%。

采用4種方式對47幅褐斑病水稻、48幅健康水稻、45幅鐵甲蟲病水稻、50幅稻瘟病水稻共190幅圖像進行識別分類，結果如表 1所示。HOG、LBP、GLCM特征提取的識別分類正確率分別為74.7%、84.7%和 76.8%，而本文提出的HOG和LBP融合特征識別分類正確率為94.2%，正確率得到顯著提升。

表1 4種特征提取方式對測試圖像識別分類結果Table 1 Recognition and classification results of test images by four feature extraction methods

3.2 與其他算法檢測結果比較

本文方法旨在與田間移動采集設備結合，適用于現(xiàn)場實時分類出水稻病害結果并檢測出目標病斑。為提升應用能力和評價算法性能，本文進一步結合多尺度檢測實現(xiàn)病斑定位。將先前選取的樣本數(shù)據(jù)集手動裁剪出含有完整病斑特征和健康特征的水稻圖像，將3種病斑各裁剪500幅得到含有病斑的1 500幅圖像作為正樣本即為需要識別的目標，無病斑的健康水稻裁剪圖像600幅作為負樣本，測試集樣本190幅。對正負樣本分別提取HOG和LBP融合特征，通過SVM得到訓練模型。將測試集經(jīng)圖像預處理后，對每幅圖像進行多尺度滑動窗口掃描提取融合特征，通過所訓練的模型進行測試，合并檢測窗口，最后得到矩形病斑目標，稻瘟病水稻的目標病斑檢測如圖9所示。

圖9 稻瘟病水稻目標病斑檢測圖Fig.9 Image of rice blast lesion detected

選取YOLO v3和Fast R-CNN這2種算法與本研究方法對比，試驗環(huán)境如表2所示。3種方法所得到的檢測結果如表3所示。本文方法的訓練時長在1 h以內，對單幅圖像的平均檢測時長為573 ms，YOLO v3和Fast R-CNN訓練時長均超過10 h。檢出率即對水稻病斑目標區(qū)域成功框選的圖像幅數(shù)占總檢測數(shù)的比值，本文方法檢出率為90.7%，高于YOLO v3的檢出率81.2%和Fast R-CNN的檢出率75.6%。

表2 試驗環(huán)境參數(shù)Table 2 Experimental environment parameter

表3 不同方法性能對比Table 3 Comparison of different algorithm performance

4 結論與討論

本文方法旨在與田間移動圖像采集處理設備結合，即在獲取樣本量與計算系統(tǒng)資源有限情況下，能夠實現(xiàn)現(xiàn)場進行水稻病蟲害圖像分類識別及病斑檢測的實時處理，所以主要從特征提取方法、分類準確度、算法時長及檢出率來討論評估。在特征提取方面，首先對所采集的高清圖像進行縮放利于提高圖像處理速度，利用雙邊濾波去噪處理增強圖像質量，能較好適應圖像采集環(huán)境變化；然后提取圖像的HOG特征和LBP特征加權融合，優(yōu)于徐丹等[27]串聯(lián)混合特征算法，大大降低了圖像復雜程度，無需另外降維處理。在分類準確度方面，本文采用SVM對4種水稻圖像進行分類，結果發(fā)現(xiàn)， HOG和LBP混合特征提取識別分類正確率為94.2%，優(yōu)于HOG、LBP和GLCM特征單一提取分類效果，較好解決了張金敏等[6]僅提取LBP特征及徐識博等[7]僅提取HOG特征出現(xiàn)的圖像重要信息缺失等問題。本文方法能夠保留圖像邊緣特征和紋理特征的重要信息，能夠對4種類型水稻實現(xiàn)有效區(qū)分。在方法時長方面，本文基于淺層機器學習模型進一步結合多尺度檢測，獲得最短訓練時長，遠小于YOLO v3[5]和Fast R-CNN[28]深度算法訓練時間，適用于田間及時處理。在檢出率方面，本文方法檢出率為90.7%，高于YOLO v3和Fast R-CNN深度算法，優(yōu)于徐識博等[7]HOG-SVM檢測結果。得到此結果具體有2個方面因素：一是本文檢測的褐斑病、稻瘟病及鐵甲蟲病在病斑邊緣與致病葉片紋理上具有較大差異，利于LBP與HOG的特征提取；二是本文后期結合移動設備進行田間采集，現(xiàn)場采集的樣本集有限，無法將YOLO v3和Fast R-CNN的深度算法優(yōu)勢體現(xiàn)出來。本文方法在樣本量少及處理效率高等方面具有明顯優(yōu)勢，能夠滿足田間對水稻病蟲害分類及檢測的農業(yè)需求，在今后農業(yè)信息化領域具有巨大應用潛能。