基于多分辨率多類(lèi)特征融合的梨葉小炭疽病斑識(shí)別

薛衛(wèi),易文鑫,康亞龍,徐陽(yáng)春,董彩霞*

(1.南京農(nóng)業(yè)大學(xué)人工智能學(xué)院,江蘇 南京 210095;2.南京農(nóng)業(yè)大學(xué)江蘇省固體有機(jī)廢棄物資源化高技術(shù)研究重點(diǎn)實(shí)驗(yàn)室/江蘇省有機(jī)固體廢棄物協(xié)同創(chuàng)新中心/教育部資源節(jié)約型肥料工程技術(shù)研究中心,江蘇 南京 210095)

梨是世界第三大果樹(shù)產(chǎn)業(yè),僅次于柑橘和蘋(píng)果。我國(guó)梨園面積和產(chǎn)量均居世界第一[1]。近年來(lái),隨著全球氣候不穩(wěn)定變化,我國(guó)南方的梅雨期加長(zhǎng),降雨量增大,導(dǎo)致梨主產(chǎn)區(qū)出現(xiàn)不同程度的早期落葉現(xiàn)象,尤其以長(zhǎng)江流域以南的省份如福建、江西等砂梨(PyruspyrifoliaNakai)產(chǎn)區(qū)發(fā)生范圍大,危害嚴(yán)重[2]。調(diào)查發(fā)現(xiàn),南方梨樹(shù)發(fā)生落葉的主要原因是炭疽病菌(Colletotrichum)侵染造成的,主要包括C.citricola、C.conoides、C.karsti、C.plurivorum、C.siamense和C.wuxiense共6種[3]。這些炭疽病菌在梨葉面定殖后可形成大量的黑色小斑點(diǎn)(直徑小于1 mm或直徑為1～2 mm)。在發(fā)病初期,直徑小于1 mm的黑色小斑點(diǎn)不易被肉眼識(shí)別,隨著侵染程度的加重,肉眼可見(jiàn)的黑色斑點(diǎn)越來(lái)越多,分布在整個(gè)葉面,葉片開(kāi)始發(fā)黃,最終脫落。通常,梨葉片炭疽病發(fā)病程度的高低主要通過(guò)在顯微鏡下人工統(tǒng)計(jì)葉面黑色小斑點(diǎn)的數(shù)量進(jìn)行評(píng)價(jià)[4-5],該過(guò)程費(fèi)時(shí)費(fèi)力、誤差大,很容易錯(cuò)過(guò)防治的最佳時(shí)期。因此,快速、高效檢測(cè)方法對(duì)及時(shí)診斷梨樹(shù)炭疽病的危害程度并采取有效措施具有重要意義。

深度學(xué)習(xí)是近年來(lái)比較熱門(mén)的圖像識(shí)別方法,在農(nóng)業(yè)病害[6]領(lǐng)域得到廣泛的應(yīng)用,例如煙葉病害識(shí)別[7]、蘋(píng)果病害識(shí)別[8]與麥冬葉部病害識(shí)別[9]等。大部分病害檢測(cè)針對(duì)整張葉片提取特征進(jìn)而識(shí)別出病害,或者分割出葉片大塊病斑,而梨葉炭疽病發(fā)病程度的高低則需要識(shí)別出葉片中每個(gè)細(xì)小病斑。梨葉炭疽病斑在整張圖像中所占像素?cái)?shù)極少,屬于目標(biāo)檢測(cè)中一個(gè)難題。對(duì)于小目標(biāo),國(guó)際光學(xué)工程學(xué)會(huì)(SPIE)對(duì)它的定義是小于圖像尺寸0.12%的物體[10]。梨葉單個(gè)炭疽病斑像素點(diǎn)數(shù)占比遠(yuǎn)小于0.12%,可歸結(jié)于小目標(biāo)檢測(cè)的范疇。

當(dāng)前較流行的目標(biāo)檢測(cè)框架如R-CNN(region-based convolutional neural networks)系列(R-CNN、Fast R-CNN和Faster R-CNN)[11-13]、YOLO(you only look once)系列[14-16]和SSD[17]等對(duì)于小目標(biāo)檢測(cè)的效果都不太理想。有學(xué)者提出利用多層特征、逐層預(yù)測(cè)等策略改善小目標(biāo)檢測(cè)效果。Hariharan等[18]摒棄了卷積神經(jīng)網(wǎng)絡(luò)最后一層作為特征表示,在前面幾層進(jìn)行精確定位,實(shí)現(xiàn)了既能精確定位又能獲取較好的語(yǔ)義信息的效果。Bell等[19]從上下文信息和多尺度入手,提出了內(nèi)外網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)ROI區(qū)域的內(nèi)外部信息進(jìn)行區(qū)域識(shí)別。Lin等[20]采用多尺度特征融合的方式,對(duì)不同特征層特征融合之后的結(jié)果進(jìn)行預(yù)測(cè)。李就好等[21]修改區(qū)域建議框的尺寸與數(shù)量,并結(jié)合特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)提高小目標(biāo)檢測(cè)能力。農(nóng)業(yè)領(lǐng)域,馬彥彥等[22]采用多尺度卷積提取深度特征獲取病斑葉片區(qū)域,利用SVM進(jìn)行像素分割得到病斑精準(zhǔn)邊界。Wiesner-Hanks等[23]提出專(zhuān)家標(biāo)注結(jié)合卷積神經(jīng)網(wǎng)絡(luò)以及條件隨機(jī)場(chǎng)的植物病害檢測(cè)方法,實(shí)現(xiàn)病害的毫米級(jí)檢測(cè)。從結(jié)果看,多尺度策略和修改建議框可以在一定程度上提高準(zhǔn)確率,但受目標(biāo)區(qū)域大小的影響,此類(lèi)算法仍難檢出很小的目標(biāo)。因此,梨葉炭疽病斑小目標(biāo)檢測(cè)具有重要的研究?jī)r(jià)值。

本文構(gòu)建梨葉炭疽病斑小目標(biāo)識(shí)別算法,提出采用細(xì)粒度顏色矩(FG-CM)描述病斑的顏色特征,用LBP、HOG提取病斑的紋理和形狀特征,然后基于隨機(jī)森林對(duì)顏色、紋理和形狀特征優(yōu)化降維。最后在多分辨率下送入隨機(jī)森林分類(lèi)融合得出最終識(shí)別結(jié)果。與現(xiàn)有算法相比,優(yōu)化后特征小目標(biāo)表達(dá)能力更強(qiáng),多尺度下分類(lèi)融合可檢測(cè)出更多小病斑。

1 材料與方法

1.1 圖像采集

梨葉病害圖像取自福建省三明市建寧縣溪口鎮(zhèn)枧頭村福建省農(nóng)業(yè)科學(xué)院果園試驗(yàn)站(34°04′N(xiāo),108°10′E)。該試驗(yàn)站屬于山地果園,地處亞熱帶季風(fēng)氣候,年平均氣溫約16.9 ℃,平均年日照時(shí)數(shù)1 720 h,無(wú)霜期230～280 d,年降水量1 850 mm。土壤類(lèi)型為黏質(zhì)紅壤土,土壤有機(jī)質(zhì)含量、全氮含量、速效鉀含量以及速效磷含量分別為19.7 g·kg-1、 1.49 g·kg-1、 49.0 mg·kg-1和37.7 mg·kg-1,pH值為 5.33。

在試驗(yàn)園區(qū)進(jìn)行梨葉采摘,采摘后在實(shí)驗(yàn)室用iPhone 6s智能手機(jī)后置攝像頭拍照。攝像頭正對(duì)葉片表面,距離葉片10 cm。圖像格式為JPG格式,圖像分辨率為4 032像素×3 024像素。將采集到的圖像進(jìn)行整理挑選,共挑選到200張拍攝效果良好的圖像作為試驗(yàn)數(shù)據(jù)樣本。為了探究在其他病害影響下炭疽病的識(shí)別準(zhǔn)確率,增強(qiáng)模型的魯棒性,需要采集其他病害樣本。由于時(shí)間以及人力有限等原因,采用爬蟲(chóng)技術(shù)在網(wǎng)上爬取梨葉病害圖片。其中包含白粉病、褐斑病、黑斑病、黑星病、輪紋病及銹病等6種常見(jiàn)病害,部分樣例如圖1所示。

圖1 數(shù)據(jù)采集樣本圖Fig.1 Samples of data acquisition

1.2 數(shù)據(jù)增強(qiáng)

使用工具Labelimg標(biāo)注樣本,數(shù)量如下:炭疽病2 789個(gè),白粉病810個(gè),褐斑病591個(gè),黑斑病269個(gè),黑星病517個(gè),輪紋病300個(gè),銹病618個(gè)。各類(lèi)病害樣本數(shù)量極不均勻,影響模型識(shí)別的準(zhǔn)確率[24],因此對(duì)數(shù)據(jù)做增強(qiáng)處理。數(shù)據(jù)增強(qiáng)有以下一些方法,例如裁剪、旋轉(zhuǎn)、翻轉(zhuǎn)、縮放、平移、添加噪點(diǎn)、亮度調(diào)整[25]、色度增強(qiáng)、對(duì)比度增強(qiáng)和銳度增強(qiáng)[26]等方法。選取6種方法進(jìn)行數(shù)據(jù)增強(qiáng),其中翻轉(zhuǎn)為水平翻轉(zhuǎn)和垂直翻轉(zhuǎn),旋轉(zhuǎn)包括旋轉(zhuǎn)30°、60°和90°。圖2即為數(shù)據(jù)增強(qiáng)的樣例,共產(chǎn)生58 940個(gè)樣本。將樣本混合,70%作為訓(xùn)練集,30%作為測(cè)試集,數(shù)據(jù)集增強(qiáng)方法和數(shù)量如表1所示。

圖2 部分?jǐn)?shù)據(jù)增強(qiáng)樣例Fig.2 Some data augmentation examples

表1 數(shù)據(jù)集增強(qiáng)前、后數(shù)量對(duì)比Table 1 Comparison of data sets before and after augmentation

1.3 梨葉炭疽病識(shí)別模型

1.3.1 模型流程模型由訓(xùn)練和病斑檢測(cè)2部分組成。1)模型訓(xùn)練。首先提取各類(lèi)病斑區(qū)域的顏色、紋理以及形狀3類(lèi)特征。顏色特征采用FG-CM表示,紋理、形狀特征分別采用LBP和HOG表示。然后,將這3種特征進(jìn)行融合,使用隨機(jī)森林算法進(jìn)行特征選擇。最后送入分類(lèi)器進(jìn)行訓(xùn)練。2)病斑檢測(cè)。輸入梨葉圖片,首先利用超綠特征空間分割算法,生成只含有葉片區(qū)域的圖片。然后采用局部自適應(yīng)閾值分割以及形態(tài)學(xué)算法提取多分辨率下的病斑區(qū)域,并提取病斑區(qū)域的最優(yōu)選擇特征進(jìn)行病斑區(qū)域識(shí)別。最后在多分辨率下對(duì)識(shí)別結(jié)果去重融合,識(shí)別出炭疽病斑。模型流程圖如圖3所示。

圖3 梨葉炭疽病識(shí)別算法流程圖Fig.3 Algorithm flow chart of pear leaf anthracnose recognition

圖4 炭疽病斑區(qū)域提取流程圖Fig.4 Flow chart of anthracnose spot area extraction

1.3.2 病斑區(qū)域提取病斑區(qū)域提取主要由 2步組成:基于超綠算法將葉片與背景分割開(kāi),降低直接分離病斑圖像的難度;再用局部閾值分割算法從葉片提取出疑似病斑區(qū)域。這樣能減少大量的非病斑目標(biāo)區(qū)域,極大降低了后續(xù)算法的時(shí)間復(fù)雜度,算法流程圖如圖4。

超綠特征[27]被廣泛用于農(nóng)業(yè)領(lǐng)域的植物葉片分割中。正常采集到的植物葉片中一般含有雜草、土壤等背景物體,超綠特征可抑制這些背景,將葉片從圖像中分割出來(lái)。

超綠分割算法表達(dá)式如下:

(1)

式中:(x,y)代表像素點(diǎn)坐標(biāo);EXG(x,y)代表超綠化后灰度圖的灰度值;G(x,y)、R(x,y)、B(x,y)分別表示彩色圖像在G、R、B空間值,范圍為[0,255]。

超綠灰度圖中灰色像素區(qū)域?yàn)槔嫒~葉片區(qū)域,黑色部分為背景區(qū)域或部分病斑區(qū)域。將超綠灰度圖進(jìn)行閾值分割得到完整葉片區(qū)域,通過(guò)局部自適應(yīng)閾值分割以及形態(tài)學(xué)算法即可得到病斑區(qū)域,如圖5所示。

多分辨率下進(jìn)行形態(tài)學(xué)操作時(shí)選擇的是結(jié)構(gòu)單元,分別為7×7、11×11以及15×15像素的矩形。

圖5 病斑區(qū)域提取Fig.5 Disease spot area extraction 圖(d)為從圖(c)中截取的局部放大圖,為便于觀(guān)察提取出的病斑區(qū)域。Figure(d)is a local enlarged image intercepted from figure(c),in order to facilitate observation of the extracted disease area.

1.3.3 特征提取提取有效的圖像特征是實(shí)現(xiàn)病斑準(zhǔn)確識(shí)別的重要環(huán)節(jié)。本文提取病斑區(qū)域顏色、紋理以及形狀3類(lèi)特征,顏色特征采用FG-CM表示,紋理、形狀特征分別采用LBP[28]和HOG[29]表示。LBP特征具有灰度不變性、旋轉(zhuǎn)不變性且運(yùn)算速度快等顯著優(yōu)點(diǎn),可穩(wěn)定描述梨葉病斑的紋理特征。采用HOG計(jì)算得到的描述子保持了幾何和光學(xué)轉(zhuǎn)化不變性(除非物體方向改變),因此適合局部形狀的檢測(cè)。

顏色是人眼最直觀(guān)感受到的特征,顏色矩是Stricker等[30]在1995年提出的一種通過(guò)計(jì)算矩來(lái)描述顏色分布特點(diǎn)的方法。顏色矩基于簡(jiǎn)單數(shù)學(xué)計(jì)算,能夠有效描述顏色特征,可表達(dá)病斑區(qū)域的顏色特征?？紤]到顏色信息主要集中在低階矩中[31],選取病斑區(qū)域的一階矩、二階矩、三階矩來(lái)表達(dá)梨葉不同病斑的顏色特征。針對(duì)小目標(biāo)病斑和對(duì)象粒度較小的問(wèn)題,提出細(xì)粒度顏色矩計(jì)算方法,以增加數(shù)據(jù)維度,提高特征表達(dá)能力。

傳統(tǒng)的顏色矩提取方法是將梨葉病斑區(qū)域從RGB空間轉(zhuǎn)化為HSV空間,獲取圖像的 H、S、V 3個(gè)分量信息,分別計(jì)算圖像的H、S、V 3個(gè)分量上均值、方差和斜度,然后進(jìn)行最小值歸一化處理,每張病斑區(qū)域圖像得到9 維顏色矩特征FCM。

FCM=[μH,σH,ζH,μS,σS,ζS,μV,σV,ζV]

(2)

采用改進(jìn)的顏色矩即FG-CM提取方法,用4×4大小的滑動(dòng)方塊以不重疊的方式提取顏色特征。由于圖像都?xì)w一化到28×28大小,因此一共將圖像分成49塊,然后將所有方塊的傳統(tǒng)顏色矩特征進(jìn)行串聯(lián)融合,作為整張圖像新的顏色矩特征,即細(xì)粒度顏色矩,每張病斑區(qū)域得到441維(9維×49)細(xì)粒度顏色矩特征FFG-CM。

FFG-CM=[F1,F2,F3,…,F49]

(3)

式中:F1到F49分別為第1到第49個(gè)方塊的9維傳統(tǒng)顏色矩。

1.3.4 特征選擇將3種特征FLBP、FFG-CM和FHOG串聯(lián)融合,得到841維融合特征F+。

F+=[FFG-CM,FLBP,FHOG]

(4)

直接將融合特征送入分類(lèi)器進(jìn)行分類(lèi),特征維數(shù)太高會(huì)導(dǎo)致運(yùn)行過(guò)慢,過(guò)度占用系統(tǒng)資源,影響算法效率,故采用隨機(jī)森林算法進(jìn)行特征選擇減小維度。

一般隨機(jī)森林樹(shù)的個(gè)數(shù)(n_estimators)越多,分類(lèi)越準(zhǔn)確,但是會(huì)導(dǎo)致模型過(guò)大,分類(lèi)速度緩慢。通過(guò)試驗(yàn)分析n_estimators(10～200)與準(zhǔn)確率的關(guān)系,如圖6所示,當(dāng)n_estimators為80時(shí),分類(lèi)準(zhǔn)確率最高,且樹(shù)的數(shù)量并不大,故80為最佳樹(shù)的個(gè)數(shù)。

圖6 隨機(jī)森林最佳樹(shù)的數(shù)量Fig.6 The optimal number of trees in random forest

用隨機(jī)森林修剪最不重要的特征,直到最終達(dá)到所需特征的數(shù)量,在交叉驗(yàn)證中得到最佳特征的數(shù)量和特征重要度排名(圖7)。排名前200的特征重要程度總和較大,后面641個(gè)特征重要程度近乎為0,故選擇前200個(gè)特征作為最終特征,減小算法模型訓(xùn)練的時(shí)間復(fù)雜度。

圖7 隨機(jī)森林特征選擇重要性度量Fig.7 Importance measurement of random forest feature selection

圖8 降維特征占比Fig.8 Percentage of each feature after feature selection

對(duì)上述隨機(jī)森林選擇的200維特征,按照特征重要性排序,得到如下結(jié)果:97維屬于細(xì)粒度顏色矩向量,67維屬于LBP特征向量,36維屬于HOG特征向量。特征向量中細(xì)粒度顏色矩占比最大,達(dá)到了48.5%(圖8)。由此可見(jiàn),細(xì)粒度顏色矩在3類(lèi)特征中重要性最大,在梨葉炭疽病檢測(cè)當(dāng)中起到關(guān)鍵性的作用,LBP特征和HOG特征分別占33.5%和18%,表明在炭疽病檢測(cè)中HOG特征起的作用較小。

1.3.5 多尺度檢測(cè)模型小目標(biāo)檢測(cè)的難點(diǎn)在于其所占像素極少,分辨率低,圖像模糊,攜帶的信息少,由此導(dǎo)致特征表達(dá)能力弱。本文基于圖像金字塔的思想,在圖像3個(gè)尺度上進(jìn)行隨機(jī)森林識(shí)別融合(圖3)。通過(guò)上采樣的方法將圖像分別放大1.5和2倍,在高分辨率下小目標(biāo)被放大,從而更容易被檢測(cè)到。在多分辨率下可能1個(gè)病斑存在多個(gè)檢測(cè)框,根據(jù)重疊度(IOU)大小設(shè)置閾值為0.5,若IOU大于該閾值,則將該候選框去除,直到?jīng)]有重疊的疑似病斑檢測(cè)框,即為病斑識(shí)別結(jié)果。

IOU計(jì)算公式:

(5)

式中:U、V分別代表2個(gè)候選框,U∩V指候選框重疊區(qū)域面積,U∪V指2個(gè)候選框覆蓋面積。

隨機(jī)森林基于Python機(jī)器學(xué)習(xí)Scikit-Learn包中的sklearn.ensemble.RandomForestClassifier模塊建立。部分參數(shù)設(shè)置如下:max_depth,決策樹(shù)的最大深度,設(shè)置為10;min_size,子樹(shù)的最小規(guī)模,設(shè)置為1;n_estimators,決策樹(shù)的個(gè)數(shù),設(shè)置為200;max_features,最大特征數(shù),設(shè)置為300;random_state,控制模型的隨機(jī)狀態(tài),設(shè)置為0。

2 結(jié)果與分析

2.1 模型訓(xùn)練

試驗(yàn)軟件環(huán)境為Windows 10的64位操作系統(tǒng),計(jì)算機(jī)內(nèi)存為16 GB,搭載Intel Core E5-2650 v4處理器,并采用英偉達(dá) GTX 1080Ti顯卡加速圖像處理。深度學(xué)習(xí)開(kāi)源框架采用Pytorch 1.1.0,編程語(yǔ)言為 Python 3.6.4。

隨機(jī)森林分類(lèi)器生成樹(shù)個(gè)數(shù)以及最大特征數(shù)分別設(shè)置為200和300,訓(xùn)練次數(shù)為200。對(duì)比試驗(yàn)中,BP神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練次數(shù)設(shè)置為100,設(shè)置有2個(gè)隱含層,節(jié)點(diǎn)數(shù)分別為80和50,神經(jīng)元激活函數(shù)選擇tansig函數(shù)。SVM分類(lèi)器使用sklearn中的svc函數(shù),核函數(shù)選用的是Rbf核函數(shù),訓(xùn)練次數(shù)為100,C的取值為0.85,Gamma取值為9 000。R-CNN算法訓(xùn)練階段的迭代次數(shù)為2 000,初始學(xué)習(xí)率為0.01,batchsize為200。Faster R-CNN算法選用 VGG16 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)的基礎(chǔ)網(wǎng)絡(luò),包含 9 種錨框,其長(zhǎng)寬比為 0.5、1、2,尺寸為8、16、32。訓(xùn)練階段的迭代次數(shù)設(shè)置為30 000次,初始學(xué)習(xí)率設(shè)為0.001,batchsize為256,學(xué)習(xí)率的衰減系數(shù)和動(dòng)量分別為0.1和0.9。SSD算法采用了VGG16模型作為基礎(chǔ)模型,將VGG-16網(wǎng)絡(luò)結(jié)構(gòu)的2個(gè)全連接層改為卷積層,并增加4個(gè)卷積層來(lái)預(yù)測(cè)位置坐標(biāo)的偏移和置信度,算法的輸入是 300×300×3,采用 conv4-3、conv7、conv8-2、conv9-2、conv10-2 和 conv11-2 的輸出來(lái)預(yù)測(cè)位置和置信度。訓(xùn)練階段采用動(dòng)量為0.9的隨機(jī)梯度下降算法進(jìn)行優(yōu)化,共訓(xùn)練40 000次,batchsize為128,初始學(xué)習(xí)率為0.001,每4 000次進(jìn)行學(xué)習(xí)率衰減,衰減系數(shù)為0.1。

2.2 評(píng)價(jià)指標(biāo)

為了檢驗(yàn)炭疽病識(shí)別效果,采用機(jī)器學(xué)習(xí)常見(jiàn)的5種指標(biāo),分別為準(zhǔn)確率(accuracy),精準(zhǔn)率(precision),召回率(recall),誤報(bào)率(false positive rate,FPR),真負(fù)率(specificity)[32]。計(jì)算公式如下:

(6)

(7)

(8)

(9)

(10)

式中:TP為正確識(shí)別正樣本個(gè)數(shù);FP為錯(cuò)誤識(shí)別正樣本個(gè)數(shù);TN為正確識(shí)別負(fù)樣本個(gè)數(shù);FN為錯(cuò)誤識(shí)別負(fù)樣本個(gè)數(shù)。

2.3 炭疽病識(shí)別

將炭疽病和其他病害分為2類(lèi),炭疽病作為正類(lèi),標(biāo)簽為0,其余6種病害標(biāo)為負(fù)類(lèi),標(biāo)簽為1。將它們的顏色、紋理以及形狀特征進(jìn)行融合后,分別送入BP、SVM以及RF分類(lèi)器中分類(lèi)。數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集,訓(xùn)練集與測(cè)試集的數(shù)據(jù)是獨(dú)立不相同的。首先使用訓(xùn)練集數(shù)據(jù)對(duì)分類(lèi)器進(jìn)行訓(xùn)練,然后將測(cè)試集數(shù)據(jù)送入訓(xùn)練好的分類(lèi)器中進(jìn)行識(shí)別分類(lèi),計(jì)算測(cè)試集的準(zhǔn)確率,最終得出梨葉炭疽病識(shí)別結(jié)果(表2)。

表2 炭疽病識(shí)別結(jié)果Table 2 Anthracnose recognition results

續(xù)表2 Table 2 continued

從表2可以看出,單特征中顏色特征的識(shí)別準(zhǔn)確率最高,達(dá)到87%,HOG特征識(shí)別的準(zhǔn)確率最低,可能原因是病斑大多都是類(lèi)圓形,顏色和紋理差異比較明顯造成的,這也剛好驗(yàn)證了在1.3.4節(jié)利用隨機(jī)森林算法進(jìn)行特征選擇時(shí),細(xì)粒度顏色矩FG-CM占比最大、LBP特征次之、HOG占比最小的結(jié)果。同時(shí),對(duì)比其他識(shí)別算法,發(fā)現(xiàn)SVM算法的準(zhǔn)確率比BP提高了大約2%,達(dá)到96.40%,單尺度隨機(jī)森林算法比SVM算法的準(zhǔn)確率提高了大約0.8%,達(dá)到97.27%。采用Multi-RF識(shí)別炭疽病,準(zhǔn)確率達(dá)到97.88%,比不采用多分辨率方法提升了約0.6百分點(diǎn)。

深度學(xué)習(xí)算法R-CNN、Faster R-CNN以及SSD算法對(duì)炭疽病檢測(cè)的效果非常差,準(zhǔn)確率和召回率都在35%以下,這是由于本研究的炭疽病屬于小目標(biāo),目標(biāo)尺寸小。在上述目標(biāo)檢測(cè)模型中,基礎(chǔ)骨干神經(jīng)網(wǎng)絡(luò)(VGG系列和Resnet系列)有幾次下采樣處理,導(dǎo)致小目標(biāo)在特征圖的尺寸基本上只有個(gè)位數(shù)的像素大小,小目標(biāo)特征的感受野映射回原圖將大于小目標(biāo)在原圖的尺寸,從而造成此類(lèi)目標(biāo)檢測(cè)分類(lèi)器對(duì)小目標(biāo)的分類(lèi)效果差。

為便于觀(guān)察小病斑的識(shí)別效果,僅展示1張完整梨葉病害圖像中截取的部分(圖9)。原分辨率下,一些小的炭疽病斑點(diǎn)識(shí)別不出來(lái),但是在上采樣的圖像中識(shí)別出來(lái)了,說(shuō)明多分辨率策略是有效的。

圖9 多分辨率試驗(yàn)結(jié)果Fig.9 Multi-resolution experimental results

2.4 細(xì)粒度顏色矩

標(biāo)準(zhǔn)顏色矩特征是區(qū)域整體計(jì)算,FG-CM將圖像分塊,分別提取每一小塊的顏色矩特征,然后將它們?nèi)诤闲纬梢粋€(gè)新的顏色矩特征。

為了確定最佳分塊大小提取顏色特征,試驗(yàn)分別對(duì)比了28×28圖片中采用4×4、7×7分塊大小,以及40×40圖片中用4×4、7×7分塊大小,試驗(yàn)結(jié)果如表3所示,其中40×40圖片采用7×7分塊來(lái)提取細(xì)粒度顏色矩特征,由于無(wú)法整除,采用了邊緣填充2個(gè)像素的方法進(jìn)行擴(kuò)邊。

從試驗(yàn)結(jié)果可看出,當(dāng)病害圖片大小為28×28且滑動(dòng)窗口采用4×4大小時(shí),準(zhǔn)確率最高,達(dá)到97.27%,FG-CM比傳統(tǒng)顏色矩方法效果提升了2百分點(diǎn)。

2.5 病斑特征差異對(duì)比分析

從各類(lèi)病害中隨機(jī)選取3張,如圖10所示,直觀(guān)上炭疽病與黑斑病比較相似,與其他病害的顏色、紋理和形狀都有較明顯的差異。

表3 基于隨機(jī)森林分類(lèi)方法的圖像分塊試驗(yàn)Table 3 Image block experiment based on random forest classification method

圖10 選取的梨葉病害樣本示例Fig.10 Selected pear leaf disease samples A1—A3. 炭疽病Anthracnose;B1—B3. 白粉病Powdery mildew;C1—C3. 褐斑病Brown spot;D1—D3. 黑斑病Black spot;E1—E3.黑星病Venturia;F1—F3. 輪紋病Ring rot;G1—G3. 銹病Rust.

為了進(jìn)一步量化表達(dá)與分析梨葉炭疽病與其他幾類(lèi)病害的差異,隨機(jī)在每類(lèi)樣本庫(kù)中抽取20張病斑區(qū)域樣本,分別提取FG-CM、LBP以及HOG,并取均值作為該類(lèi)病害的特征,然后計(jì)算均方誤差來(lái)度量它們之間的差異,RMSE代表均方誤差,對(duì)比結(jié)果如圖11所示。

(11)

式中:n為特征向量的維數(shù);αi代表α特征向量的第i個(gè)值;βi代表β特征向量的第i個(gè)值。

由圖11可知,從顏色、紋理以及形狀差異上看,黑斑病與炭疽病均方誤差分別為0.14、0.12和0.05,均小于其他病斑與炭疽病班的均方誤差,這表明在所有病斑中,黑斑病與炭疽病最為相似。炭疽病與其他病害在顏色特征上的差異大于紋理,而紋理大于形狀,表明使用顏色更易于區(qū)分病斑,結(jié)論與特征選擇結(jié)果、單顏色特征分類(lèi)結(jié)果一致。

圖11 各類(lèi)病害與炭疽病之間的差異對(duì)比Fig.11 Differences between various diseases and anthracnose

3 結(jié)論

本文提出將適合小目標(biāo)顏色特征表達(dá)的FG-CM、LBP 和HOG作為病斑區(qū)域特征,并通過(guò)多分辨率去重融合算法完成病斑識(shí)別?；陔S機(jī)森林特征選擇分析FG-CM、LBP和HOG 3種特征在炭疽病斑識(shí)別中的作用,發(fā)現(xiàn)FG-CM在融合特征中占比最高,達(dá)到48.5%,在識(shí)別過(guò)程中起到最關(guān)鍵的作用,LBP次之,HOG特征重要性最低;且炭疽病與其他病害在顏色特征上的均方誤差差異也大于紋理和形狀特征,體現(xiàn)出炭疽病與其他病害顏色差異明顯,構(gòu)建的特征參數(shù)有效。識(shí)別結(jié)果表明,融合特征隨機(jī)森林識(shí)別效果優(yōu)于單項(xiàng)特征以及兩兩融合的特征提取算法,Multi-RF優(yōu)于單尺度隨機(jī)森林和其他分類(lèi)器;至于R-CNN、Faster R-CNN及SSD等代表性深度學(xué)習(xí)算法,由于受到下采樣處理、建議框等制約,檢測(cè)效果遠(yuǎn)低于本文算法。本文多分辨率融合特征識(shí)別算法較好解決了梨葉小炭疽病斑識(shí)別問(wèn)題,可實(shí)現(xiàn)梨樹(shù)炭疽病危害的有效診斷。