李 超,彭進(jìn)業(yè),張善文
(1.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2. 西京學(xué)院信息工程學(xué)院,陜西 西安 710123)
基于特征融合與局部判別映射的蘋果葉部病害識(shí)別方法
李 超1,彭進(jìn)業(yè)1,張善文2
(1.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;2. 西京學(xué)院信息工程學(xué)院,陜西 西安 710123)
針對(duì)利用植物病害葉片圖像特征識(shí)別病害類別的復(fù)雜性,提出一種基于特征融合與局部判別映射的植物葉部病害識(shí)別方法。首先,在中心對(duì)稱局部二值模式(CS-LBP)的基礎(chǔ)上,設(shè)計(jì)了一種自適應(yīng)中心對(duì)稱局部二值模式(ACS-LBP),由此分割病害葉片的病斑圖像;然后提取并融合病斑圖像的紋理、形狀和顏色特征;再利用局部判別映射算法對(duì)融合特征進(jìn)行維數(shù)約簡(jiǎn);最后利用支持向量機(jī)進(jìn)行病害類別分類。在3種常見蘋果病害葉片圖像數(shù)據(jù)庫(kù)上進(jìn)行病害識(shí)別驗(yàn)證試驗(yàn),結(jié)果表明,該方法能夠有效識(shí)別蘋果葉部病害,平均識(shí)別率高達(dá)96%以上。
植物病害識(shí)別;特征融合;自適應(yīng)中心對(duì)稱局部二值模式(ACS-LBP);支持向量機(jī)(SVM);改進(jìn)局部判別映射(LDP)
多年來(lái),我國(guó)植物病害主要依靠植保專家和農(nóng)民目測(cè)及經(jīng)驗(yàn)進(jìn)行識(shí)別。人工識(shí)別勞動(dòng)強(qiáng)度大、效率低,且識(shí)別結(jié)果具有很強(qiáng)的主觀性,也不適用于大面積植物病害檢測(cè)和識(shí)別。隨著計(jì)算機(jī)軟硬件技術(shù)和圖像處理技術(shù)的不斷發(fā)展,出現(xiàn)了很多基于圖像處理的植物葉部病害自動(dòng)識(shí)別方法[1-3]。Wang等[4]根據(jù)植物病害葉片圖像的特點(diǎn),首先采用矢量中值濾波去除葡萄病害葉片圖像噪聲,然后提取其紋理特征和顏色特征,最后利用核函數(shù)K均值聚類方法識(shí)別病害。馬曉丹等[5]綜合運(yùn)用計(jì)算機(jī)數(shù)字圖像處理技術(shù)與人工神經(jīng)網(wǎng)絡(luò)(ANN)技術(shù),建立了一個(gè)多層BP神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了大豆葉片病斑的自動(dòng)識(shí)別。李乃祥等[6-7]通過計(jì)算機(jī)視覺技術(shù)采集不同區(qū)域的植物圖像,對(duì)植物病斑情況進(jìn)行有效識(shí)別。胡祝華等[8]設(shè)計(jì)了一套農(nóng)作物病害管理系統(tǒng),通過該系統(tǒng)實(shí)現(xiàn)了農(nóng)作物病蟲害的遠(yuǎn)程數(shù)據(jù)采集、自動(dòng)監(jiān)控、智能檢測(cè)和遠(yuǎn)程管理,從而可以精準(zhǔn)分割和識(shí)別農(nóng)作物生長(zhǎng)過程中的葉部病斑和病害類別。病害葉片的病斑分割是病害識(shí)別方法的關(guān)鍵步驟,病斑分割效果的好壞直接影響病害的識(shí)別率[9-10]。由于病害葉片圖像的復(fù)雜性,使得很多學(xué)者都致力于病斑圖像分割和特征提取方法研究。從已有的文獻(xiàn)可以歸納出幾十種病斑分割方法和從一幅葉片圖像中能夠提取出上百種病害分類特征。目前還沒有比較普遍使用的分割方法,而且由于很多特征組成的特征向量是非線性數(shù)據(jù),因此利用經(jīng)典的主成分分析、小波分析、遺傳算法、粗糙集等特征選擇方法,很難選擇出少量對(duì)分類貢獻(xiàn)較大的特征。流形學(xué)習(xí)是目前非線性數(shù)據(jù)維數(shù)約簡(jiǎn)的一種有效算法,已被成功應(yīng)用于人臉識(shí)別[11-12]和植物物種識(shí)別中[13-14]。在以上文獻(xiàn)分析和局部二值模式[15-16]的基礎(chǔ)上,本研究提出一種基于特征融合與局部判別映射的蘋果葉部病害識(shí)別方法,并在3種常見蘋果病害葉片圖像數(shù)據(jù)庫(kù)上進(jìn)行了驗(yàn)證。
經(jīng)典的LBP算法將鄰域作為處理單元,以任一像素為中心,將該像素的灰度值gc作為閾值,比較鄰域中像素的灰度值gi(i =0,1,2,…P)與gc:若gi> gc,則gi=1;否則gi=0。再進(jìn)行加權(quán)求和,得到中心像素gc的LBP值:
由于LBP直方圖隨著半徑R的增大和鄰域像素點(diǎn)P的增加,直方圖的維數(shù)會(huì)顯著增高,計(jì)算量增大,因而降低后續(xù)識(shí)別算法的效率。CS-LBP能夠大幅度降低直方圖的維數(shù)[17]。本研究針對(duì)病害葉片圖像的復(fù)雜多樣性特點(diǎn),在CS-LBP的基礎(chǔ)上,提出了一種自適應(yīng)CS-LBP算法(ACS-LBP),對(duì)病害葉片圖像進(jìn)行分割,并由此提取病斑圖像的紋理特征。該方法能夠根據(jù)圖像的特點(diǎn),更加真實(shí)地反映病斑圖像中紋理細(xì)節(jié)。每個(gè)像素的ACSLBPP,R值為:
二維數(shù)據(jù)ACSLBPP,R(x,y)為分割出的病斑灰度圖像。λ由實(shí)驗(yàn)估計(jì),一般取值0.01。
不同類型病害使得植物病害葉片圖像的病斑顏色、紋理和形狀各不相同。因此,首先利用ACS-LBP分割每幅病害葉片圖像得到病斑圖像,然后提取病斑圖像的顏色、紋理和形狀
特征,組成特征向量,用于病害類別識(shí)別。
2.1 紋理特征
利用LBP算法能夠得到病斑圖像的具有旋轉(zhuǎn)不變性的紋理特征[17]。將分割出的每幅病斑圖像等劃分為8×8=64個(gè)子塊,分別計(jì)算每個(gè)子塊的直方圖,記為Vi(i=1,2,…64)。然后計(jì)算每個(gè)子塊的信息熵:式中,Pij為第i個(gè)子塊圖像中第j灰度級(jí)出現(xiàn)的概率,L為Vi的灰度級(jí)。
再對(duì)直方圖進(jìn)行加權(quán)依次連接,得到原圖像的紋理加權(quán)特征向量V:
V=[a1V1,a2V2,…a64V64]
后續(xù)試驗(yàn)中,ACS-LBP采用中心對(duì)稱圓形鄰域,半徑為1,鄰域數(shù)為8,因此,L=15,得到的紋理特征為8×8×15=960維。
2.2 形狀特征
葉片病斑圖像的縱橫軸比、矩形度、球狀性、圓形度、偏心率、周長(zhǎng)凹凸比、面積凹凸比和形狀參數(shù)以及7個(gè)Hu不變矩參數(shù)共15個(gè)特征能夠描述病斑圖像的幾何特征,而且這些特征受病害變化較慢。將這些特征作為病害識(shí)別的形狀特征,依次分別表示為:
以上8個(gè)特征組成特征向量記為S。
Hu不變矩具有旋轉(zhuǎn)、平移和尺度不變性。選擇Hu不變矩作為病害分類特征,可以體現(xiàn)植物病斑圖像穩(wěn)定的形狀特征。對(duì)ACS-LBP病斑圖像,提取7個(gè)不變矩參數(shù),記為H=[1,2,…7],計(jì)算公式略。
2.3 顏色特征
葉片癥狀的顏色特征是病害類型識(shí)別的重要特征。ACS-LBP病斑圖像為灰度圖像,將ACS-LBP病斑圖像轉(zhuǎn)換為二值化圖像,然后與病害葉片原圖像進(jìn)行異或運(yùn)算,得到彩色病斑圖像。提取該圖像的R、G、B顏色成分和H色調(diào)成分,再分別計(jì)算R、G、B和H的均值、方差、偏度、峰值、能量、熵共6×4=24個(gè)特征[18],得到的特征向量記為C。
2.4 特征融合
由以上得到的特征組成一個(gè)特征向量:x =[V,S,H,C]
x的維數(shù)為960+15+24=999??梢钥闯?,本研究得到的特征向量的維數(shù)過高,不利于分類器訓(xùn)練和實(shí)際病害識(shí)別系統(tǒng)的實(shí)時(shí)性要求。本研究利用局部判別映射算法進(jìn)行維數(shù)約簡(jiǎn)。
經(jīng)典局部保持映射算法(LPP)是一種無(wú)監(jiān)督流形學(xué)習(xí)算法[19],沒有有效利用數(shù)據(jù)的類別信息。申中華等[20]在LPP的基礎(chǔ)上,提出了監(jiān)督LPP算法(SLPP),該算法需要構(gòu)建兩個(gè)鄰域圖,降低了算法的運(yùn)行效果。本研究在LPP和SLPP的基礎(chǔ)上,提出一種局部判別映射算法(LDP),由此對(duì)病害葉片圖像特征進(jìn)行維數(shù)約簡(jiǎn)。
設(shè)C類n個(gè)高維樣本點(diǎn)X =[ x1,x2,…,xn]RD×n,由LDP算法對(duì)X約簡(jiǎn)后的低維樣本點(diǎn)為Y =[ y1,y2,…,yn]∈Rd×n,即Y=ATX,
d<<D,A為映射矩陣,LDP算法的基本步驟描述如下:
(1)利用K-最近鄰準(zhǔn)則構(gòu)建近鄰關(guān)系圖G=(V,H),若任意兩個(gè)樣本點(diǎn)在G上是互近鄰的,則連接這兩點(diǎn)。任意兩點(diǎn)之間連線的權(quán)值定義為:
式中,yi=ATxi,A為映射矩陣。
式中,L為L(zhǎng)aplacian矩陣,且L=M-W,W={Wij},M為一個(gè)對(duì)角矩陣,其元素為W的行或列和,即Mii=∑jWij。
為求解最佳映射矩陣A:
映射矩陣A由最小特征值問題的d個(gè)最小特征值對(duì)應(yīng)的特征向量ai(i =0,1,…d-1)組成。
LDP算法通過求解施加吸引力Wij的目標(biāo)函數(shù)最小值來(lái)保證觀察空間中任意兩個(gè)同類近鄰樣本點(diǎn)xi和xj投影后在低維空間中對(duì)應(yīng)的樣本點(diǎn)yi和yj也是最近鄰點(diǎn)。
對(duì)于任意一個(gè)高維樣本x,由映射矩陣A得到低維映射y為:
y = ATx
為了表明本研究提出植物病害識(shí)別方法的有效性,在陜西楊凌蘋果園區(qū)蘋果的斑點(diǎn)落葉病、花葉病和銹病3種常見病害葉片圖像數(shù)據(jù)庫(kù)上進(jìn)行病害識(shí)別實(shí)證分析。圖像處理軟件采用Matlab7.0。本研究利用ACS-LBP分割病害葉片圖像,提取分類特征,利用LDP約簡(jiǎn)分類特征,利用SVM分類器分類識(shí)別病害。試驗(yàn)中采用5折交叉驗(yàn)證法進(jìn)行病害識(shí)別,即將分割后的病斑圖像隨機(jī)劃分成5份,每次劃分的4份共144幅作為訓(xùn)練樣本訓(xùn)練SVM分類器;剩余1份共36幅作為測(cè)試樣本,用于測(cè)試算法的有
效性,共執(zhí)行5次性能測(cè)試,在[0,1]范圍內(nèi)調(diào)整a值,調(diào)整SVM的參數(shù),在不同的約簡(jiǎn)維數(shù)下進(jìn)行病斑分類,記錄每次識(shí)別率的最大值。進(jìn)行10次這樣的劃分,得到50個(gè)最大值,將其平均值作為算法的識(shí)別率。
4.1 數(shù)據(jù)采集
每種病害葉片選擇60幅共180幅圖像(圖1,封三),每幅圖像大小裁剪為768×512。由于利用智能手機(jī)或物聯(lián)網(wǎng)拍攝的蘋果彩色葉片圖像的病斑與正常葉片圖像之間一般存在對(duì)比度不明顯、邊緣模糊等現(xiàn)象以及有噪聲和光照等影響,因此,需要對(duì)數(shù)字化葉片圖像進(jìn)行濾波、降噪、增強(qiáng)等預(yù)處理[2,9]。
4.2 試驗(yàn)步驟
基于特征融合和LDP的植物病害識(shí)別方法主要步驟為:
(1)利用ACS-LBP對(duì)每幅病害葉片圖像進(jìn)行分割,P=8,R=1,λ=0.01,得到二維數(shù)據(jù)ACSLBPP,R(x,y),即為分割出的病斑灰度圖像(圖2,封三);
(2)將每幅病斑圖像劃分為8×8=64個(gè)子圖像,利用V=[a1V1,a2V2,…a64V64] ,提取紋理特征V;
(3)提取每幅病斑圖像的形狀S和Hu不變矩特征H,再提取顏色特征C;然后組成特征向量x =[V,S,H,C];
(4)利用訓(xùn)練樣本構(gòu)建鄰域圖;
(5)利用
計(jì)算任意兩點(diǎn)之間的權(quán)值,參數(shù)β =100[21]。
(7)由y = ATx ,映射待測(cè)試樣本到低維特征空間;
(8)利用SVM分類器預(yù)測(cè)測(cè)試樣本的標(biāo)簽[22]。
4.3 結(jié)果與分析
為了驗(yàn)證本研究病害識(shí)別方法ACS-LBP的有效性,對(duì)比了ACS-LBP方法與其他4種常用葉部病害識(shí)別方法〔包括基于核K聚類方法(KKC)[9]、基于Android平臺(tái)(Android)[22]、基于支持向量機(jī)(SVM)[23]和基于病斑形狀和神經(jīng)網(wǎng)絡(luò)(SSNN)[24]的葉片病害識(shí)別方法〕的識(shí)別結(jié)果(表1)。上述5種方法均在相同的蘋果病害葉片圖像數(shù)據(jù)集上進(jìn)行試驗(yàn),而且葉片圖像的預(yù)處理以及訓(xùn)練子集和測(cè)試子集的劃分也相同,但各個(gè)方法特征提取和選擇的特征數(shù)目不同,采用的分類器也不同。從表1可以看出,ACS-LBP方法的識(shí)別率最高、識(shí)別時(shí)間最短。原因是ACS-LBP將病斑圖像進(jìn)行分塊后,計(jì)算每個(gè)子塊的信息熵,并以此作為各個(gè)子塊的加權(quán)系數(shù)進(jìn)行特征提取,考慮了中心像素與周圍像素的大小關(guān)系在紋理特征提取中的作用,得到的960維紋理特征能較好地描述粗細(xì)紋理特性。再融合病斑圖像的15形狀特征和24個(gè)顏色特征,共得到999維分類特征,與其他方法不同的是,沒有對(duì)999維特征進(jìn)行特征提取,而是利用LDP方法進(jìn)行維數(shù)約簡(jiǎn),在低維空間中進(jìn)行病害葉片分類。
本研究提出了一種基于特征融合和局部判別映射的病害識(shí)別方法。在該方法中,設(shè)計(jì)了一
種ACS-LBP病害葉片圖像分割和病斑圖像紋理特征提取方法,再融合了病斑圖像的形狀和顏色特征,再在LPP和SLPP算法的基礎(chǔ)上,提出了LDP方法,由此對(duì)病斑圖像的分類特征向量進(jìn)行維數(shù)約簡(jiǎn),最后利用SVM進(jìn)行病害識(shí)別。試驗(yàn)結(jié)果表明,本研究所提出方法有效。該方法能夠應(yīng)用于針對(duì)設(shè)施農(nóng)業(yè)或大區(qū)域農(nóng)場(chǎng)的病害遠(yuǎn)程自動(dòng)監(jiān)控系統(tǒng),為后續(xù)構(gòu)建完整的病害監(jiān)控、診斷和防治系統(tǒng)提供了理論基礎(chǔ)。下一步研究重點(diǎn)是將該方法應(yīng)用于遠(yuǎn)程植物葉部病害監(jiān)控系統(tǒng)中,繼續(xù)深入拓展對(duì)病害葉片圖像的特征提取、精準(zhǔn)識(shí)別與診斷系統(tǒng)研究。
表1 蘋果葉片病害識(shí)別結(jié)果
[1] 田有文,李成華. 基于統(tǒng)計(jì)模式識(shí)別的植物病害彩色圖像分割方法[J]. 沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào),2003,34(4):301-304.
[2] Anand H Kulkarni,Ashwin Patil R K. Applying image processing technique to detect plant diseases[J]. International Journal of Modern Engineering Research (IJMER),2012,2(5):3661-3664.
[3] Hiary H A,Ahmad S B,Reyalat M,et al. Fast and accurate detection and classification of plant diseases[J]. International Journal of Computer Applications,2011,17(1):31-38.
[4] Wang S,He D J,Li W,et al. Plant leaf disease recognition based on Kernel K-means Clustering Algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery,2009,40(3):152-155.
[5] 馬曉丹,祁廣云. 基于神經(jīng)網(wǎng)絡(luò)的大豆葉片病斑的識(shí)別與研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報(bào),2006,18(2):84-87.
[6] 李乃祥,郭鵬,劉同海,等. 一種溫室蔬菜葉部病害圖像自動(dòng)識(shí)別方法,CN103559511A[P]. 2014.
[7] 李乃祥,郭鵬,王學(xué)利,等. 溫室病蟲害遠(yuǎn)程智能識(shí)別與視頻診斷系統(tǒng)[J]. 中國(guó)科技成果,2015(4):54.
[8] 胡祝華,趙瑤池. 農(nóng)業(yè)病蟲害智能視頻監(jiān)控系統(tǒng)的構(gòu)建和應(yīng)用[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2016(3):186-190.
[9] 虎曉紅,李炳軍,席磊. 基于多示例圖的小麥葉部病蟲害分割方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2012,28(13):154-158.
[10] 賴軍臣,湯秀娟,謝瑞芝,等. 基于G-MRF模型的玉米葉斑病害圖像的分割[J]. 中國(guó)農(nóng)業(yè)科學(xué),2010,43(7):1363-1369.
[11] Li B,Huang D S. Locally linear discriminant embedding:An efficient method for face recognition[J]. Pattern Recognition,2008,41(12):3813-3821.
[12] Zhang S W,Lei Y K,Dong T B,et al. Label propagation based supervised locality projection analysis for plant leaf classification[J]. Pattern Recognition,2013,46(7):1891-1897.
[13] Zhang S W,Lei Y K,Wu Y H. Semi-supervised locally discriminant projection for classification and recognition[J]. Knowl Based Syst,2011,24(2):341-346.
[14] Zhang S W,Lei Y K. Modified locally linear discriminant embedding for plant leaf recognition[J]. Neurocomputing,2011,74(14-15):2284-2290.
[15] Ojala T,Pietikainen M,Maenpaa T. Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
[16] 付蓉,石美紅,徐步高. 基于自適應(yīng)學(xué)習(xí)局部二值模式的織物疵點(diǎn)檢測(cè)算法[J]. 計(jì)算機(jī)集成制造系統(tǒng),2010,16(9):2009-2015.
[17] 張潔玉,趙鴻萍,陳曙. 自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別[J]. 電子與信息學(xué)報(bào),2014,36(6):1327-1333.
[18] 岑喆鑫,李寶聚,石延霞,等. 基于彩色圖像顏色統(tǒng)計(jì)特征的黃瓜炭疽病和褐斑病的識(shí)別研究[J]. 園藝學(xué)報(bào),2007,34(6):1425- 1430.
[19] He X,Niyogi P. Locality preserving projections[C]. Advances in Neural Information Processing Systems,Vancouver,Canada,2003:585-591.
[20] 申中華,潘永惠,王士同. 有監(jiān)督的局部保留投影降維算法[J]. 模式識(shí)別與人工智能,2008,21(2):233-239.
[21] Li B,Wang C,Huang D S. Supervised feature extraction based on orthogonal discriminant projection[J]. Neurocomputing,2009,73:191-196.
[22] 王梅嘉,何東健,任嘉琛. 基于Android平臺(tái)的蘋果葉病害遠(yuǎn)程識(shí)別系統(tǒng)[J]. 計(jì)算機(jī)工程與設(shè)計(jì),2015,36(9):2585-2590.
[23] 張芳,王璐,付立思,等. 基于支持向量機(jī)的黃瓜葉部病害的識(shí)別研究[J]. 沈陽(yáng)農(nóng)業(yè)大學(xué)學(xué)報(bào),2014(4):457-462.
[24] 賈建楠,吉海彥. 基于病斑形狀和神經(jīng)網(wǎng)絡(luò)的黃瓜病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2013(S1):115-121.
(責(zé)任編輯 崔建勛)
Apple leaf disease recognition based on feature fusion and local discriminant projection
LI Chao1,PENG Jin-ye1,ZHANG Shan-wen2
(1.Department of Information Science and Technology,Northwest University,Xi’an 710127,China;2. College of Information Engineering,Xijing University,Xi’an 710123,China)
As for the complexity of plant disease recognition by the disease leaf image,a plant disease recognition method was proposed based on feature fusion and local discriminant projection. First,based on the center symmetric local binary pattern(CS-LBP),an adaptive CS-LBP algorithm was proposed. The spot images were segmented by ACS-LBP. The texture,shape and color features were extracted from each spot image and fused,and then were reduced based on local discriminant projection (LDP). Finally,the diseases were recognized by support vector machine(SVM). The experiment results on a database of apple disease leaf images showed that the proposed method was effective for apple leaf disease recognition. The average recognition rate was more than 95%.
plant disease recognition;feature fusion;adaptive center symmetric local binary pattern (ACSLBP);support vector machines (SVM);local discriminant projection (LDP)
TP391
A
1004-874X(2016)10-0134-06
2016-07-30
國(guó)家自然科學(xué)基金 (61473237);陜西省教育廳自然科學(xué)研究項(xiàng)目(2013JK887)
李超(1988-),男,在讀博士生,E-mail:378608637@qq.com
張善文(1965-),男,博士,教授,E-mail:wjdw716@163.com
李超,彭進(jìn)業(yè),張善文. 基于特征融合與局部判別映射的蘋果葉部病害識(shí)別方法[J].廣東農(nóng)業(yè)科學(xué),2016,43(10):134-139.
植物病害會(huì)影響植物的正常生長(zhǎng),要防治植物病害,首先要檢測(cè)病害,識(shí)別病害類型。葉片是植物中最豐富、占據(jù)部位最多、最方便觀察的部分。大部分植物染病后,病害癥狀往往表現(xiàn)
在葉部,使葉片的顏色、形狀、紋理發(fā)生變化,表現(xiàn)出萎縮、出現(xiàn)病斑、斑紋分布異常等癥狀,且不同類型病害和不同時(shí)期引起的葉部癥狀差異較大。因此,葉片癥狀是基層農(nóng)林防護(hù)人員和農(nóng)民診斷植物病害發(fā)生、判別病害類型及估計(jì)病害危害程度的重要依據(jù)。