計算機視覺技術在植物病害識別上的研究進展

孫 亮，柯宇航，劉 輝，胡義鈺，馮成天，劉文波，王真輝，張 宇，鄭服從,

（1. 中國熱帶農業(yè)科學院 橡膠研究所/農業(yè)農村部 橡膠樹生物學與遺傳資源利用重點實驗室/省部共建國家重點實驗室培育基地—海南省熱帶作物栽培生理學重點實驗室/農業(yè)農村部 儋州熱帶作物科學觀測實驗站，海口 571101; 2. 海南大學 植物保護學院，海口 570228）

農作物病害影響作物產量、糧食安全和國民經濟[1]。病害預防是在病害發(fā)生早期快速、準確地發(fā)現和識別病害[2]，因此，病害預防在農業(yè)生產中極為重要。然而，在大田作物中監(jiān)測和鑒定植物病害是一項非常復雜的任務，通常通過人工目視診斷來實現。人工目視診斷是借助于專業(yè)知識、書籍或者互聯網中關于植物病害的文字和圖片描述來判斷病害，但在實際生產過程中，人們判別植物病害時容易產生偏見、視錯覺，導致偏差[3]，并最終導致農藥和殺菌劑使用不當[4]。同時，人工目視診斷也存在效率低、成本高等一系列問題。隨著科學進步和新技術的引進，目前植物病害檢測方法有基于脫氧核糖核酸的聚合酶鏈反應(Polymerase chain reaction, PCR)，基于血清學方法的酶聯免疫吸附試驗(Enzyme linked immunosorbent assay,ELISA)，基于分子生物學方法的熒光原位雜交(Fluorescence in situ hybridization, FISH)和免疫熒光(Immunofluorescence, IF)，還有基于熒光顯微鏡(Fluorescence microscope)、流式細胞術(Flow cytometry, FC)和激光技術等方法[5]，這些生物檢測方法通常非常耗時，不能及時提供有效信息[6]。隨著農業(yè)和現代化信息技術交互碰撞，相互聯結，智能化農業(yè)快速發(fā)展，在許多國家使用計算機視覺技術對農業(yè)生產進行智能化管理已成為農業(yè)發(fā)展的主要趨勢[7]。與傳統(tǒng)方法相比，基于遙感的傳感器以及成像技術應用于自動化病害識別過程更加迅捷、精確和實時，已成為農業(yè)現代化發(fā)展的研究熱點[8]。筆者綜述了包括圖像處理、機器視覺和機器學習技術在內的計算機視覺識別植物病害技術的基本概念、研究現狀和方法，并提出存在的問題和展望，為計算機視覺技術在植物病害識別上的應用和研究提供依據。

1 植物病害與檢測系統(tǒng)

植物病害是指在生物或非生物因素影響下植物在形態(tài)、生理或行為上出現異常的現象。生物因素引起侵染性病害，如真菌性、細菌性、病毒性和線蟲性病害等；非生物因素引起非侵染性病害，如凍害、缺素癥、澇害等。非侵染性病害由于其非傳染性性質，危險性較低，大多可以避免。侵染性病害具有傳染性，開始在少數植株上發(fā)生，之后向四周迅速蔓延，造成大范圍植株葉片脫落和生理紊亂，從而導致光合作用下降，進而降低植株產量和經濟價值，危害極大。因此，必須建立有效的防治機制來管理、預防和控制病害發(fā)生。計算機視覺概念是借助計算機系統(tǒng)或機器對實時信息進行可視化分析和理解的技術，已廣泛應用于醫(yī)療、國防、交通、農業(yè)和商業(yè)分析等多個領域。攝像機作為系統(tǒng)的眼睛，以信號和圖像的形式獲取現實世界的信息，并在計算機的幫助下進行處理，從中獲得一些有用信息來解決復雜問題。近十年來，計算機視覺和圖像處理技術已廣泛應用于植物病害檢測和分類，該檢測系統(tǒng)可分為以下幾個模塊：圖像采集、圖像預處理、圖像分割、特征提取、識別和分類(圖1)。首先采集植物的葉、根、莖、枝等圖像，然后根據實際情況，使用縮放、旋轉、平滑等各種預處理技術對圖像進行處理，下一步通過分割算法從原始圖像中獲取所需病變區(qū)域。為了對植物病害進行準確分類，需要利用分類器對機器進行訓練，訓練特征集從圖像中分割和提取。

圖1 植物病害檢測系統(tǒng)基本步驟

侵染性病害有3點特性與識別精確性直接相關：第一，不同病原物侵染后會出現不同癥狀，也會出現相似癥狀；第二，隨著病害周期延長，病害嚴重程度加深，感染部位初期和后期癥狀不一致；第三，1株植物存在多種病害現象，導致感染后的葉片有多種癥狀，每個癥狀呈現相似或不相似特征。這些特性對該系統(tǒng)識別病害造成較大阻礙。筆者介紹了計算機識別系統(tǒng)基本步驟（圖1），并對文獻中提出的解決方案進行總結。精確度通常是評價該系統(tǒng)有效和適用的性能指標[9]。

2 圖像采集與處理

2.1 圖像采集圖像采集是指從某些數據庫中檢索圖像，或者是通過采集設備從田間或室內采集到圖像，再轉換為數字圖像進行下一步處理的過程。病害檢測系統(tǒng)準確性取決于用于訓練的采集圖像的質量，捕獲圖像的質量在很大程度上取決于所使用相機及其定位。因此，需要采用一些措施，以增加圖像可用性。陳佳娟等[10]采用圖像掃描儀采集圖像，旨在提高圖片質量。徐貴力等[11]設計了一種活體采光箱，使后期圖像處理和識別過程能更順利進行。近年來，在植物病害檢測上很少有關于高光譜成像的研究[12]，大多都是利用電荷耦合器件彩色相機捕捉或者利用安卓手機以高光譜的方式捕捉葉片圖像，研究人員利用這些設備在實時現場條件或受控實驗室環(huán)境中收集自創(chuàng)建數據集。 PICON等[13]生成超過10萬張由手機在真實野外條件下拍攝的圖像數據集。這個數據集包含17種疾病和5種作物(小麥、大麥、玉米、水稻和油菜籽)的疾病階段，并提出一種作物條件的卷積神經網絡架構，它可以無縫整合由植物物種鑒定組成的上下文元數據。文獻中常出現的Plant Village數據集里包含近9萬張，共58類植物病蟲害的圖像，有助于了解田間所遇到的植物病蟲害現象[14]。許良鳳等[15]構建玉米葉部病害數據庫，可幫助識別田間玉米病害。

2.2 圖像預處理圖像的質量會因為陰影、扭曲、噪聲和復雜背景的存在等原因而下降；在主要數據集中，圖像是實時收集的，包含不適當信息。因此，在特征提取前，需對圖像進行預處理，以提高疾病檢測系統(tǒng)計算精度。目前主要使用背景消除、增強、色彩空間轉換、裁剪和平滑化等預處理技術[16]。在色彩空間轉換中，RGB、HSV、HSI、Lab、YIQ和灰度顏色空間被許多研究人員使用[17?20]。RGB顏色空間是通過紅、綠、藍3個顏色通道的變化及它們互相之間疊加得到的其他各種顏色。HSV是指根據顏色的色調、飽和度及明度3個直觀特性創(chuàng)建的一種顏色空間，而HIS則是把HSV中的明度更換成了強度。Lab顏色空間則是由亮度、a顏色通道和b顏色通道組成。YIQ空間中，Y表示圖像的亮度信息，I和Q分量表示攜帶的顏色信息。灰度是指用不同飽和度的黑色來表示圖像。除了色彩空間轉化，一些圖像增強技術和過濾器的應用會使得病害識別正確率提高。研究人員經常采用均值濾波和中值濾波去除圖像噪聲，王雙喜等[21]把黃瓜炭疽病和霜霉病圖像經由頻域濾波增強、空域濾波增強和灰度變換增強3種圖像增強技術進行處理，發(fā)現快速中值濾波是效率最高、效能最顯著的一種增強方法。

3 圖像分割

圖像分割是幾乎所有圖像處理或計算機視覺應用中的重要組成部分[22]，主要作用是為了區(qū)分植物組織感病區(qū)域和非感病區(qū)域，再將感病區(qū)域的顏色、紋理、形狀結構和灰度特征劃分成一個個不重疊的小區(qū)域[23]，計算機才能基于這些特征準確判斷病害類別。然而，在圖像分割過程中，主要存在以下問題：第一，著綠色像素背景包含許多元素，這些元素很難正確分割，特別是在感病區(qū)域；第二，很難區(qū)分健康區(qū)域和患病區(qū)域的界線；第三，光照變化和陰影的存在；第四，感病區(qū)域特征分布不均，排列無序。針對上述情況，許多研究人員都在尋找一種能在任何情景下都適用的分割算法，但是由于植物種類不同、發(fā)生病害不同、發(fā)病時期不同，所表現出來的各方面特征都不一樣。所以圖像分割算法有多種類型，主要分為兩大類，一類是基于邊緣檢測、區(qū)域增長，基于閾值和基于特定理論的傳統(tǒng)方法；另一類是基于計算機智能技術，包括利用軟計算方法如遺傳算法、模糊邏輯、神經網絡等進行分割[2]。

基于邊緣檢測的分割技術已經在各種研究中得到實現，SHINDE等[24]采用sobel算子、canny邊緣檢測、prewitt算子、k-means聚類算法等技術對大豆圖像進行分割，同時采用區(qū)域生長與局部閾值相結合實現對病斑的有效分割。在一項針對楊樹葉部病害的研究中，明浩等[25]將改進的canny邊緣檢測法和霍斯變化相結合提取葉片輪廓，效果良好。在閾值分割算法中，閾值設定技術如Otsu閾值設定、以自適應強度為基礎的閾值設定和基于熵的閾值設定都是常用方法。其中Otsu算法比較具有代表性，PHADIKAR等[9]基于Otsu閾值分割算法，將圖像分割為兩部分，最大限度地利用類間方差參數來檢測閾值。張會敏等[26]基于小波變換和Otsu法，提出一種基于小波變換和Otsu法的圖像分割算法，在辣椒病害葉片圖像上采用該方法進行分割實驗, 結果表明該方法切實有效。閾值確定是基于閾值分割法中非常關鍵的一步，如果閾值選擇不正確則會直接導致分割不正確。趙輝等[27]基于AD-GAC模型和最大熵閾值法對復雜背景下葉片病斑進行分割，效果較好?；谔囟ɡ碚摰姆指钏惴ㄖ校瑥埛嫉萚28]利用k-means聚類算法、基于拉普拉斯高斯算子和基于超像素的最優(yōu)匹配搜索方法，分割在復雜背景下黃瓜葉片病斑，其準確率達94.7%。k-means聚類進行疾病區(qū)域分割，比基于邊緣的分割方法更有效、更適合[29]。也有一些研究人員選擇模糊c均值聚類對感染區(qū)域進行分割[30－31]。近年來，深度學習技術快速發(fā)展，許多研究人員基于卷積神經網絡對圖像進行分割，如溫長吉等[32]分割玉米病害圖像就是通過改進蜂群算法優(yōu)化了的神經網絡實現的。王振等[33]針對玉米葉病提出基于改進全卷積神經網絡的葉片病斑分割方法，可以準確分割出理想病斑區(qū)域。目前，利用遺傳算法對植物葉片病害進行圖像分割只有少數報道[34]。

4 特征提取

病害癥狀的相似性極大地影響病害分類的正確性。特征提取是構建分類或識別模型的重要步驟，其目的是提取圖像每一類相關屬性，如形狀、顏色、大小、紋理等，再根據這些特征將一個對象與其他對象區(qū)別開來。在研究中，灰度共生矩陣(Gray-level co-occurrence matrices, GLCM)與Haralick特征、Gabor濾波器、平移不變特征變換(Shift-invariant feature transform, SIFT)、離散小波變換(Discrete wavelet trans-Form, DWT)和局部二值模式(Local binary patterns, LBPs)等方法被廣泛應用于特征提取。

在對柑橘炭疽病、黑斑病、潰瘍病、痂病、青色病和黑素病進行分類時，提取了18個GLCM特征，除了有14個Haralick特征外還新增簇突出、簇蔭、同質性和能量特征[35]，旨在尋找精度較好的柑橘病害檢測系統(tǒng)。在針對蘋果表面病害識別研究中，為了建立特征向量，研究了不同特征描述子的Gabor小波組合來觀察它們的性能，其中Gabor和LBP組合形成強大的特征提取算法，識別精確度最高[2]。SIFT是用特征向量表示圖像局部特征的特征描述子，用SIFT提取水稻褐斑病、黑穗病和白葉枯病的葉片特征再進行分類檢測，效果良好[29]。LBPs是一種簡單但非常有效的紋理算子，它通過通過閾值來標記中心點像素與其鄰域像素之間的差別，并將結果視為一個二進制數，對葡萄葉部病害識別中應用LBPs與直方圖結合方法提取復雜背景下彩色數字圖片特征。顏色特征是一種基于圖片像素點的全局特征[36]，圖像灰度或顏色分布的某種規(guī)律性稱為形狀[37]。對這些特征進行提取，然后通過相似性度量或通過一些機器學習算法映射用于病害識別和分類。劉麗娟等[38]引入HIS模型進行顏色特征提取，引入病斑區(qū)域規(guī)律度、分形錐數值和熵等6個參數進行紋理特征提取，再采用改進的BP(Back propagation)神經網絡，搭建識別玉米葉部病害系統(tǒng)。趙進輝等[39]利用顏色特征2G-R-B、2R-G-B和面積閾值分割法將圖像中甘蔗病斑從土壤和其他綠色植物中提取出來，從而識別甘蔗病害。顏色是基于顏色直方圖和顏色共生矩陣的，顏色直方圖表示一幅圖像中顏色分布，BARBEDO等[40]提出基于顏色變換、顏色直方圖和兩兩分類系統(tǒng)的疾病識別方法，這種方法對圖像捕獲條件具有較強的魯棒性。顏色共生矩陣(color co-occurrence matrix, CCM)以矩陣的形式表示每個顏色通道的顏色分布[41]。PYDIPATI等[42]利用CCM法獲得患病柑桔葉片油脂斑、黑素、瘡痂等紋理特征。形狀特征基于一些參數定義任何圖像或對象的形狀屬性，它是基于葉片面積、質心、偏心度、等效直徑、范圍、長軸長度、短軸長度、方向和周長提取的計算值。VIJAYALAKSHMI等[43]提出一種基于紋理、形狀和顏色特性的葉片分類方法。

5 植物病害識別與分類

識別和分類步驟是利用計算機視覺和圖像處理技術進行植物病害的檢測和分類，它是植物病害識別最后階段，也是最關鍵階段。它的分類精確性取決于之前圖像采集、預處理、感病區(qū)域的分割以及最終的特征提取和選擇，將這些步驟的原始數據輸入訓練后的分類器中來判斷葉片病害類別[3]。

5.1 機器學習的應用機器學習為系統(tǒng)提供自動學習能力，在沒有明確編程的情況下，從經驗中改進，并具有決策能力。目前報道的機器學習技術大多是基于人工神經網絡、支持向量機和kmeans聚類來實現。使用感病植物和健康植物數據集訓練分類器，對2個數據集進行測試，可以檢查分類器性能及其準確性。人工神經網絡是機器基于數學模型仿效生物神經網絡構造和效能進行學習的一種方法[23]，已經在植物病害圖像分類研究中得到普遍應用。其主要步驟是將提取的病害圖像特征數據作為分類器輸入量，對神經網絡識別模型進行訓練，經過訓練得到線性決策函數。以此為依據，模型可以對已訓練過的植物病害進行分類識別。HUANG[44]利用可調參數指數變換和圖像處理技術對蝴蝶蘭幼苗3種病害的病斑分布區(qū)域進行分割，提取到顏色和紋理特征，進一步用GLCM描述病變區(qū)域紋理特征，再將紋理特征和R、G、B的平均灰度作為參數，采用神經網絡技術對病害進行分類，準確率達89.6%。譚克竹等[45]對大豆灰斑病、霜霉病和細菌性病害的病斑特征展開分析，搭建大豆葉片病害的BP神經網絡診斷模型。李頎等[46]利用基于遺傳算法的BP神經網絡定義原始特征參數對分類結果靈敏度進行優(yōu)化，剔除靈敏度較低的若干特征, 減低特征參數維數，實驗結果標明, 該方法對黃瓜炭疽病和白粉病的分類準確率在96%以上。1964年，VAPNIK等[47?48]提出支持向量機(Support vector machine,SVM)，它使用結構風險最小化原理，兼顧訓練誤差和泛化能力，在解決小樣本、非線性、高維數、局部極小值等模式識別問題中顯現出很多獨特的優(yōu)勢。在一些研究中，支持向量機、上下文感知支持向量機(Context-aware support vector machine, CSVM)和單類支持向量機(One-class support vector machine, OCSVM)在基于病斑區(qū)域的各種特征對植物病害進行的分類中，其分類精度明顯優(yōu)于人工神經網絡[16,20,35]。除了神經網絡和支持向量機，在一些研究中基于模糊邏輯的推理系統(tǒng)和基于模糊規(guī)則的系統(tǒng)也被用于植物病害檢測。

5.2 深度學習的應用目前，圖像處理和計算機視覺領域的研究重點已經聚焦到深度學習上[49?51]，深度學習是機器學習的分支，DL方法是一種具有多級表征的表示學習方法，通過組合簡單但非線性的模塊獲得，每個模塊都將一個級別的表示轉換為更高、更抽象的級別表示。通過組合足夠多這樣的變換，可以學習非常復雜的函數。深度學習工具中應用最廣泛的是卷積神經網絡。SLADOJEVIC等[52]從收集用于訓練和識別的圖像到圖像的預處理和增強，再到CNN訓練和微調，提出一種利用深度學習對植物病害進行自動分類和檢測的新方法，開發(fā)的模型能夠從葉片中識別出13種不同類型的植物病害，并具有從周圍環(huán)境中識別植物葉片的能力。模型試驗結果表明，在單獨的分類測試中準確率達到91%～98%。秦豐等[53]基于CNN提取苜蓿褐斑病、銹病、小光殼葉斑病和尾孢菌葉斑病的病斑圖像特征, 建立病害識別支持向量機模型，其識別效果不錯。劉闐宇等[54]提出一種基于卷積神經網絡區(qū)域建議算法(Faster-region convolutional neural network, Faster-RCNN)的病害檢測方法，該方法可去除背景因素擾亂，提高識別精確度。

自2015年起，深度學習在植物病害識別上的應用研究開始漸漸深入，Caffe是多位媒體科學家和實踐者提供的一個簡潔和可修改的框架，用于最先進的深度學習算法和一組參考模型。此外還有Alex Net、VGG-16、GoogLeNet和ResNet等多種網絡架構被提出且在病害識別上得到應用[55?58]。評價深度學習的性能通常使用準確率、召回率、F1值和平均正確值等指標。DL技術在植物病害檢測、識別和分類領域表現出識別速度快、魯棒性強和泛化性能好等性能，其精確度能高達95%以上。

6 展 望

利用可視范圍圖像自動識別植物病害在過去20 a中受到廣泛關注。本研究對計算機視覺技術在植物病害識別上的研究進行綜述。目前該領域研究已經取得一定進展，研究者提供一些植物病害圖像處理、分割、特征提取和病害分類的算法來解決在侵染性病害識別中常見的問題。然而當前提出的技術手段還局限于一定范圍，有許多研究都是基于實驗室條件下的計算機視覺診斷，或者是對單一作物的單一病害進行研究，如果應用到田間，難度會比較大。其次，如何實現復雜環(huán)境下作物圖像的背景分割是公認的研究難點，若沒有適合的圖像分割技術，會對病害識別造成比較大的困擾。再次，許多植物病害的病斑其顏色、大小、形狀等特征在不同時期會有不同變化，單一某個時期的病害識別系統(tǒng)對不同發(fā)病時期的病葉診斷會有所不同，不同的病害產生的癥狀可能非常相似，而且他們可能同時存在，在復雜背景下診斷多種病害的研究還比較少。今后研究重點是：第一，將病害診斷系統(tǒng)從實驗室擴展到田間，使其保有更加穩(wěn)定的識別精確度。第二，加快圖像處理新算法的研究，使得系統(tǒng)能在復雜背景下分割和提取葉片病斑特征。第三，研發(fā)動態(tài)的植物病害診斷系統(tǒng)。如今，農業(yè)現代化、智能化、自動化的趨勢越來越明朗，計算機視覺技術是當中不可缺少的一環(huán)，還需要投入更多的精力去研究解決相關技術問題。

在植物病害識別研究中，機器學習技術已有很好的效果，而深度學習其強大的學習能力可提高神經網絡的性能和識別精度，把這項研究推進了一大步。深度學習的研究是近幾年來在計算機科學和農業(yè)信息化領域的熱門，其性能非常依賴于數據集，數據集越豐富則深度學習的性能越好。國內外的專家學者應該全面構建和擴充更多植物類型，更多病害類型的數據集。同時，由于目前大部分的研究內容還是基于經典的卷積神經網絡架構，優(yōu)化其架構和開發(fā)更加先進的架構等尚待加強。

我國研究人員根據人工神經網絡、綜合知識庫和集成推理等技術開發(fā)了一批植物病蟲害診斷專家系統(tǒng)，已應用于生產的如月季病蟲害智能系統(tǒng)、面向山東的果樹病蟲害診斷專家系統(tǒng)、蘋果病蟲害診斷專家Android 系統(tǒng)[59?61]。雖然有很多病害系統(tǒng)已經開發(fā)，但是向大眾推廣應用程度并不高，一些技術比較成熟的系統(tǒng)沒有被合理利用起來。未來計算機視覺在植物保護的應用上應該是緊跟國際上最新的研究動態(tài)，努力創(chuàng)造新的技術和方法，并且能夠利用已成熟的科技成果，研制出適合我國實際情況的軟件和硬件系統(tǒng)，并及時應用于生產。