基于超像素的農(nóng)作物病害圖像分割方法研究

焦翠玲,王順崗,張延迪,王澤輝,孔德川

（1.河南科技學(xué)院人工智能學(xué)院,河南新鄉(xiāng)453003；2.河南科技學(xué)院信息工程學(xué)院,河南新鄉(xiāng)453003）

隨著農(nóng)業(yè)信息化和人工智能技術(shù)的飛速發(fā)展,農(nóng)作物病害圖像處理及模式識(shí)別技術(shù)已經(jīng)應(yīng)用的愈加成熟,學(xué)者們?cè)谵r(nóng)作物病蟲(chóng)害識(shí)別分類、農(nóng)田作物生理生態(tài)監(jiān)測(cè)、農(nóng)田小氣候監(jiān)控預(yù)警等領(lǐng)域開(kāi)展了廣泛的應(yīng)用研究,取得了不少較好的科研成果.

圖像分割技術(shù)是通過(guò)像素級(jí)分類方案按照需求在圖像中劃分若干特定目標(biāo)和不同特性區(qū)域,是圖像分析的第一個(gè)重要環(huán)節(jié)[1].文獻(xiàn)[2]對(duì)大田作物玉米病害圖像采用基于差分圖像的處理技術(shù),通過(guò)從葉片病害圖片中提取R、G、B三原色的通道向量,使用迭代方案自動(dòng)生成閾值在圖像背景中分割出玉米葉片,實(shí)現(xiàn)了對(duì)玉米小斑病病害圖像區(qū)域進(jìn)行分割.文獻(xiàn)[3]提出了一種以小麥為研究對(duì)象的病害部位診斷算法,經(jīng)過(guò)小波分解變換和紋路矩陣計(jì)算,通過(guò)自動(dòng)閾值算法獲取小麥病害區(qū)域的二值圖像,從而計(jì)算出顏色特征值并與病害數(shù)據(jù)庫(kù)中圖像進(jìn)行比對(duì),做出病害檢測(cè)判斷.文獻(xiàn)[4]提出了利用聚類算法提取病害部位的形狀、顏色等50個(gè)特征參數(shù),以徑向基函數(shù)作為核函數(shù)構(gòu)建支持向量機(jī),對(duì)小麥病害進(jìn)行分割識(shí)別.文獻(xiàn)[5]針對(duì)玉米病害圖像先做預(yù)處理,然后利用Triplet loss損失函數(shù)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò),用于提取、學(xué)習(xí)病害圖像特征信息,再使用SIFT算法提取病害圖像紋理特征,最后通過(guò)Softmax函數(shù)對(duì)圖像進(jìn)行標(biāo)簽分類.

從上述研究可以看出,目前基于機(jī)器視覺(jué)的農(nóng)作物病害自動(dòng)識(shí)別診斷方法已經(jīng)成為主流技術(shù),農(nóng)作物病害圖像分割領(lǐng)域相關(guān)研究隨著圖像處理技術(shù)的迅速發(fā)展,已經(jīng)取得了較多的科研成果.但是相關(guān)技術(shù)在農(nóng)業(yè)大田作物實(shí)際生產(chǎn)應(yīng)用中,農(nóng)作物病害圖像病斑區(qū)域的有效、高速分割獲取還存在不少問(wèn)題.現(xiàn)有的圖像分割算法中,學(xué)者們研究的興趣點(diǎn)多關(guān)注在對(duì)病害圖像的病害病斑邊緣、紋理和顏色等特征的處理和分析上,要求獲取的病害圖像分辨率高、背景干擾少,以便于算法分割識(shí)別.所以使用的病害圖像多采用先在大田收集農(nóng)作物病害樣本,返回實(shí)驗(yàn)室后在專業(yè)圖像采集設(shè)備上完成圖像獲取.而在農(nóng)業(yè)大田實(shí)際生產(chǎn)過(guò)程中,為了更廣泛地及時(shí)獲取農(nóng)作物病害圖像,圖像采集過(guò)程往往存在圖像背景復(fù)雜、噪聲干擾多、多尺度混雜等情況,而這些問(wèn)題是原有分割算法不能解決的.在現(xiàn)有圖像分割方法中,大部分算法的參數(shù)還需要針對(duì)農(nóng)作物品種和作物病害種類的不同而進(jìn)行人工干預(yù)調(diào)整,圖像分割效果很容易受人為因素的影響,造成分割算法運(yùn)算效率低.同時(shí)對(duì)病害圖像采集要求較高、限制較多,不便于基層農(nóng)業(yè)生產(chǎn)人員操作,相關(guān)技術(shù)推廣較為困難.

本文針對(duì)在農(nóng)業(yè)大田生產(chǎn)復(fù)雜背景情況下,小麥病害圖像中病斑區(qū)域分割提取,提出了一種基于超像素的病害部位圖像快速分割算法.該算法能夠?qū)υ谵r(nóng)業(yè)大田中采集到的復(fù)雜背景的作物病害圖片,針對(duì)病害部位病斑區(qū)域的聚類模糊問(wèn)題,采用基于超像素生成的方法進(jìn)行病害區(qū)域分割,使病斑、葉片、圖像背景之間有較好的分割效果區(qū)域一致性,能夠得到精確的病斑邊緣,便于提取病斑區(qū)域圖像特征,對(duì)后續(xù)采用深度學(xué)習(xí)方法準(zhǔn)確識(shí)別分類病害圖像,有較大幫助.

1 超像素分割算法

超像素分割屬于圖像分割中的過(guò)分割（Over Segmentation）,指的是將原像素級(jí)（Pixel-level）圖像根據(jù)某種特征劃分成區(qū)域級(jí)（District-level）圖像.在每個(gè)子區(qū)域圖像內(nèi),像素之間的某些特征具有很強(qiáng)的一致性,這些子區(qū)域大多數(shù)保留了圖像的有效信息（如顏色、亮度、紋理等）,同時(shí)通過(guò)盡可能的保存圖像邊緣輪廓信息來(lái)大幅提高運(yùn)算效率.通過(guò)超像素圖像分割算法后的結(jié)果是圖像劃分后子區(qū)域的集合,或圖像若干紋理特征輪廓線的集合[6].子區(qū)域中每個(gè)像素之間在性能度量、特征提取等計(jì)算得出的特征都具有很強(qiáng)的一致性和緊密型[7].

1.1 SLIC算法

在2012年,Achanta等[8]提出了基于顏色和空間距離的簡(jiǎn)單線性迭代聚類算法SLIC,該算法是在傳統(tǒng)的K-Means聚類算法的基礎(chǔ)上擴(kuò)展產(chǎn)生出的一種簡(jiǎn)單高效的超像素生成算法.算法首先劃分超像素區(qū)域,對(duì)于N個(gè)像素的圖像,預(yù)分割K個(gè)超像素,每個(gè)超像素大小約為N/K個(gè)像素點(diǎn),并且每個(gè)超像素區(qū)域的寬度即每個(gè)超像素中心相鄰距離大約為,將各超像素中心點(diǎn)的移動(dòng)界限設(shè)定為n×n窗口,并移動(dòng)至規(guī)定鄰域大小內(nèi)的最小梯度的位置,防止中心點(diǎn)在圖像邊緣位置中出現(xiàn),避免對(duì)后續(xù)聚類過(guò)程造成干擾.

SLIC算法將圖像中顏色向量和位置向量結(jié)合構(gòu)成五維空間向量{l,a,b,x,y},其中{l、a、b}是CIElab顏色空間中的分量,{x、y}是像素的坐標(biāo)[9].

定義兩個(gè)像素點(diǎn)之間的距離為

式（1）中：m是用來(lái)控制超像素緊湊度的參數(shù),dlab是像素點(diǎn)之間的顏色差異,dxy是像素點(diǎn)之間的空間距離,Ds越大,則表明兩個(gè)像素點(diǎn)的相似度越大[10].

SLIC算法描述為算法1：

C l a b x y, , , , T k k k k k k =[ ]1設(shè)置步長(zhǎng)s,對(duì)像素進(jìn)行采樣,初始化聚類中心2設(shè)n=3移動(dòng)聚類中心到n×n中梯度最小的位置3對(duì)每一個(gè)像素i設(shè)置標(biāo)簽為-1,設(shè)置距離∞4 for每一個(gè)聚類中心Ck 5每一個(gè)像素i在一個(gè)Ck周圍的2s×2s區(qū)域內(nèi)進(jìn)行新的聚類6 endfor 7計(jì)算新的聚類中心及殘差E 8直到E≤閾值,算法收斂

1.2 改進(jìn)的K-SLIC算法

在上述基本SLIC超像素分割算法中,使用K-Means方法對(duì)CIElab顏色空間像素進(jìn)行聚類時(shí),在對(duì)于顏色密集或顏色區(qū)域之間區(qū)別明顯的圖像有較好效果.但是,有時(shí)因?yàn)榫垲悧l件有限,田間采集的作物病害圖像背景復(fù)雜、干擾較多時(shí),導(dǎo)致超像素分割出來(lái)的圖塊過(guò)小、相似性太高,造成局部過(guò)收斂.而圖像進(jìn)行超像素分割時(shí)所需的超像素?cái)?shù)目需要人工干預(yù)進(jìn)行設(shè)置,這些都對(duì)分割效果造成很大的干擾,影響分割精度和速度.

對(duì)于基本SLIC算法存在的問(wèn)題,本研究提出依據(jù)農(nóng)作物病害圖像自身顏色數(shù)值信息,結(jié)合農(nóng)作物自身種質(zhì)特性和病害種類,引入作物病害易感因子,二者共同確定其超像素圖像分割時(shí)所需的超像素的數(shù)目.在病害圖像分割中,由于顏色數(shù)值信息量會(huì)隨著輸入圖像分辨率的增大而增多,若對(duì)整體圖像進(jìn)行掃提取描顏色特征信息,會(huì)大量的占用運(yùn)行內(nèi)存和運(yùn)行時(shí)間,提取過(guò)程中產(chǎn)生的冗余信息也較多.如果假設(shè)農(nóng)作物病害圖像分辨率大小為W*H個(gè)像素,設(shè)e為控制提取顏色信息數(shù)量的平衡參數(shù),α為農(nóng)作物病害易感因子,通過(guò)隨機(jī)掃描病害圖像的W/（e*α）行或H/（e*α）列來(lái)進(jìn)行提取圖像信息,可以大大減少運(yùn)算時(shí)間和資源消耗,降低數(shù)據(jù)冗余,提高聚類精度.如果（e*α）的值越大,提取處理的像素顏色信息越少,會(huì)導(dǎo)致細(xì)節(jié)丟失過(guò)多,但運(yùn)算效率較高；如果（e*α）的值越小,提取處理的像素顏色信息越多,會(huì)導(dǎo)致細(xì)節(jié)保留較多,但運(yùn)算效率較低.

由于農(nóng)作物的枝干、葉片等生物質(zhì)部位富含葉綠素,所以大部分農(nóng)作物在生長(zhǎng)階段為綠色,而病害部位往往會(huì)呈現(xiàn)黃色、白色等與綠色不同的顏色.HSV顏色空間比RGB顏色空間對(duì)顏色的色調(diào)、飽和度和亮度更加敏感,更利于且區(qū)別、分割不同顏色的部位.由于HSV顏色空間為非線性顏色空間,從RGB顏色空間轉(zhuǎn)換時(shí),轉(zhuǎn)換速度快,顏色信息丟失少,更便于使用超像素方法對(duì)病害部位進(jìn)行圖像分割.

改進(jìn)后的K-SLIC算法如算法2所示：

1依據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)確定平衡參數(shù)e和作物病害易感因子α 2對(duì)圖像進(jìn)行隨機(jī)掃描,獲得W/（e*α）行或者H/（e*α）列像素點(diǎn)的顏色信息3對(duì)獲得的像素點(diǎn)的CIELAB顏色信息轉(zhuǎn)化為HSV顏色信息4對(duì)HSV顏色信息進(jìn)行非等間隔量化,合并成一維特征向量5多次掃描,取平均值,確定所需超像素?cái)?shù)目k 6以步長(zhǎng)s對(duì)像素進(jìn)行采樣,初始化聚類中心7設(shè)n=3,移動(dòng)聚類中心到n×n中梯度最小的位置8 for每一個(gè)聚類中心Ck 9每一個(gè)像素i在一個(gè)Ck周圍的2s×2s區(qū)域內(nèi)進(jìn)行新的聚類10 e ndfor 11計(jì)算新的聚類中心及殘差E 12直到E≤閾值,算法收斂13修正迭代錯(cuò)誤,合并孤立點(diǎn),完成分割C l a b x y, , , , T k k k k k k =[ ]

在上述算法中,當(dāng)對(duì)病害圖像進(jìn)行掃描提取顏色信息時(shí),可以進(jìn)行多次隨機(jī)掃描,將每次掃描獲得的的一維特征向量值匯總后取平均值,用于在病害圖像分割中確定較為合理的超像素?cái)?shù)目.相對(duì)于傳統(tǒng)SLIC算法,改進(jìn)的K-SLIC算法在計(jì)算圖像分割所需要的超像素?cái)?shù)目時(shí),運(yùn)行時(shí)間短,內(nèi)存占用少,算法收斂速度快,圖像分割效果更好.

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)預(yù)處理

本研究以小麥常見(jiàn)葉面病害為研究對(duì)象.病害圖像分別在2018年5月13日—18日、2019年5月16日—19日采集于河南省新鄉(xiāng)市崔莊村河南科技學(xué)院小麥千畝試驗(yàn)田和新鄉(xiāng)市金蕾種業(yè)試驗(yàn)田,主要涉及小麥品種為百農(nóng)矮抗58、周麥16、濮麥26等河南小麥產(chǎn)區(qū)主要品種,作物病害為銹病和白粉病.主要采集設(shè)備為課題組自研的農(nóng)作物葉片圖像采集裝置,對(duì)病斑采集時(shí),使用尼康D5000單反相機(jī),鏡頭為定焦50 mm,光圈F2.8,固定角度拍攝,圖像尺寸為3 800×2 056像素.圖像采集后,對(duì)圖像背景不進(jìn)行處理,保持原有比例,僅將主要病害部位分割成600×450像素大小的圖片用于圖像分割實(shí)驗(yàn).

2.2 實(shí)驗(yàn)結(jié)果

本研究實(shí)驗(yàn)實(shí)現(xiàn)環(huán)境為Inter Core i7-4900 K主頻4.00 GHz,內(nèi)存16 GB,軟件為WIN7,MATLAB R2014a,分別選取閾值分割法、分水嶺分割法、SLIC分割法和文中算法進(jìn)行對(duì)比實(shí)驗(yàn),小麥銹病實(shí)驗(yàn)分割結(jié)果如圖1所示,小麥白粉病實(shí)驗(yàn)分割結(jié)果如圖2所示.

圖1 銹病圖像分割效果Fig.1 Image segmentation effect of leaf rust

圖2 白粉病圖像分割效果Fig.2 Image segmentation effect of powdery mildew

通過(guò)圖1和圖2,在兩種病害圖片中,閾值分割法由于病害圖片背景復(fù)雜或者病斑區(qū)域與健康葉片區(qū)域灰度差別不大,導(dǎo)致分割出的圖像質(zhì)量差,圖像細(xì)節(jié)丟失過(guò)多,不能用于后續(xù)基于深度學(xué)習(xí)的病害分類識(shí)別的特征提取.分水嶺算法則對(duì)圖片自身的圖片背景、亮度、對(duì)比度、色彩等圖像質(zhì)量要求較高,在圖1-b中該算法就不能很好識(shí)別病斑,分割質(zhì)量較差,邊界保持區(qū)域一致性較差.SLIC算法能夠較好地實(shí)現(xiàn)病害圖像病斑的分割,本文算法的分割結(jié)果在復(fù)雜背景下時(shí)的邊界分割明顯優(yōu)于SLIC算法.

圖3中根據(jù)圖像大小超像素?cái)?shù)目k為隨機(jī)選取,從圖中可以看出,超像素?cái)?shù)目為153和527時(shí),圖像分割區(qū)域過(guò)于細(xì)碎,作物病害病斑整體性不好,由于病斑自身紋理、顏色等特征的影響,導(dǎo)致圖像細(xì)節(jié)被過(guò)分強(qiáng)調(diào),不符合后續(xù)應(yīng)用于深度學(xué)習(xí)網(wǎng)絡(luò)的需要.超像素?cái)?shù)目為815～1 057時(shí),能夠達(dá)到較滿意的分割效果.本文算法對(duì)病害圖像進(jìn)行掃描提取顏色信息時(shí),通過(guò)5次隨機(jī)掃描,將5次掃描獲得的一維特征向量值匯總后平均,得到推算出的超像素?cái)?shù)目為1 036,這個(gè)數(shù)值與圖3實(shí)驗(yàn)中得到的較好分割效果時(shí)的超像素?cái)?shù)目1 057較為接近,病斑區(qū)域分割整體性較好,能夠體現(xiàn)出病斑整體特性,便于提取圖像特征,有助于判斷作物病害程度和進(jìn)展.本文算法通過(guò)推算得到超像素?cái)?shù)目比原有算法通過(guò)隨機(jī)獲取超像素?cái)?shù)目,能夠更快的使算法收斂,復(fù)雜度更低.算法運(yùn)行時(shí)間比較見(jiàn)表1.

圖3 超像素?cái)?shù)目對(duì)圖像分割的影響Fig.3 The influence of the number of super pixels on image segmentation

表1 算法運(yùn)行時(shí)間比較Tab.1 Algorithm running time comparison

由表1可知，除了閾值分割算法以外的其他三類超像素算法的運(yùn)算速度均優(yōu)于閾值分割法,同時(shí)由于本文算法對(duì)圖像分割前超像素?cái)?shù)目的選擇是通過(guò)隨機(jī)掃描圖像的W/（e*α）行或者H/（e*α）列來(lái)獲取一維特征向量,大幅減少了計(jì)算量,使本文算法運(yùn)算速度相對(duì)于其他三種算法,得到較大提高.

3 結(jié)論

本文提出的基于超像素的K-SLIC分割算法,通過(guò)將SLIC算法中的CIElab顏色空間轉(zhuǎn)換為HSV顏色空間,同時(shí)超像素?cái)?shù)目由隨機(jī)掃描圖像W/（e*α）行或者H/（e*α）列,實(shí)現(xiàn)了一維特征降維,并由平衡參數(shù)e和作物病害易感因子α來(lái)控制分割質(zhì)量,有效改善超像素分割造成的零碎圖塊,從而使算法達(dá)到了較好的分割效果和較快的運(yùn)行速度.