王建侖,韓 彧,趙霜霜,鄭鴻旭,何 燦,崔曉瑩,徐 云,陳建樹(shù),王淑婷
(中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院,北京 100083)
分割是圖像分析在農(nóng)業(yè)應(yīng)用中的重要環(huán)節(jié)。準(zhǔn)確和完整的植物葉片的邊緣信息為進(jìn)行正確的作物生物量的獲取提供目標(biāo)區(qū)域。例如,生長(zhǎng)狀態(tài)的檢測(cè),研究測(cè)定植物葉片葉綠素含量、病蟲(chóng)害預(yù)警,以及葉片的三維重建和植物葉面積的計(jì)算等。草莓因其生長(zhǎng)周期短、病害少、易于管理、具有較高的營(yíng)養(yǎng)價(jià)值和經(jīng)濟(jì)價(jià)值高等優(yōu)點(diǎn)而在溫室廣泛栽培,溫室草莓葉片的圖像分割對(duì)數(shù)字化生產(chǎn)管理研究有重要意義。
目前,已經(jīng)進(jìn)行了大量的在特定的光照環(huán)境下的葉片圖像分割研究。關(guān)于圖像的形狀,紋理特征和反射吸收光學(xué)性質(zhì)的研究方法至今已不計(jì)其數(shù)。本文提出了一種基于小波分析的自然光下的草莓葉片分割方法。本研究的目的是設(shè)計(jì)一個(gè)快速準(zhǔn)確的草莓葉片邊緣檢測(cè)算法,用于在溫室自然光條件下的捕獲的遠(yuǎn)程視頻流中的葉片圖像分割。在本課題組以往的研究中,集成了圖像增強(qiáng)、邊緣檢測(cè)、閾值、形態(tài)學(xué)處理等多種圖像處理方法,對(duì)復(fù)雜背景下棗葉進(jìn)行了分割,取得了令人滿(mǎn)意的結(jié)果。然而,葉片光反射、卷曲、葉脈和紋理等對(duì)棗樹(shù)葉片分割與對(duì)草莓葉片分割相比其影響較小,所以自然光下的草莓葉片分割算法應(yīng)該考慮更多的影響因素。
一些研究人員用彩色圖像閾值分割方法自動(dòng)識(shí)別普通玉米和草莓葉病,并指出了自動(dòng)閾值分割結(jié)果取決于拍攝光的均勻性和目標(biāo)與背景之間的差異。通過(guò)分析病變?nèi)~片與正常玉米葉片的色相通道直方圖,利用先驗(yàn)知識(shí)得到的單峰特性可以獲得更有效的分割閾值。還有研究首先標(biāo)記的是連通區(qū)域結(jié)構(gòu)完整性大于0.9的豆和雜草植物冠層圖像,采用Gustafsen-Kessel方法進(jìn)行其他連通區(qū)域的綠色通道聚類(lèi),結(jié)構(gòu)完整性用于選擇遺傳算法的適應(yīng)度函數(shù)來(lái)重組這些片段,并重復(fù)上述過(guò)程直到所有連通域被標(biāo)記,最終獲得的目標(biāo)區(qū)域是最后的標(biāo)示區(qū)域。一些研究人員研究了近紅外遙感圖像分析方法。紅綠通道形態(tài)聚類(lèi)首先采用自然光照條件下的作物的CCD圖像,然后通過(guò)原始圖像與形態(tài)學(xué)開(kāi)運(yùn)算后的圖像之間的幾何差異比較得到葉脈信息,其中形態(tài)學(xué)開(kāi)運(yùn)算通過(guò)結(jié)合中心和聚類(lèi)信息用以確保作物圖像中心位置,最終得到了分割結(jié)果。還有利用Otsu法和形態(tài)學(xué)侵蝕法研究植物葉片的內(nèi)部和外部標(biāo)記,然后利用標(biāo)記物控制植物葉片和背景的分水嶺。
由于在溫室的非均勻光照條件下的光輻射和反射,獲得的草莓葉片圖像灰度顯著不相同,真正的草莓邊緣與其它紋理清晰的偽邊緣沖突,真正的葉片邊緣與其的葉脈及背景中某些東西可能具有相同的梯度變化,因此單一的分割方法用于草莓葉片圖像是不可行的。
在本研究中,考慮光照條件、葉片目標(biāo)的形狀和復(fù)雜的葉片背景這三者與分割算法的關(guān)系,提出了在自然光下基于多尺度分析草莓葉片的邊緣檢測(cè)方法,分析了在不同尺度空間下不同的邊緣和紋理特征。該方法結(jié)合尺度空間、canny邊緣檢測(cè)、Otsu閾值分割和形態(tài)學(xué)處理方法,獲得了完整和精確的草莓葉片邊緣結(jié)果。
在這項(xiàng)研究中使用的草莓圖像(圖1)是CMOS攝像頭在自然光溫室里獲得的。
圖1 自然光溫室草莓圖像
多尺度圖像分析被稱(chēng)為數(shù)學(xué)顯微鏡,在分析過(guò)程中,可以分別從不同層次尺度空間中的細(xì)節(jié)和抽象重建不同點(diǎn)近似圖像。重建圖像被用來(lái)分析圖像的不同的特征,并獲得目標(biāo)區(qū)域的邊緣。由于小波變換具有比傅立葉變換更好的局部時(shí)頻分析特性,因此小波變換在選擇方向、小波函數(shù)選擇和時(shí)頻分辨率選擇上更具靈活性。小波變換在圖像特征提取、目標(biāo)識(shí)別、信號(hào)處理等領(lǐng)域有著廣泛的應(yīng)用。在小波分解中可以捕捉到圖像的水平、垂直、對(duì)角線(xiàn)細(xì)節(jié)和近似小波分解系數(shù)。利用近似小波分解系數(shù)可以重構(gòu)任意尺度下的高尺度空間和低尺度空間上的邊緣近似圖像。通過(guò)分析這些在高低尺度上重建的邊緣近似圖像,可以推斷出適當(dāng)?shù)姆指罘椒?。一般?lái)說(shuō),如圖2所示的兩個(gè)葉片圖像樣本處理圖,如果尺度較大,那么重建圖像中保留的信息都較小,而且重建的圖像比較模糊,同時(shí)葉脈紋理較少。
圖2 在1~3層尺度中較高和較低尺度小波分解重建的草莓葉子圖像的近似邊緣對(duì)比
可以觀察到,Otsu分割的較高尺度重建圖像結(jié)果,雖然內(nèi)部葉片孔洞隨著靜脈紋理的下降而降低,但是目標(biāo)和背景的之間的粘連增加,并且目標(biāo)位置變得模糊。隨著尺度的增大,canny算子檢測(cè)到的尺度重建圖像的邊緣變少。顯然,僅在一個(gè)尺度空間通過(guò)canny和Otsu一種分割不能獲得完整的和準(zhǔn)確的邊緣。
本研究中,基于不同尺度間重建圖像的差異,用四層daubechies 5(‘db5’)小波分解構(gòu)建基于不同尺度的邊緣提取算法。多尺度分析步驟如下所示。
1)對(duì)含有紋理特征最多的第一層小波分解重建圖像進(jìn)行Otsu分割,得到準(zhǔn)確的目標(biāo)區(qū)域,然后對(duì)二值圖像結(jié)果進(jìn)行形態(tài)學(xué)腐蝕,以減少粘連,得到葉片外區(qū)域模板,并在第一層尺度空間中去除葉片圖像邊緣的外部偽canny邊緣。
2)對(duì)紋理特征較少的第三層重建圖像進(jìn)行Otsu分割,得到粗略的葉片區(qū)域,然后將該粗略的葉片區(qū)域作為掩模。在掩模區(qū)域內(nèi)第三層重建圖像被第二次Otsu分割為前景和背景,對(duì)該前景和背景分別進(jìn)行形態(tài)學(xué)處理和邏輯運(yùn)算,然后可以得到的葉內(nèi)部區(qū)域模板用以擦除葉片圖像邊緣內(nèi)部相應(yīng)映射空間區(qū)域的偽canny邊緣。
3)最后,通過(guò)邏輯運(yùn)算,得到了無(wú)外部和內(nèi)部canny偽邊緣干擾的精確完整的草莓葉片canny邊緣圖像。
一些因素顯然影響分割,如光線(xiàn)不均勻,葉片之間或葉片與雜草等之間的重疊或接觸,卷曲的葉子形狀等,所有這些因素都可能會(huì)導(dǎo)致葉片前景區(qū)域和背景區(qū)域的紋理細(xì)碎和葉片圖像邊緣內(nèi)部灰度級(jí)不均。而具有同樣的表面法向量的葉片圖像的不同部位有相似的灰度級(jí)差,這可能會(huì)導(dǎo)致許多類(lèi)似的canny邊緣。用canny算子分割葉片圖像時(shí),結(jié)果圖像中會(huì)有許多紋理邊緣,有的是真實(shí)的葉片邊緣,有的則在真實(shí)的葉片邊緣之內(nèi)外。通過(guò)上述分析,本研究將第一層小波分解重建圖像中的canny偽邊緣劃分為三類(lèi):
1)葉片圖像邊緣外部的偽canny邊緣被當(dāng)作是第一類(lèi)偽邊緣,它存在于4層“db5”小波分解空間中第一層小波分解重建圖像的Otsu分割結(jié)果二值圖像的背景區(qū)域中。
2)葉片圖像邊緣內(nèi)部的一部分canny偽邊緣被當(dāng)作是第二類(lèi)偽邊緣,它的映射區(qū)域是第三層小波分解重建圖像在該層的掩模中的第二次Otsu分割的結(jié)果二值圖像的前景區(qū)域,該區(qū)域具有較高的亮度。
3)葉片圖像邊緣內(nèi)部的另一部分內(nèi)部canny偽邊緣被當(dāng)作是第三類(lèi)偽邊緣,它的映射區(qū)域是第三層小波分解重構(gòu)圖像在掩模中的第二次Otsu分割的結(jié)果二進(jìn)制圖像的背景區(qū)域,該區(qū)域具有顯著的灰度差異特征。
本文考慮三種不同區(qū)域之間的差異,構(gòu)建了不同的處理方法,以獲得最終的真實(shí)葉片邊緣,排除這三種區(qū)域內(nèi)的canny偽邊緣。
葉片圖像邊緣的準(zhǔn)確度取決于四層‘db5’小波的第一層小波分解重建圖像的Otsu分割過(guò)程,以及擦除葉外部偽邊緣的過(guò)程。上述分割的背景區(qū)域被用作第一類(lèi)canny偽邊緣區(qū)域模板,以消除冗余的外部canny偽邊緣,然后使用形態(tài)學(xué)算子將模板與實(shí)際葉邊緣保持幾個(gè)像素的差距,以避免使用模板時(shí)造成不完整的葉片圖像邊緣。
因此,將第一類(lèi)canny偽邊緣擦除的流程分為三個(gè)步驟。
1)重建小波分解后的第一層灰度圖像。
2)對(duì)第一層小波分解重建圖像進(jìn)行canny邊緣檢測(cè)和Otsu分割,以獲得第一層重建圖像的canny邊緣圖像和二值區(qū)域圖像。
3)將第一層小波分解重建圖像的Otsu分割背景區(qū)域作為第一類(lèi)canny偽邊緣區(qū)域模板,通過(guò)形態(tài)學(xué)和邏輯運(yùn)算擦除葉外部區(qū)域中的canny偽邊緣。
由于第一層小波分解重建圖像紋理較復(fù)雜,對(duì)它進(jìn)行Otsu分割可能會(huì)導(dǎo)致如圖4b的葉片內(nèi)部區(qū)域中的孔洞。因此將該區(qū)域分割的前景用2像素半徑的圓形結(jié)構(gòu)元形態(tài)學(xué)腐蝕和填充,再用4像素半徑的圓形結(jié)構(gòu)元腐蝕,然后用8像素半徑的圓形結(jié)構(gòu)元將結(jié)果中最大面積連通區(qū)域提取,進(jìn)行形態(tài)學(xué)膨脹,將所獲得的結(jié)果的背景區(qū)域作為外部模板圖像。該模板距離葉片真實(shí)邊緣2個(gè)像素。多次腐蝕-填充的作用是避免擴(kuò)大葉片圖像邊緣內(nèi)部孔洞,并且斷開(kāi)葉片和背景之間的粘連,來(lái)提取到完整的葉片圖像區(qū)域。多次腐蝕填充并膨脹得到外部模板的流程如圖3和圖4所示。
從圖4可以看出,對(duì)二進(jìn)制區(qū)域直接用6像素結(jié)構(gòu)元腐蝕可能導(dǎo)致由葉片內(nèi)部紋理產(chǎn)生的葉片內(nèi)部區(qū)域孔洞膨脹,進(jìn)而造成葉片內(nèi)部的碎片。而多次腐蝕可以在不加劇內(nèi)部紋理孔洞的情況下分離粘附,獲得完整的葉片區(qū)域。
圖3 外部輪廓模塊流程圖
圖4 外部輪廓提取步驟
將第三層小波分解重建圖像進(jìn)行首次Otsu分割,前景區(qū)域用6個(gè)像素半徑的圓形結(jié)構(gòu)元形態(tài)學(xué)腐蝕和填充孔洞,以確保掩模在葉邊緣內(nèi)部,將結(jié)果中的最大連接域作為掩模。因?yàn)榈谌龑又亟▓D像具有較少的紋理,使得作為掩模的Otsu分割前景的葉片區(qū)域更加完整,同時(shí)允許結(jié)果中可能存在背景的一些黏合。
圖5 內(nèi)部輪廓步驟
將第三層小波分解重建圖像在掩模區(qū)域內(nèi)第二次進(jìn)行Otsu分割,獲得的前景區(qū)域?yàn)榈诙?lèi)偽canny邊緣區(qū)域,背景區(qū)域?yàn)榈谌?lèi)偽canny邊緣區(qū)域。
葉片處理和流程的步驟如圖5和圖6所示。
(a)小波分解第三層重建圖像f2;(b)“(a)”的OTSU閾值分割結(jié)果f5;(c)通過(guò)6個(gè)像素半徑的圓形結(jié)構(gòu)腐蝕“(b)”;(d)填充“(c)”中的空洞并用3個(gè)像素半徑的圓形結(jié)構(gòu)元腐蝕結(jié)果;(e)用3個(gè)像素半徑的圓形結(jié)構(gòu)元膨脹前景區(qū)域中的最大連通區(qū)域“(d)”;(f)將結(jié)果“(e)”的最大連通區(qū)域作為掩模f8,在掩模下對(duì)第三層小波分解重建圖像進(jìn)行第二次OTSU閾值分割的結(jié)果f9;(g)掩模下2次分割后圖像背景區(qū)域f10(其中不包括“(f)”的前景區(qū)域);(h)用葉片圖像內(nèi)部canny邊緣連接“(f)”中的圖片分割碎塊,形態(tài)學(xué)填充后提取最大連通區(qū)域作為第二類(lèi)canny偽邊緣區(qū)域(葉片內(nèi)部高亮區(qū))f11;(i)用相應(yīng)的葉片內(nèi)部細(xì)化canny邊緣縫合“(g)”,形態(tài)學(xué)填充后提取最大連通區(qū)域作為第三類(lèi)canny偽邊緣區(qū)域f16(葉片內(nèi)部灰度不均勻區(qū));(j)對(duì)“(h)”和“(i)”進(jìn)行邏輯AND運(yùn)算的結(jié)合區(qū)域f17;(k)對(duì)“(j)”形態(tài)學(xué)填充后腐蝕獲得的小于葉片圖像邊緣2個(gè)像素的內(nèi)部模板f18。
整個(gè)內(nèi)部輪廓模塊的流程圖如圖6所示。
圖6 內(nèi)部輪廓模塊流程圖
(1)葉內(nèi)均勻區(qū)域
將第三層小波分解重建圖像進(jìn)行第一次Otsu分割,以分割結(jié)果的前景作為掩膜。在掩模內(nèi)對(duì)第三層小波分解重建圖像進(jìn)行第二次Otsu分割。用第一層小波分解重建圖像的葉片圖像邊緣內(nèi)部的canny邊緣縫合第三層小波分解重建圖像第二次Otsu分割的前景區(qū)域,再對(duì)該前景區(qū)域進(jìn)行形態(tài)學(xué)運(yùn)算獲得的最大區(qū)域是第二類(lèi)canny偽邊緣區(qū)域,該區(qū)域是具有均勻灰度的內(nèi)部高亮區(qū)域。第二類(lèi)偽邊緣處理模塊的步驟如下:
①對(duì)第三層小波分解重建圖像進(jìn)行第一次Otsu分割,形態(tài)學(xué)填充,然后將結(jié)果中最大連通區(qū)域作為掩模。
②在掩模區(qū)域內(nèi)對(duì)第三層小波分解重建圖像進(jìn)行第二次Otsu分割得到前景區(qū)域圖像。
③將第二次Otsu分割的前景區(qū)域圖像與第一層小波分解重建圖像的canny邊緣進(jìn)行邏輯XOR運(yùn)算,以縫合前景中碎片,經(jīng)過(guò)形態(tài)填充,選擇最大的連通區(qū)域作為第二類(lèi)canny偽邊緣區(qū)域模板。
④用第二類(lèi)canny偽邊緣區(qū)域模板與第一層小波分解重建圖像的葉片圖像邊緣內(nèi)部的canny邊緣進(jìn)行邏輯AND運(yùn)算來(lái)擦除葉片邊緣內(nèi)部高亮區(qū)域的canny偽邊緣。
第二類(lèi)canny偽邊緣區(qū)域的處理流程圖如圖7所示,處理步驟的實(shí)例圖如圖8所示。
圖7 第二類(lèi)canny偽邊緣區(qū)域(高亮區(qū))處理模塊流程圖
圖8 第二類(lèi)canny偽邊緣區(qū)域處理的實(shí)例圖
(a)第一層小波分解重構(gòu)圖像f1;(b)第一層小波分解重構(gòu)圖像canny邊緣檢測(cè)結(jié)果f3;(c)外模板f4;(d)去除外部canny偽邊緣的圖像f7;(e)第三層小波分解重構(gòu)圖像f2在掩模下第二次OTSU分割結(jié)果圖像f9;(f)用“(d)”與“(e)”邏輯異或運(yùn)算,用邊緣連接分割區(qū)域前景中的碎片;(g)對(duì)“(f)”填洞;(h)選取“(g)”中的最大連通區(qū)域,作為第二類(lèi)canny偽邊緣區(qū)域f11
(2)葉內(nèi)不均勻區(qū)域
第三層小波分解重建圖像的第二次Otsu分割的背景區(qū)域是第三類(lèi)偽canny邊緣區(qū)域,這是灰度不均勻的葉片內(nèi)部區(qū)域,灰度接近背景進(jìn)而可能導(dǎo)致葉片區(qū)域與背景區(qū)域粘連。第三類(lèi)偽canny邊緣區(qū)域處理模塊的步驟如下:
①用4像素半徑的十字交叉結(jié)構(gòu)元對(duì)第一層小波分解重建圖像的葉片內(nèi)部canny邊緣進(jìn)行形態(tài)學(xué)膨脹,以連接細(xì)碎的葉片內(nèi)部canny邊緣。然后對(duì)膨脹后的葉片內(nèi)部canny邊緣無(wú)限細(xì)化,獲得薄而連接的近似的葉片內(nèi)部canny邊緣。
②將第三層小波分解重建圖像在其自身第一次Otsu分割得到的掩膜內(nèi)進(jìn)行第二次Otsu分割,對(duì)獲得的背景區(qū)域進(jìn)行形態(tài)學(xué)腐蝕,得到一系列該背景區(qū)域碎片。將近似的葉片內(nèi)部canny邊緣與上述完整的背景區(qū)域進(jìn)行形態(tài)學(xué)AND運(yùn)算,得到的canny連接線(xiàn)和完整的背景區(qū)域外部輪廓線(xiàn)一起將腐蝕后的背景區(qū)域碎片縫合,并斷開(kāi)了葉片內(nèi)部區(qū)域與外部區(qū)域的的粘連。
③將上述結(jié)果形態(tài)學(xué)填充,選取最大連通區(qū)域作為第三類(lèi)canny偽邊緣區(qū)域。
第三類(lèi)canny偽邊緣區(qū)域的處理流程圖如圖9所示,處理步驟的實(shí)例圖如圖10所示。
(3)完整精確的葉片canny邊緣的獲取
將第二類(lèi)和第三類(lèi)canny偽邊緣區(qū)域進(jìn)行邏輯運(yùn)算,獲得完整的葉片內(nèi)部區(qū)域。將組合區(qū)域形態(tài)學(xué)腐蝕,結(jié)果作為完整的內(nèi)部模板,它比實(shí)際葉片邊緣小一到兩個(gè)像素。
然后利用第一層小波分解重建圖像的canny邊緣圖像與內(nèi)部模板和外部模板進(jìn)行邏輯運(yùn)算,從而擦除內(nèi)外部canny偽邊緣,獲得整個(gè)葉片邊緣的canny邊緣線(xiàn)。
圖9 第三類(lèi)canny偽邊緣區(qū)域(紋理區(qū))處理模塊流程圖
圖10 第三類(lèi)canny偽邊緣區(qū)域處理的實(shí)例圖
(1)最大連通區(qū)域
原始圖像被程序(通過(guò)可變的預(yù)設(shè)剪切框)自動(dòng)剪切成葉片大小相似的子圖像。如果被剪切出的子圖像中的確含有一片完整的葉片,那么子圖像中完整葉片的面積占優(yōu)并居中。根據(jù)子圖像的灰度條件,可以假設(shè)Otsu分割子圖像的前景中的最大連通區(qū)域是子圖像中的葉片區(qū)域;如果背景是葉面積,則第一類(lèi)canny偽邊緣區(qū)域的背景和前景的處理過(guò)程將被交換。
(2)產(chǎn)生第二類(lèi)和第三類(lèi)canny偽邊緣區(qū)域的原因
葉片并不是平面,第二類(lèi)canny偽邊緣區(qū)域產(chǎn)生的原因是葉面稍微折疊或卷曲,使得灰度受照度影響,出現(xiàn)高亮光區(qū)域。第二和第三類(lèi)canny偽邊緣區(qū)域都是葉內(nèi)部區(qū)域,是第二次Otsu分割第三層小波分解重建圖像的前景和背景。葉片內(nèi)部的第三類(lèi)canny偽邊緣區(qū)域的灰度接近葉片邊緣外部區(qū)域,即該區(qū)域的葉片邊緣兩側(cè)內(nèi)部區(qū)域與外部區(qū)域灰度梯度不顯著,而該區(qū)域紋理特征與葉片外部顯著性相似,這是粘連主要原因(如圖2所示,圖a中的第一行)。
(3)第二類(lèi)和第三類(lèi)canny偽邊緣區(qū)域的相關(guān)操作
(a)葉片內(nèi)部模板比第一層小波分解重建葉片圖像真實(shí)邊緣的canny線(xiàn)小一個(gè)或兩個(gè)像素。根據(jù)照度條件的不同,該模板可能包括與葉片內(nèi)部區(qū)域粘連的一些葉片外部的區(qū)域。進(jìn)行葉片內(nèi)部區(qū)域處理的內(nèi)部模板獲取將分為如下兩個(gè)階段。
(b)首先將第三層小波重建圖像的Otsu分割前景區(qū)首先作為掩模,對(duì)第三層小波重建圖像在該掩模下再次Otsu分割,所獲前景區(qū)域是葉片內(nèi)部的第二類(lèi)canny偽邊緣區(qū)域,所獲背景區(qū)域是第三類(lèi)canny偽邊緣區(qū)域。
(c)將兩類(lèi)區(qū)域由分別提取的相應(yīng)區(qū)域內(nèi)的近似canny邊緣線(xiàn)縫合,然后將兩類(lèi)區(qū)域合并,得到完整的內(nèi)部模板,并且將葉片外部區(qū)域的粘連斷開(kāi)。
葉片內(nèi)部區(qū)域模板與第二類(lèi)和第三類(lèi)canny偽邊緣區(qū)域的處理流程和步驟如圖5、6和7、8、9、10所示。
草莓葉邊緣提取的一般算法步驟如下,流程如圖11和12所示。
(1)將彩色子圖像變?yōu)榛叶葓D像,然后使用維納濾波算子對(duì)子圖像進(jìn)行噪聲處理。
(2)去噪圖像f0用4級(jí)“db5”小波分解,重建四層“db5”小波分解的第一層圖像f1和第三層圖像f2。
(3)檢測(cè)f1的canny邊緣,對(duì)f1和f2進(jìn)行Otsu閾值分割,結(jié)果分別命名為f3,f4和f5。
(4)葉片外部區(qū)域模板f6是對(duì)第一層小波分解重建圖像進(jìn)行Otsu閾值分割,通過(guò)外部輪廓模塊流程獲得的。其目的在于擦除外部canny偽邊緣。葉片內(nèi)部區(qū)域模板f18是對(duì)第三層小波分解重建圖像進(jìn)行Otsu閾值分割,通過(guò)內(nèi)部輪廓模塊流程獲得的,旨在消除內(nèi)部canny偽邊緣。
(5)為了獲得完整精確的葉片canny邊緣圖像,首先用邏輯運(yùn)算f7 = f3&(~f6),來(lái)擦除葉片外部canny偽邊緣。
(6)再用邏輯運(yùn)算f18 =(~f17)&f7,來(lái)擦除葉片內(nèi)部canny偽邊緣,以得到最終葉緣圖像f18。
整個(gè)算法過(guò)程由圖11中的兩個(gè)葉片樣本圖像處理實(shí)例描述,流程步驟如圖12所示。
圖11 小波重建葉片圖像處理的全過(guò)程實(shí)例圖
在這項(xiàng)研究中,所有草莓葉圖像都是通過(guò)CMOS攝像頭在自然光溫室中拍攝的。
基于上述所有實(shí)驗(yàn)結(jié)果可知基于小波分析的方法有效地解決了自然光溫室中葉片照度引起的灰度不均勻、葉片重疊和卷曲等問(wèn)題對(duì)草莓葉片分割的影響。由于尺度分析操作耗費(fèi)了計(jì)算機(jī)系統(tǒng)的大量計(jì)算資源,所以簡(jiǎn)化上述分割方法以避免小波尺度分析計(jì)算產(chǎn)生的問(wèn)題;同時(shí)對(duì)上述實(shí)驗(yàn)推導(dǎo)的小波分析方法加以改進(jìn),可以對(duì)原始灰度圖像進(jìn)行直接有效的分割。
圖12 多尺度算法提取草莓葉片邊緣的總流程圖
圖13通過(guò)一組比較實(shí)驗(yàn),顯示了本文推導(dǎo)的分割方法與其他常用方法的區(qū)別。
比較實(shí)驗(yàn)結(jié)果如下:
Gauss Laplace差分算子檢測(cè)到的邊緣主要表現(xiàn)為細(xì)碎和斷裂。葉片邊緣外部區(qū)域中的葉子、樹(shù)枝等與葉片圖像邊緣內(nèi)部區(qū)域存在著嚴(yán)重的粘連,如圖13(b)。
canny方法可以檢測(cè)連續(xù)和唯一的單像素邊緣,但其邊緣結(jié)果包含由內(nèi)部紋理,葉柄和樹(shù)枝引起的許多其他顯著的梯度變化引起的偽邊緣,如圖13(c)。
直接分水嶺法存在過(guò)度分割的嚴(yán)重現(xiàn)象。淹沒(méi)在噪聲或其他信號(hào)中的邊緣是由于不均勻的照度引起的,如圖13(d)。
改進(jìn)的分水嶺分割方法基于形態(tài)學(xué)標(biāo)記。與直接分水嶺分割方法相比,已經(jīng)大大改善,但由于自然光溫室草莓葉片圖像成像條件和背景復(fù)雜,因此的改進(jìn)的分水嶺方法存在將目標(biāo)分割成多個(gè)不規(guī)則片段的現(xiàn)象,如圖13(e)。
Otsu分割方法可能會(huì)導(dǎo)致葉片內(nèi)部區(qū)域與葉片外部區(qū)域的粘附,以及葉片內(nèi)部區(qū)域的孔洞。這是由于部分葉片外部區(qū)域與葉片內(nèi)部區(qū)域的紋理灰度差異小,以及待分割目標(biāo)葉片圖像的內(nèi)部灰度不均勻紋理狀況引起的,如圖13(f)。
圖13 不同分割方法的比較實(shí)驗(yàn)結(jié)果
小波包方法可以獲得連續(xù)但局部葉片內(nèi)部區(qū)域與外部區(qū)域粘連的邊緣;同時(shí)這種方法比其他方法消耗更多的計(jì)算資源,如圖13(g)。
本研究推導(dǎo)出的算法可以在自然光中獲得草莓葉片的完整和準(zhǔn)確的邊緣,邊緣受到外部背景,內(nèi)部紋理和不均勻照明的干擾較小。實(shí)際葉片圖像邊緣內(nèi)部的或外部的canny偽邊緣幾乎完全被擦除,如圖13(h)。
比較實(shí)驗(yàn)結(jié)果表明,本研究的算法效果顯著。
由于尺度操作耗費(fèi)了大量的計(jì)算資源,所以考慮對(duì)原始灰度圖像直接應(yīng)用尺度分析算法。本文改進(jìn)了上述基于尺度重構(gòu)的分割算法,將其應(yīng)用于分割原始灰度圖像。
簡(jiǎn)化的分割過(guò)程繼承了上述多尺度分析過(guò)程導(dǎo)出的分割方法,僅將canny偽邊緣區(qū)域劃分為兩類(lèi)。一個(gè)是對(duì)葉片圖像邊緣外部的canny偽邊緣區(qū)域的處理,與上述第一層小波分解重建圖像中的外部canny偽邊緣區(qū)域處理相同。另一個(gè)是對(duì)整個(gè)葉片圖像邊緣內(nèi)部的canny偽邊緣區(qū)域的處理,僅采用上述第三層小波分解重建圖像中的第三類(lèi)偽邊緣區(qū)域處理方法對(duì)整個(gè)內(nèi)部區(qū)域處理。簡(jiǎn)化算法實(shí)例如圖14所示分割效果顯著。
圖14 基于直接應(yīng)用小波分析過(guò)程的簡(jiǎn)化分割算法過(guò)程
在簡(jiǎn)化算法中,我們充分考慮了分割的復(fù)雜性,但是如果葉片內(nèi)部區(qū)域的紋理特征太復(fù)雜,而外部模板可用,但不十分理想(圖14(d)),那么分割效果就會(huì)受到影響。在尺度分析中,第三層小波分解重構(gòu)圖像也可以通過(guò)Otsu分割,將背景區(qū)域進(jìn)行處理以獲得完整的外部模板以替代第一層小波分解重構(gòu)圖像處理獲得的外部模板。但是,如果不用尺度分析計(jì)算,同時(shí)對(duì)原葉片子圖像處理獲得的葉片圖像邊緣的內(nèi)部區(qū)域不完整(外部模板也不完整),則在簡(jiǎn)化的分割方法中不能完全去除canny偽邊緣,獲得完整的葉片邊緣。如果發(fā)生這種情況,邊緣提取過(guò)程中應(yīng)該采用小波分析過(guò)程來(lái)處理復(fù)雜葉片外部紋理?xiàng)l件下的葉片邊緣提取算法。
通過(guò)實(shí)驗(yàn)證明,提取草莓葉邊緣的多尺度算法是有效的,本文主要的貢獻(xiàn)如下:
(1)提出在自然光條件下,多尺度小波分析研究草莓葉片圖像邊緣的提取方法。在此過(guò)程中用Otsu算子將第一層小波分解重建的葉片圖像的canny偽邊緣分為三大類(lèi),它們分別是葉片圖像邊緣外部區(qū)域、葉片圖像邊緣內(nèi)部的高亮灰度均勻區(qū)域和葉片圖像邊緣內(nèi)部的不均勻灰度區(qū)域。
(2)在不同尺度空間的重建圖像的相應(yīng)映射圖像空間區(qū)域(三類(lèi)區(qū)域)中,推導(dǎo)出不同的方法來(lái)去除canny偽邊緣,以獲得完整和準(zhǔn)確的葉片邊緣。
(3)在第三類(lèi)區(qū)域的處理過(guò)程中,建立了一種新的水平和垂直方向均為4個(gè)像素的十字交叉線(xiàn)性結(jié)構(gòu)單元,用于形態(tài)學(xué)腐蝕二進(jìn)制圖像。
(4)利用相應(yīng)空間映射區(qū)域的canny邊緣線(xiàn)縫合Otsu分割碎片,將需要處理的前景或背景區(qū)域整體化,同時(shí)可以斷開(kāi)葉片圖像邊緣內(nèi)部區(qū)域和外部區(qū)域的粘連。
(5)簡(jiǎn)化的算法可以直接用于分割葉片的原始圖像。以節(jié)省尺度分析耗費(fèi)的計(jì)算資源。實(shí)驗(yàn)表明,除了發(fā)生一些不完整的外部模板情況時(shí)不能避免使用尺度分析方法之外,本文的簡(jiǎn)化算法是有效的。
如前所述,自然光條件下,草莓葉片圖像邊緣提取算法的應(yīng)用展望可以表述如下:可用于葉病害分析,葉面積計(jì)算,營(yíng)養(yǎng)狀況監(jiān)測(cè)和生長(zhǎng)狀況監(jiān)測(cè),可以在今后的工作中實(shí)現(xiàn)果園數(shù)字化管理。