基于輪廓特征的植物葉片識別系統(tǒng)

摘 要：文章提出了一個基于圖像識別的植物葉片識別系統(tǒng)，采用Opencv計算機視覺庫在Android平臺上進行嵌入式開發(fā)，通過調(diào)用移動設(shè)備攝像頭對即時拍攝的150幅植物葉片照片進行物種識別。比較了包括canny邊緣檢測和EM分割算法等方法，再通過自適應(yīng)核的形態(tài)學(xué)操作進行后期處理，提取到較準(zhǔn)確的葉片邊緣輪廓信息。計算輪廓曲率并且統(tǒng)計成曲率直方圖特征，最后通過SVM分類器，對特征進行分類，來達到對不同的植物葉片進行識別和分類。識別率較高，運算速度有待提升。

關(guān)鍵詞：圖像處理；形態(tài)學(xué)；EM算法；直方圖比對；SVM；支持向量機

引言

模式識別技術(shù)被用于計算機視覺及圖像處理領(lǐng)域，近些年得到了飛速的發(fā)展，吸引了世界上眾多學(xué)者參與研究。如何提取或者測量葉子的特征是一個長期研究中的話題[1]。這使得模式識別在這個領(lǐng)域的應(yīng)用面臨了一個新的挑戰(zhàn)[2][13]。根據(jù)文獻[2]，由計算機自動獲取現(xiàn)存植物的數(shù)據(jù)的做法還沒有被實施。

而目前國內(nèi)外針對植物葉片形狀特征中的輪廓特征，對植物葉片輪廓提取的方法主要分為基于輪廓和基于區(qū)域[3]。文章通過對現(xiàn)場拍攝的植物葉片照片進行預(yù)處理，對比[4]中使用的canny邊緣檢測，我們采用Expectation-Maximization算法對植物和背景進行圖像分割[5]，能在移動平臺上以較快的速度獲取相對更加準(zhǔn)確的邊緣信息。結(jié)合文章提出的自適應(yīng)核植物形態(tài)學(xué)開閉運算，以達到去除葉片莖的干擾，然后提取植物葉片邊緣輪廓的曲率特征。

關(guān)于特征的選擇，雖然目前已經(jīng)有許多方法，但大都使用了預(yù)定義的特征。而[9]中使用了一個移動中值中心超球面分類器，因為其需要大量的迭代計算，不適合在移動平臺上應(yīng)用。相似的做法在[2]中也提出了。他們的另外一篇論文提出了一個用于葉片形狀匹配的簡單的動態(tài)規(guī)劃算法，相對[9]而言計算速度有一定提升。而文章采用采用的多尺度提取輪廓曲率信息，既能有很短的計算時間，通過實驗篩選出最具代表性的尺度特征，相比采用"不變矩"或類似于多尺度距離矩陣[10]等尺度不變方法，不僅能保證識別的成功率，而且計算量較小。

以上的很多方法都使用了k-鄰域的分類方法[2][8][9]，而有些文章中采用虛擬神經(jīng)網(wǎng)絡(luò)的方法。在[11]中作者結(jié)合花和葉子的信息來分類野生的花，[12]中提出一個虛擬神經(jīng)網(wǎng)絡(luò)的運用來分類仙人掌。但是根據(jù)[9]中作者所論證的，SVM分類將更有利于對高維特征進行更加精確的分類。

所以文章最后通過SVM訓(xùn)練形成的強分類器，與曲率直方圖相交[5]這種方法對比，對其曲率直方圖進行分類，使得系統(tǒng)的識別率更加穩(wěn)定，達到對不同的植物葉片進行識別和分類。

1 提取葉片

由于植物在不同的季節(jié)顏色變化較大，并且葉片受光照環(huán)境的不同，很容易發(fā)生顏色的改變；如果以葉片的脈絡(luò)作為特征，伴隨著葉片的生長變化極大，不利于同種物種的準(zhǔn)確識別。同時，為了模擬在真實環(huán)境中需要進行現(xiàn)場拍攝，所以在Android平臺上進行嵌入式開發(fā)?？紤]到移動平臺的攝像頭像素偏低，我們盡量選擇高亮的背景進行拍攝，為了能夠提高識別的準(zhǔn)確率，只能通過對葉片輪廓形狀上的特征進行提取。

這樣的話，要獲得一個描述充分準(zhǔn)確的葉片輪廓形狀就顯得十分關(guān)鍵。與canny邊緣檢測比較而言，使用Expectation-Maximization算法對圖像的前景和背景顏色分布進行估計，能夠保證提取的輪廓閉合，完整。如果使用canny邊緣檢測，在葉脈比較突出的情況下，可能會檢測到多個邊緣，并且不一定能形成完整閉合的輪廓。通過EM訓(xùn)練，利用這個訓(xùn)練結(jié)果，對獨立的每個像素進行分類。得到一個最初的分割二值圖像，如果圖像含有噪點可以利用中值濾波進行處理，之后通過Opencv中的FindContour方法取出輪廓，就能保證所得輪廓的完整和邊緣曲率信息的精確，然后通過形態(tài)學(xué)開閉運算及根據(jù)連通性進行除去陰影區(qū)域和葉片的葉桿。

1.1 通過Expectation-Maximization算法進行初始分割

我們初始化每個高斯模型在各自的期望中心附近分布，注意到公式中的系數(shù)為0.5，當(dāng)采用兩個相等權(quán)重的高斯分布時，從新圖像中讀入數(shù)據(jù)，函數(shù)能收斂到相應(yīng)的閾值。特征提取就通過EM分割，交替地使用每個像素估計當(dāng)前參數(shù)，然后在使用新參數(shù)對像素點進行預(yù)測，從而更新和修正參數(shù)，反復(fù)迭代直至收斂。

我們將拍攝圖片按比例縮放為400*400像素，比較了不同的采樣方式。首先，采取生成隨機二維數(shù)組，作為采樣像素點的橫縱坐標(biāo)，采樣點數(shù)為總像素數(shù)量的百分之一；其次，選擇存儲圖像的矩陣中，每隔10個像素點取一個采樣點，從像素點（10，10）開始，同樣采樣點數(shù)為總像素數(shù)量的百分之一。

結(jié)果表明，采用第二種采樣的方式更有利于初始分割圖像的準(zhǔn)確性。其原因是當(dāng)拍攝者在對葉片進行拍攝時，主觀的會將葉片置于整幅圖像的中心，而采用網(wǎng)格狀取樣方式，能對采樣點的不同類型有一個全面的覆蓋。

然而對于光照產(chǎn)生的陰影和葉片上比較薄的部分，或者由于拍攝攝像頭像素過低，以至于照片模糊，有可能使得葉片邊緣會有一些噪點，增加中值濾波，可以消除這一影響。

1.2 使用形態(tài)學(xué)操作去除錯誤預(yù)測區(qū)域

在EM處理之后，每個像素點都根據(jù)其在EM處理中和兩個高斯之間的關(guān)系被認(rèn)定為葉子或者是背景上的像素。這就導(dǎo)致了一開始的分割中有時候會存在因為不均衡的背景、陰影或者圖像中多余的物體而產(chǎn)生錯誤預(yù)測區(qū)域。另外，圖像中多余的邊緣信息也會導(dǎo)致錯誤分割區(qū)域，這是因為在實驗時，我們通常會在葉子后面放置一張白紙來產(chǎn)生一個高亮的背景，之后拍攝照片，這些照片有的會拍到白紙的邊緣，從而產(chǎn)生潛在的錯誤預(yù)測區(qū)域。

因為葉片的柄，較葉面而言大多都比較狹長，在進行一個形態(tài)學(xué)開運算之后，也就是一系列的膨脹和腐蝕操作過后，二值圖像會分離成一系列相互不連通的區(qū)域，而去除莖不應(yīng)該增加相互不連通區(qū)域的數(shù)量，所以我們認(rèn)為這樣的候選部分最可能是桿，所以我們通過頂帽算法將莖提取出后，在原圖上修剪掉這一部分，剩下的就只剩葉面了，如圖1、圖2。endprint

1.4提取結(jié)果

經(jīng)過以上步驟，葉片的邊緣形狀提取到此完成，在安卓4.0系統(tǒng)普通手機上需要一共運行3.27s，主要花費時間為EM預(yù)測，占總時間的72.3%。

不過這一系列操作對于沒有葉柄的圖1來說，去莖處理之后，會損失一定的邊緣信息，應(yīng)該如何解決或圖像恢復(fù)，文章尚且沒有做更多的研究。

2 曲率特征的計算和存儲

2.1 曲率的計算

對于不同拍攝者的不同拍攝尺度選擇，會使得有時葉片面積占整幅照片面積比例過小，有的過大，所以只有使用多尺度的葉片形狀特征，才可以有效地分辨不同種類的植物葉片。

對于離散的點來說，要求輪廓的曲率并不能夠直接求取，由于我們考慮到在移動平臺上不能夠進行長時間大量的運算，只能夠借由在葉片輪廓上，以輪廓點為半徑畫圓，統(tǒng)計在院內(nèi)的像素為葉片的像素點數(shù)，來廣義的表示該點處的曲率值[13]，曲率越大，園內(nèi)的葉片像素點數(shù)越接近圓面積的一半，如圖3、4所示。

我們嘗試從葉片輪廓的某一點出發(fā)，按照順時針順序，選取不同的尺度，計算輪廓曲線的曲率大小，形成一組關(guān)于輪廓點序列和其在不同尺度下所對應(yīng)的曲率值的向量，將其轉(zhuǎn)化成矩陣形式可以在表示成橫坐標(biāo)為輪廓點的序號，縱坐標(biāo)表示為尺度大小，而橫縱坐標(biāo)所對應(yīng)的值就是這一點，在這一尺度下的曲率大小。我們?nèi)×?～30個像素大小的不同尺度，繪制灰度圖像如圖5?；叶戎翟礁撸碓撎幥试酱?。如圖5所示。

2.2 曲率特征的存儲

完成計算后，相對應(yīng)的，每一幅R-P圖像的直方圖信息將對應(yīng)著一種植物的特征。由于在Android平臺下自帶Sqlite數(shù)據(jù)庫，讀寫速度快，并且較為輕便，我們?yōu)榱瞬粊G失直方圖精度，不進行歸一化處理，而是將數(shù)據(jù)以32位Float型數(shù)字轉(zhuǎn)化為字符串，存入數(shù)據(jù)庫中，作為植物特征信息比對數(shù)據(jù)庫。

3 直方圖比對

3.1 傳統(tǒng)圖像直方圖比較

設(shè)D為評估直方圖相似程度的距離，N代表2～30的28個尺度，B為直方圖的bins由Opencv函數(shù)calhist的histsize參數(shù)決定，文章中均設(shè)置為20，ai，bi分別為直方圖被歸一化之后所分成的區(qū)間段所對應(yīng)的峰值。由于每張葉片照片的輪廓點數(shù)不同，計算生成的直方圖需要歸一化才能進行統(tǒng)一比較，所以O(shè)pencv歸一化操作時使用插值算法的同時，必然造成精度以及特征的丟失，但是直方圖相交方法分尺度的比較可以大大減少這類誤差帶來的影響。結(jié)果如圖八所示。

3.2 采用SVM對直方圖進行分類

采用傳統(tǒng)直方圖相交的比較方法確實可以帶來相對較高的準(zhǔn)確度，但是對于需要在更加嚴(yán)謹(jǐn)?shù)膱龊鲜褂萌~片識別系統(tǒng)，那么還需要提高識別率。

3.1 中提到直方圖在比較時容易丟失精度，所以進行比較也只是進行一個二維的距離映射，從而判斷他們的相似程度，顯得比較顯得不夠細(xì)致。文章在曲率直方圖特征提取的基礎(chǔ)上提出使用SVM支持向量機對，直方圖進行分類。

4 結(jié)束語

文章所提出的基于Android平臺的葉片識別系統(tǒng)，在葉片特征提取上利用了EM聚類分割算法，使得葉片輪廓信息得以較好的完整保存，比canny輪廓檢測效果好，信息精確度較高，而且利用兩個等量的高斯模型，使得迭代算法的收斂速度加快；通過自適應(yīng)核對拍攝者的不同構(gòu)圖習(xí)慣給圖像處理帶來的影響大大降低，充分利用形態(tài)學(xué)處理克服較多拍攝的不利條件；多尺度的邊緣輪廓曲率特征地提取，有效地將傳統(tǒng)意義上的曲率和積分不變性相互聯(lián)系起來，實現(xiàn)了尺度不變的方法；再通過統(tǒng)計方法，將無方向信息的直方圖聯(lián)系在一起，最終用比較了針對曲率信息的直方圖中傳統(tǒng)直方圖相似度比較方式和SVM直方圖分類各自的優(yōu)缺點；證實了SVM在高位特征空間具有強大的分類能力，并且效果確實優(yōu)于傳統(tǒng)直方圖比較方法。為基于圖像形狀特征的葉片種類識別，在移動設(shè)備上開發(fā)的繼續(xù)深入研究，做了一個小結(jié)。

由于移動平臺靈巧輕便，既適合科研人員進行科學(xué)實驗及學(xué)習(xí)研究，又將會作為一款科普手機軟件受到旅游或者探險愛好者們的喜愛。

參考文獻

[1]H. Fu and Z. Chi.Combined thresholding and neural network approach for vein pattern extraction from leaf images[J].IEE Proceedings-VisionImage and Signal Processing， 2006 ，153（6）.

[2]J.-X. Du， X.-F. Wang， and G.-J. Zhang.Leaf shape based plant species recognition [J].Applied Mathematics and Computation， 2007，185.

[3]Zhang D， Lu G. Review of shape representation and description techniques[J].Pattern recognition， 2004， 37（1）：1-19.

[4]Valliammal N， Geethalakshmi S N. Hybrid image segmentation algorithm for leaf recognition and characterization[C].Process Automation， Control and Computing （PACC）， 2011 International Conference on. IEEE， 2011：1-6.

[5]Kumar N， Belhumeur P N， Biswas A， et al. Leafsnap： A computer vision system for automatic plant species identification[M].Computer Vision-ECCV 2012. Springer Berlin Heidelberg， 2012：502-516.endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計算機視覺。endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計算機視覺。endprint

[6]Wang Z， Chi Z， Feng D. Fuzzy integral for leaf image retrieval[C].Fuzzy Systems， 2002. FUZZ-IEEE'02. Proceedings of the 2002 IEEE International Conference on. IEEE， 2002， 1： 372-377.

[7]F. Gouveia， V. Filipe， M. Reis， C. Couto， and J. Bulas-Cruz. Biometry：the characterisation of chestnut-tree leaves using computer vision，"[J].in Proceedings of IEEE International Symposium on Industrial Electronics， Guimar？ aes， Portugal， 1997.

[8]X. Gu， J.-X. Du， and X.-F. Wang.Leaf recognition based on the combination of wavelet transform and gaussian interpolation[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[9]X.-F. Wang， J.-X. Du， and G.-J. Zhang.Recognition of leaf images based on shape features using a hypersphere classifier[J].in Proceedings of International Conference on Intelligent Computing 2005， ser. LNCS 3644. Springer， 2005.

[10]Hu R， Jia W， Ling H， et al. Multiscale distance matrix for fast plant leaf recognition[J]. Image Processing， IEEE Transactions on， 2012， 21（11）：4667-4672.

[11]T. K. Takeshi Saitoh.Automatic recognition of wild flowers[J].in Proceedings of 15th International Conference on Pattern Recognition （ICPR'00）， 2000， 2.

[12]B. C. Heymans， J. P. Onema， and J. O. Kuti. A neural network for opuntia leaf-form recognition，"[J].in Proceedings of IEEE International Joint Conference on Neural Networks， 1991.

[13]Manay S.， Cremers D.， Hong B.W.， et al.Integral invariants for shape matching[J].TPAMI， 2006，28：1602-1618.

作者簡介：普楠（1993-）男，云南昆明人，蘇州大學(xué)敬文書院本科生， 研究方向：計算機視覺。endprint