基于葉緣特征的植物圖像分類(lèi)檢索

晏藝真, 周堅(jiān)華

(1. 華東師范大學(xué) 地理系, 上海 200241; 2. 華東師范大學(xué) 地理信息科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200241)

基于葉緣特征的植物圖像分類(lèi)檢索

晏藝真1, 周堅(jiān)華2

(1. 華東師范大學(xué) 地理系, 上海 200241; 2. 華東師范大學(xué) 地理信息科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200241)

葉緣是植物屬種識(shí)別分類(lèi)可以參照的主要特征之一.與葉片形狀特征相比，葉緣描述了尺度更細(xì)微的特征，對(duì)于彌補(bǔ)葉形識(shí)別特征的不足、以及從多尺度識(shí)別植物屬種都有重要意義.在借鑒已有研究成果的基礎(chǔ)上，設(shè)計(jì)了7個(gè)新的葉緣特征描述符、提出了以語(yǔ)義字典組織植物屬種多層分類(lèi)中的層間繼承關(guān)系、以及通過(guò)葉節(jié)點(diǎn)成員相似性評(píng)估確定植物屬種的技術(shù)框架和方法.通過(guò)分支結(jié)點(diǎn)描述符組合分類(lèi)實(shí)驗(yàn)，證明了葉緣凸殘差與葉局部面積比、右邊長(zhǎng)與左邊長(zhǎng)比對(duì)劃分不同的非裂葉植物、以及劃分不同的非全緣葉植物有效；葉緣凸殘差均值等描述符對(duì)于劃分不同的非全緣葉植物有效.通過(guò)多描述符組合的多層分類(lèi)將30種非裂葉植物劃分到多個(gè)葉節(jié)點(diǎn)，平均全局精度優(yōu)于81.21%.而葉節(jié)點(diǎn)成員屬種概率評(píng)估實(shí)驗(yàn)，進(jìn)一步論證了這種多層分類(lèi)和相似性檢索框架的合理和有效性.

葉緣特征； 描述符； 凸殘差； 語(yǔ)義字典； 圖像檢索

0 引 言

植物屬種識(shí)別分類(lèi)是植物學(xué)研究和農(nóng)林業(yè)生產(chǎn)經(jīng)營(yíng)中的重要基礎(chǔ)工作，傳統(tǒng)的方法是由植物分類(lèi)專(zhuān)家親臨野外辨識(shí)，或由更多的野外工作者采集實(shí)物樣本和/或拍攝圖片，帶回實(shí)驗(yàn)室由這些專(zhuān)家做分析.但植物種類(lèi)的豐富性和形態(tài)多樣性所帶來(lái)的巨量信息，是人類(lèi)專(zhuān)家的經(jīng)驗(yàn)、記憶力和分析能力遠(yuǎn)遠(yuǎn)不能承受的，這種傳統(tǒng)方法面臨嚴(yán)峻挑戰(zhàn).

數(shù)碼攝影技術(shù)的普及使數(shù)字圖像更易獲得，它的主要特點(diǎn)是可以實(shí)時(shí)處理和傳輸. 依靠一些植入智能手機(jī)或個(gè)人數(shù)字助理(PDA)的系統(tǒng)，使人們有可能借助圖像自動(dòng)識(shí)別技術(shù)在野外對(duì)植物做實(shí)時(shí)分類(lèi).同時(shí)，計(jì)算機(jī)網(wǎng)絡(luò)和手持式導(dǎo)航儀技術(shù)的發(fā)展，又使這種識(shí)別的準(zhǔn)確率可能通過(guò)采樣地點(diǎn)定位和網(wǎng)絡(luò)圖像檢索的支持而改善.這些技術(shù)的集成框架稱(chēng)為“基于內(nèi)容的圖像檢索”(Content-Based Image Retrieval，CBIR)[1].該框架擴(kuò)展了人類(lèi)感知世界的能力，使我們快速進(jìn)入“自動(dòng)識(shí)別各類(lèi)物種的時(shí)代”[2].已經(jīng)出現(xiàn)了少量基于CBIR的手機(jī)版植物辨識(shí)軟件，但由于正確辨識(shí)的植物種類(lèi)有限，目前主要用于科普目的，距離為植物學(xué)野外工作服務(wù)還有一定差距[3].也就是說(shuō)，由于專(zhuān)家知識(shí)植入圖像識(shí)別軟件和網(wǎng)絡(luò)檢索系統(tǒng)方面的一些困難，使得CBIR系統(tǒng)在植物屬種識(shí)別分類(lèi)領(lǐng)域的應(yīng)用深度和廣度還有待進(jìn)一步拓展.

葉緣是植物屬種識(shí)別分類(lèi)可以參照的主要特征之一，無(wú)論對(duì)人類(lèi)專(zhuān)家依靠經(jīng)驗(yàn)的識(shí)別和計(jì)算機(jī)圖像自動(dòng)識(shí)別都非常重要.與葉片形狀特征相比，葉緣描述了尺度更細(xì)微的特征，對(duì)于彌補(bǔ)葉形識(shí)別特征的不足、以及從多尺度識(shí)別植物屬種都有重要意義.已經(jīng)有一些研究者報(bào)導(dǎo)了他們?cè)谶@方面的工作.比如判斷植物葉是否存在鋸齒[4]、區(qū)分鋸齒和分裂[5]、檢測(cè)葉緣鋸齒[6]、提取鋸齒特征[7,8]、對(duì)植物葉鋸齒和葉裂定位[9]、在識(shí)別中結(jié)合使用葉緣與葉形特征[10-13]等.但沒(méi)有檢出側(cè)重于研究鋸齒深淺和整齊程度等葉緣特征的文獻(xiàn).已有的研究中，主要有跟蹤葉緣輪廓曲線構(gòu)造函數(shù)以提取鋸齒位置和數(shù)量的方法[5,6]，以及通過(guò)檢測(cè)角點(diǎn)提取鋸齒特征的方法[7,8].前者易受圖像噪聲影響，使輪廓曲線連續(xù)性變差并影響函數(shù)計(jì)算；使用的葉緣特征簡(jiǎn)單，存在對(duì)圖像和葉片尺寸變化的適應(yīng)性欠好等問(wèn)題.而后者在自適應(yīng)確定算子尺寸和分割閾值、分辨鋸齒類(lèi)型、部位等方面顯得不足.

上述成果已經(jīng)提出了較多葉形特征描述符和少量葉緣特征描述符，而植物屬種劃分通常采用單層分類(lèi)方法，因此劃分類(lèi)別數(shù)比較有限.為了適應(yīng)更多植物屬種分類(lèi)，本文綜合應(yīng)用圖像分類(lèi)和圖像檢索的一些概念模型和方法，對(duì)植物屬種常規(guī)圖像分類(lèi)方法做了一些改進(jìn).比如，根據(jù)圖像檢索概念，構(gòu)建了葉緣分類(lèi)語(yǔ)義字典，并為各分支結(jié)點(diǎn)設(shè)計(jì)了描述符組合；根據(jù)多層圖像分類(lèi)原理，以字典層結(jié)點(diǎn)組織和描述植物屬種分層繼承關(guān)系；根據(jù)相似概率索引方法，推求字典葉節(jié)點(diǎn)成員屬于特定植物種的概率，進(jìn)而實(shí)現(xiàn)對(duì)植物屬種做圖像分類(lèi)索引的功能.在描述符設(shè)計(jì)方面，主要側(cè)重于鋸齒深淺和整齊程度等重要葉緣特征的描述，形成的7個(gè)新葉緣特征描述符補(bǔ)充和豐富了已有葉緣描述符庫(kù).對(duì)30種非裂葉植物的332幅葉圖像的分類(lèi)檢索實(shí)驗(yàn)表明，在“分類(lèi)語(yǔ)義字典組織的分層分類(lèi)+葉節(jié)點(diǎn)成員相似性檢索”的技術(shù)框架下，將這些新描述符與某些常用葉形描述符結(jié)合使用，可以有效改善植物葉圖像屬種劃分的精度.

1 方 法

1.1 方法概述

為了提取葉緣特征和區(qū)分不同屬種植物的葉緣差異，提出了魯棒性較高的圖像預(yù)處理和葉緣特征元素提取方法，并由這些特征元素的集合和統(tǒng)計(jì)表達(dá)式形成新的葉緣特征描述符；為了增加分類(lèi)數(shù)和減小分類(lèi)難度，采用了多(層)分類(lèi)方法；提出了葉緣分類(lèi)語(yǔ)義字典的概念，并以該字典描述多分類(lèi)中的層間繼承關(guān)系.為了解決字典葉節(jié)點(diǎn)植物屬種不唯一問(wèn)題，提出并實(shí)踐了以相似性檢索確定葉節(jié)點(diǎn)成員歸屬概率的方法.另外，使用本文設(shè)計(jì)的描述符和分類(lèi)規(guī)則，分割閾值比較穩(wěn)定、對(duì)圖像和葉片尺寸變化較不敏感、描述符中的參數(shù)可以自適應(yīng)確定.圖1顯示該方法的技術(shù)流程.下面簡(jiǎn)要介紹其中的關(guān)鍵技術(shù).

圖1 技術(shù)流程Fig.1 Flowchart of the proposed methods

1.2 數(shù)據(jù)采樣

近日，應(yīng)急管理部、國(guó)家減災(zāi)委辦公室會(huì)同自然資源部、農(nóng)業(yè)農(nóng)村部、氣象局等部門(mén)對(duì)2018年11月份全國(guó)自然災(zāi)害情況進(jìn)行了會(huì)商分析。經(jīng)核定，11月份中我國(guó)自然災(zāi)害以滑坡災(zāi)害為主，洪澇、風(fēng)雹、地震、山體崩塌等災(zāi)害也有不同程度發(fā)生。各類(lèi)自然災(zāi)害共造成全國(guó)12萬(wàn)人次受災(zāi)，8.6萬(wàn)人次緊急轉(zhuǎn)移安置；3400余間房屋嚴(yán)重?fù)p壞，2.2萬(wàn)間一般損壞；農(nóng)作物受災(zāi)面積8.2千公頃，其中絕收2千公頃；直接經(jīng)濟(jì)損失75.4億元。

植物葉片樣本數(shù)字圖像均來(lái)自野外自采集.采集區(qū)域?yàn)樯虾Ｊ袇^(qū)的華東師范大學(xué)閔行校區(qū)、上海植物園和虹橋路虹梅公共綠地，以及浙江省臨安市西天目山地區(qū).共對(duì)30余種闊葉類(lèi)植物采樣量測(cè)和攝影，拍攝圖像包括單葉的正反面，共獲取有效樣本圖像300余幅.采樣設(shè)備為普通單反變焦數(shù)碼相機(jī)，拍攝時(shí)注意了避免陽(yáng)光直射，拍攝背景為自制小黑板.

1.3 圖像預(yù)處理

圖像預(yù)處理主要用于減少噪點(diǎn)對(duì)葉形狀特征提取的干擾.本研究使用去除葉柄后的攝影圖像作為預(yù)處理的原圖像，圖2以寬葉十大功勞為例介紹圖像預(yù)處理的一般流程.

注：(a)原圖像.(b)對(duì)灰度圖做中值濾波后圖像，濾波窗口尺寸據(jù)圖像尺寸自適應(yīng)確定.(c)二值化并經(jīng)過(guò)數(shù)學(xué)形態(tài)學(xué)處理后的圖像，分割閾值按大津算法[14]確定，數(shù)學(xué)形態(tài)學(xué)處理為先用兩次開(kāi)啟運(yùn)算去除毛刺，再進(jìn)行兩次閉合運(yùn)算封閉較小裂隙；最后進(jìn)行兩次膨脹運(yùn)算，并與葉片二值圖做與運(yùn)算，以恢復(fù)葉緣信息，填充凹陷，并濾除較小的凸點(diǎn).圖2 圖像預(yù)處理過(guò)程Fig.2 Image preprocessing

1.4 描述符設(shè)計(jì)和參變量提取

為體現(xiàn)不同植物類(lèi)在葉緣細(xì)微特征上的差異和減少運(yùn)算開(kāi)銷(xiāo)，在葉緣特征元素/參變量獲取時(shí)，統(tǒng)一只取右半葉中段三分之一的子圖像(葉外接矩形平均劃分為兩列三行，(2,2)處部分)參與運(yùn)算，記為PT(見(jiàn)圖3)，圖4顯示部分葉緣參變量的含義.圖5以樸樹(shù)和花葉青木為例，顯示了葉緣參變量提取過(guò)程中，對(duì)于凸殘差的處理.凸包是將最外層的點(diǎn)連接起來(lái)構(gòu)成的凸多邊型，凸殘差是凸包和原圖像相減的結(jié)果.凸包以MATLAB的convhull函數(shù)提取，該函數(shù)出自著名算法 “Qhull”(參見(jiàn)http://www.qhull.org).

圖3 取子圖PT示意圖Fig.3 Getting sub-graph PT

圖4 葉緣特征參變量示意Fig.4 Explanation of parameter

注：(a)和(c)是兩葉的part圖像，其獲取方式為對(duì)二值圖圖斑排序得到最大圖斑，將part區(qū)域保留原值，其他區(qū)域數(shù)值歸為0；(b)和(d)分別是(a)、(c)的凸殘差圖斑，一些粘連的凸殘差經(jīng)形態(tài)學(xué)處理后分離，非常小的凸殘差消失.圖5 樸樹(shù)和花葉青木凸殘差處理后結(jié)果Fig.5 Extracting residual error of convex

可以根據(jù)提取的葉緣特征參變量設(shè)計(jì)葉緣描述符，設(shè)計(jì)參照如下原則：

(1)能夠有效表征葉鋸齒的數(shù)量、整齊程度、深淺和尖銳程度等葉緣特征；

(2)描述符的特征參量在圖像上可提取、可量化；

(3)具有區(qū)分植物屬種作用.

根據(jù)這些原則，設(shè)計(jì)了7個(gè)新的葉緣描述符(見(jiàn)表1前7個(gè)).為便于后續(xù)內(nèi)容理解，表1還列出了后面將引用的部分常用葉形描述符.

1.5 分層分類(lèi)和檢索

屬種分類(lèi)在語(yǔ)義字典的每個(gè)分支結(jié)點(diǎn)上進(jìn)行，包括:為每個(gè)分支結(jié)點(diǎn)選擇描述符組合，通過(guò)訓(xùn)練定制各分支結(jié)點(diǎn)的分類(lèi)器,以及以定制的分類(lèi)器做分類(lèi)測(cè)試.

各分支結(jié)點(diǎn)使用的描述符在表1中挑選，一個(gè)結(jié)點(diǎn)的劃分通常需要多個(gè)描述符組合，而一個(gè)描述符也可能被多個(gè)結(jié)點(diǎn)的劃分規(guī)則采用.對(duì)于某個(gè)結(jié)點(diǎn)最適合的描述符組合可以通過(guò)分類(lèi)實(shí)驗(yàn)測(cè)試.測(cè)試時(shí)，將樣本集隨機(jī)分為訓(xùn)練和測(cè)試兩個(gè)子集，用選定分類(lèi)器模型做分類(lèi)精度評(píng)估.本文以決策樹(shù)(DT)作為分類(lèi)器模型，以方便查看分類(lèi)規(guī)則和分析組合中各描述符的有效性.通過(guò)訓(xùn)練DT，可以定制某結(jié)點(diǎn)的分類(lèi)器，它以分類(lèi)規(guī)則樹(shù)的形式顯示，圖6給出一個(gè)實(shí)例.規(guī)則樹(shù)所用的描述符由DT在訓(xùn)練過(guò)程中自主決定.并非所有在組合中的描述符都能入選，一般可以將入選者視為對(duì)當(dāng)前分類(lèi)問(wèn)題較有效的描述符.用該規(guī)則樹(shù)對(duì)剩余的測(cè)試樣本做分類(lèi)，其結(jié)果可用于評(píng)估定制分類(lèi)器的精度和描述符組合的優(yōu)劣.表2是對(duì)非裂葉類(lèi)232幅測(cè)試樣本圖像做全緣和非全緣葉分類(lèi)的混淆矩陣.其余各分支結(jié)點(diǎn)的分類(lèi)精度評(píng)估情況參見(jiàn)2.2.

表1 葉緣特征和本文引用的部分形狀特征描述符Tab.1 New leaf margin descriptors and some existing leaf shape ones

注:[a]Ca為子圖PT凸殘差的總面積；Pa為子圖PT面積；L為PT左邊長(zhǎng)，其值為葉片外接矩形高的三分之一；R為PT右邊長(zhǎng)，其值等于Pm-H/3-Up-Dw(Pm為PT外接矩形周長(zhǎng)，H為葉片外接矩形的高，Up為PT上邊界的長(zhǎng)度，Dw為PT下邊界的長(zhǎng)度).[b] 名稱(chēng)后帶*的為在分類(lèi)有效性測(cè)試中未能入選DT分類(lèi)規(guī)則的描述符.[c] 描述符適用范圍可能不只限于表中所列.

注：利用100幅植物葉圖像為訓(xùn)練樣本，以Rcp-Dep-Num組合作為屬性向量時(shí)給出的分類(lèi)規(guī)則;葉節(jié)點(diǎn)1和2分別代表全緣和非全緣葉;最終被DT選用的描述符有Rcp(凸殘差與PT面積比)和Dep(右邊長(zhǎng)與左邊長(zhǎng)比).圖6 將非裂葉層劃分為全緣葉和非全緣葉的規(guī)則Fig.6 The rules for dividing non-lobed leaf into integrifolious leaf and non-integrifolious leaf

表2 一個(gè)分支結(jié)點(diǎn)分類(lèi)的混淆矩陣Tab.2 A case confusion matrix

注：全局精度為84.91%.

通過(guò)分層分類(lèi)到達(dá)語(yǔ)義字典某個(gè)葉節(jié)點(diǎn)的成員通常屬于多個(gè)植物類(lèi)，或說(shuō)葉節(jié)點(diǎn)成員尚未分到具體的植物屬種.本文參考目前圖像檢索領(lǐng)域的主流方法，提出了評(píng)估葉節(jié)點(diǎn)成員歸屬概率的方法，并測(cè)試了其有效性，具體請(qǐng)見(jiàn)2.4.

2 結(jié)果與討論

借鑒現(xiàn)有研究成果的基礎(chǔ)上，本文取得了如下進(jìn)展：設(shè)計(jì)并測(cè)試了7個(gè)新的葉緣描述符、以多層分類(lèi)取代單層分類(lèi)、以語(yǔ)義字典組織多層分類(lèi)的繼承關(guān)系、通過(guò)葉結(jié)點(diǎn)成員與樣本的相似性評(píng)估，給出該成員歸屬某些植物類(lèi)的概率.下面討論其中的幾個(gè)重要內(nèi)容，包括葉緣分類(lèi)語(yǔ)義字典、分支結(jié)點(diǎn)描述符組合和分類(lèi)精度、葉緣和葉形特征分類(lèi)精度比較、葉節(jié)點(diǎn)相似性評(píng)估.

2.1 葉緣分類(lèi)語(yǔ)義字典

為了擴(kuò)大可分類(lèi)別數(shù)，采用了分層分類(lèi)的方法.分類(lèi)語(yǔ)義字典主要用于管理層間繼承關(guān)系.字典的構(gòu)建同時(shí)兼顧了經(jīng)典植物分類(lèi)學(xué)方法和計(jì)算機(jī)圖像辨識(shí)能力兩個(gè)方面(見(jiàn)圖7).因?qū)嶒?yàn)采集的樣本種類(lèi)有限，劃分到第三層時(shí)，結(jié)點(diǎn)中的植物類(lèi)別即在10種以?xún)?nèi)，所以本文以3層的語(yǔ)義字典為例，介紹植物葉特征提取和分類(lèi)檢索的方法.

注：為了方便計(jì)算機(jī)圖像辨識(shí)，非裂葉按照是否有葉緣齒分為有齒的非全緣葉和無(wú)齒的全緣葉；非全緣葉根據(jù)齒的整齊、疏密、尖銳和深淺程度，分別分為等齒和非等齒葉、齒密和齒疏葉、齒尖銳和齒圓葉、齒淺和齒深葉；這4種劃分情況可能同時(shí)或先后出現(xiàn)在第3及以后層，可用類(lèi)似圖a的4個(gè)3層二分樹(shù)表達(dá)，也可以用類(lèi)似圖b的單個(gè)多層二分樹(shù)表達(dá).圖7 葉緣分類(lèi)語(yǔ)義字典(以非裂葉植物為例)Fig.7 A case semantic dictionary for distinguishing between different non-lobed -leaf species

2.2 分支結(jié)點(diǎn)描述符組合和分類(lèi)精度

下面討論以不同描述符組合分類(lèi)的精度，表3列出圖7中5個(gè)分支結(jié)點(diǎn)的分類(lèi)實(shí)驗(yàn)數(shù)據(jù).非裂葉結(jié)點(diǎn)以Rcp-Dep-Num3個(gè)描述符組合做分類(lèi)實(shí)驗(yàn)，其他結(jié)點(diǎn)均以新設(shè)計(jì)的7個(gè)葉緣描述符組合做分類(lèi)實(shí)驗(yàn)，表中列出的描述符(組合)由DT自主確定.由于不同特征提取和量化的難易程度不同，不同劃分內(nèi)容在區(qū)分植物屬種能力方面存在差異等原因，使得不同結(jié)點(diǎn)分類(lèi)精度差別較大.其中，將非全緣葉劃分為等齒和非等齒及齒圓和齒尖銳葉時(shí)精度稍差，提示需要繼續(xù)研究對(duì)齒整齊程度和尖銳程度敏感的描述符.此外，DT自主確定的描述符中，Rcp、Dep和Mv出現(xiàn)的頻率較高，可見(jiàn)基于葉緣凸殘差的描述符和它們的某些組合對(duì)于劃分植物屬種有效.

以新設(shè)計(jì)的7個(gè)描述符組合分類(lèi)時(shí)，入選DT決策規(guī)則的描述符可能會(huì)與以更少數(shù)量描述符組合分類(lèi)時(shí)的不同.如對(duì)非裂葉結(jié)點(diǎn)上的分類(lèi)，用7個(gè)描述符組合分類(lèi)時(shí)，入選的描述符有Rcp、Src和Sta，精度只有70.26%，低于用Rcp-Dep-Num組合分類(lèi)時(shí)的精度，提示描述符個(gè)數(shù)會(huì)對(duì)分類(lèi)精度產(chǎn)生較難預(yù)期的影響，并非總是描述符個(gè)數(shù)越多越好(或特征空間越復(fù)雜越好).此外，以和葉節(jié)點(diǎn)劃分特征相關(guān)的單個(gè)描述符對(duì)非全緣葉層分類(lèi)時(shí)，其精度普遍比使用多個(gè)描述符分類(lèi)時(shí)低，說(shuō)明描述符組合在分層分類(lèi)中更有效.

表3 各層結(jié)點(diǎn)分類(lèi)精度評(píng)估Tab.3 Assessment of classification accuracy in every layer nodes

2.3 葉緣和葉形特征分類(lèi)精度比較

具有相似葉形的植物種較多，單獨(dú)使用葉形描述符分類(lèi)難以提高某些層的分類(lèi)精度.如劃分非裂葉結(jié)點(diǎn)時(shí)，貓乳、櫻花、欒樹(shù)和紫薇葉形相近，僅用葉形描述符將難以區(qū)分.實(shí)驗(yàn)發(fā)現(xiàn)，僅使用葉形描述符對(duì)非裂葉層進(jìn)行分類(lèi)時(shí)，精度較使用葉緣描述符時(shí)低，說(shuō)明對(duì)于葉形相似的植物種類(lèi)，使用葉緣描述符分類(lèi)更有效.在多植物屬種分類(lèi)時(shí)，可以將葉形和葉緣描述符聯(lián)合使用，以豐富特征空間，提高分類(lèi)精度.表4提供了僅僅使用葉形描述符分類(lèi)和聯(lián)合使用葉形、葉緣描述符分類(lèi)的例子.與表3同一結(jié)點(diǎn)對(duì)照可知，對(duì)于葉形相似、葉緣特征不同的植物屬種，使用葉緣描述符或聯(lián)合使用葉形、葉緣描述符分類(lèi)精度將得到較大改善.

表4 使用葉形描述符分類(lèi)精度評(píng)估Tab.4 Assessment of classification accuracy in the case of using leaf shape descriptors only

2.4 相似性概率評(píng)估

與需要?jiǎng)澐值闹参飳俜N相比，分類(lèi)特征空間總是顯得過(guò)于簡(jiǎn)單.因?yàn)閷?duì)劃分問(wèn)題有效、且彼此相互獨(dú)立的描述符的數(shù)量非常有限；采用分層分類(lèi)也只能有限改善這種情況.所以通過(guò)分類(lèi)到達(dá)語(yǔ)義字典某個(gè)葉節(jié)點(diǎn)的成員尚未分到具體的植物屬種.這一部分將通過(guò)評(píng)估葉節(jié)點(diǎn)成員與已知樣本的相似程度，給出該成員分別屬于某些植物屬種的概率.這種相似程度可以采用如式1所示的均方差公式定量計(jì)算.

(1)

其中，i=1,2,…,n為樣本序號(hào)(0表示新成員)；j=1,2,…,m為描述符序號(hào)；G為描述符值，如Gi1為第i個(gè)樣本第1個(gè)描述符的值；Si是為第i個(gè)樣本的均方差.

通常，Si可以反映某葉節(jié)點(diǎn)新成員與同一節(jié)點(diǎn)已知樣本的相似度，Si值越小，相似度越高.在下面的兩個(gè)例子中，葉節(jié)點(diǎn)的新成員分別為花葉青木和紅葉石楠葉圖像，表5和6顯示這兩種新成員相對(duì)于已知樣本的Si值，并列出Si排序較前的樣本植物種類(lèi).由表可見(jiàn)，Si可以用于確定葉節(jié)點(diǎn)成員的植物種歸屬.可以根據(jù)某類(lèi)植物出現(xiàn)頻次和平均Si值等綜合確定新成員的歸屬概率，式2給出一個(gè)評(píng)估表達(dá)式的例子.

Pi=a·Ni+b·(1-MEANSi).

(2)

其中，Pi為新成員屬于第i類(lèi)的概率；a和b為權(quán)系數(shù)；Ni為在Si較低的10個(gè)樣本中第i類(lèi)植物出現(xiàn)的次數(shù)；MEANSi為這10個(gè)樣本中，第i類(lèi)的平均Si.可以通過(guò)調(diào)節(jié)a和b，給予Ni和MEANSi不同的信任度.

以表5為例,先將Ni和Si歸一化到值域[0,1]，并設(shè)a=b=0.5(等權(quán))，則P1=49.11%(花葉青木)，P2=14.29%(寬葉十大功勞) ，P3=40.04%(石楠) ，P4=23.36%(窄葉十大功勞)；將概率歸一化，即得到新成員屬于花葉青木、寬葉十大功勞、石楠、窄葉十大功勞的概率分別為100%、29.10%、81.53%、47.58%.以同樣的方法處理表6的數(shù)據(jù)，可得新成員屬于榔榆、櫻花、貓乳、桃樹(shù)的概率分別為100%、87.30%、30.34%、63.48%.該例提示相似概率可以正確表征新成員屬種.

表5 相似度概率評(píng)估(花葉青木)Tab.5 A case assessment of similarity for j. var. variegata

表6 相似度概率評(píng)估(榔榆)Tab.6 A case assessment of similarity for Ulmus parvifolia

3 結(jié) 論

本文主要研究基于葉緣特征的植物屬種自動(dòng)圖像分類(lèi)檢索技術(shù)，并在設(shè)計(jì)新的葉緣描述符、構(gòu)建語(yǔ)義字典和多層分類(lèi)、葉結(jié)點(diǎn)成員歸屬概率評(píng)估等方面取得突出進(jìn)展， 所提交的成果支持如下結(jié)論.

(1) 葉緣特征是植物葉圖像識(shí)別的有效指標(biāo)，對(duì)于某些葉形相似的植物類(lèi)，甚至是唯一有效指標(biāo).描述符設(shè)計(jì)的合理性是改善可分性的關(guān)鍵，凸殘差與PT面積比、右邊長(zhǎng)與左邊長(zhǎng)比對(duì)非裂葉層和非全緣葉層分類(lèi)有效；凸殘差均值、凸殘差均方差等描述符對(duì)于非全緣葉層的區(qū)分有效.

(2) 使用分類(lèi)語(yǔ)義字典組織分層分類(lèi)，并在各分支結(jié)點(diǎn)使用適當(dāng)?shù)拿枋龇M合分類(lèi)，可以有效增加可分類(lèi)別數(shù)和提高分類(lèi)精度.

(3) 在植物屬種較多的情況下，(分層)分類(lèi)通常不能最后決定屬種.對(duì)于分到葉節(jié)點(diǎn)的成員可以通過(guò)與索引庫(kù)樣本的相似性評(píng)估，獲得它們屬于不同科、屬、種的概率，而基本實(shí)現(xiàn)對(duì)植物屬種做圖像自動(dòng)分類(lèi)檢索的功能.

(4) 由于植物屬種測(cè)試樣本的數(shù)量和代表性等對(duì)分類(lèi)精度會(huì)有較大影響，相對(duì)于數(shù)目龐大的植物屬種，本文的實(shí)驗(yàn)屬種數(shù)和實(shí)驗(yàn)圖像數(shù)依然很有限，所提交的分析結(jié)論還有待進(jìn)一步驗(yàn)證.

[1] NAM Y, HWANG E, KIM D. A similarity-based leaf image retrieval scheme: Joining shape and venation features[J]. Computer Vision And Image Understanding, 2008, 110: 245-259.

[2] MACLEOD N, BENFILELD M, CULVERHOUSE P. Time to automate identification[J]. Nature, 2010, 467: 154-155.

[3] JAMES S C, DAVID C, JONATHAN Y C, et al. Plant species identification using digital morphometrics: A review[J]. Expert Systems with Applications, 2012, 39: 7562-7573.

[4] 祁亨年,壽韜,金水虎,等.基于葉片特征的計(jì)算機(jī)輔助植物識(shí)別模型[J].浙江林學(xué)院學(xué)報(bào),2003,20(3):281-284.

[5] 朱靜,田興軍,陳彬,等.植物葉形的計(jì)算機(jī)識(shí)別系統(tǒng)[J].植物學(xué)通報(bào),2005,22(5):599-604.

[6] 趙國(guó)慶,劉循,王勇,等.導(dǎo)數(shù)在提取植物葉片鋸齒特征上的應(yīng)用[J].四川大學(xué)學(xué)報(bào):自然科學(xué)版,2009,46(4):941-946.

[7] 徐輝,王忠芝,黃心淵,等.基于角點(diǎn)檢測(cè)的葉緣鋸齒快速識(shí)別[J].北京林業(yè)大學(xué)學(xué)報(bào),2010,32(6):85-89.

[8] 鄭小東,王曉潔,高潔,等.SUSAN算法在植物葉緣特征提取中的應(yīng)用[J].中國(guó)農(nóng)學(xué)通報(bào),2011,27(27):174-178.

[9] 王曉潔,于浩杰,鄭小東,等.凸包在植物葉鋸齒與葉裂位置識(shí)別中的應(yīng)用[J].農(nóng)機(jī)化研究,2013(3):214-217.

[10] CLARK J Y. Identification of botanical specimens using artificial neural networks[C]//Computational Intelligence in Bioinformatics and Computational Biology, 2004. Proceedings of the 2004 IEEE Symposium on, 2004: 87-94.

[11] CLARK J Y. Plant identification from characters and measurements using artificial neural networks[M]//MACLEODN.Automated Taxon Identification in Systematics: Theory, Approaches and Applications. FL:CRC Press, 2007.

[12] CLARK J Y. Neural networks and cluster analysis for unsupervised classification of cultivated species of Tilia (Malvaceae)[J]. Botanical Journal of the Linnean Society, 2009, 159: 300-314.

[13] RUMPUNEN K, BARTISH I V. Comparison of differentiation estimates based on morphometric and molecular data, exemplified by various leaf shape descriptors and RAPDs in the genus Chaenomeles[J]. Taxon, 2002, 51: 69-82.

[14] OTSU N. A threshold selection method from gray-level histogram[J]. Automatica, 1975, 11(285-296): 23-27.

[15] 賀鵬,黃林.植物葉片特征提取及識(shí)別[J].農(nóng)機(jī)化研究,2008(6):168-170.

[16] 周堅(jiān)華.遙感圖像分析與空間數(shù)據(jù)挖掘[M].上海:上海科技教育出版社,2010:109.

[17] 王曉峰,黃德雙,杜吉祥,等.葉片圖像特征提取與識(shí)別技術(shù)的研究[J]. 計(jì)算機(jī)工程與應(yīng)用,2006(3):190-193.

(責(zé)任編輯 李萬(wàn)會(huì))

Plant image classification and retrieval based on leaf margin features

YAN Yi-zhen1, ZHOU Jian-hua2

(1.DepartmentofGeography,EastChinaNormalUniversity,Shanghai200241,China;2.KeyLabofGeographicalInformationScience,MinistryofEducation,EastChinaNormalUniversity,Shanghai200241,China)

Leaf margin is one of the main characteristics to identify plant species. Compared to leaf shape features, leaf margin features are much more subtle, so they are often indispensable in multi-scale recognition of plant species as either dependent features or supplements for others. The progresses include designing 7 new margin feature descriptors, taking hierarchical classification organized by some semantic dictionaries to reach a better classification accuracy, and finally deciding plant species of a leaf node member by similarity evaluation and retrieval. Our experiments have revealed that the descriptors, named as the ratio of residual convex to leaf area and the ratio of right edge to left edge, are efficient to distinguish between different non-lobed-leaf species and different non-integrifolious-leaf species; the mean value of residual convex etc., is of other examples of useful descriptors to the identification between different non-integrifolious-leaf species. By using the hierarchical classification in the feature space of multi leaf margin descriptors, 30 non-lobed-leaf species have been divided into several leaf nodes, and the mean overall accuracy is better than 81.21%. The test of assessing the similarity between the new assigned leaf node member and the known samples has further demonstrated that the framework of jointly using the hierarchical classification and the image retrieval is effective for the identification of plant species.

leaf margin features; descriptors; residual error of convex; semantic dictionary; image retrieval

1000-5641(2015)04-0154-10

2014-06

國(guó)家自然科學(xué)基金(J1310028，41071275)

晏藝真，女，本科生， E-mail: ylxbyy@126.com.

周堅(jiān)華，女，副教授，碩士生導(dǎo)師，研究方向?yàn)閳D像智能識(shí)別和生態(tài)遙感. Email: jhzhou@geo.ecnu.edu.cn.

TP391.6

A

10.3969/j.issn.1000-5641.2015.04.016