基于科優(yōu)先策略的植物圖像識別

曹香瀅，孫衛(wèi)民，朱悠翔，錢 鑫，李曉宇，業(yè) 寧

(1.南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院, 南京 210037； 2.江蘇省住房和城鄉(xiāng)建設(shè)廳住宅與房地產(chǎn)業(yè)促進(jìn)中心，南京 210009)(*通信作者電子郵箱yening@njfu.edu.cn)

0 引言

植物是生命的主要形態(tài)之一，與人類的生活密切相關(guān)，對其進(jìn)行分類識別在生物多樣性保護(hù)、生態(tài)農(nóng)業(yè)、生物安全中有著重要的意義。目前，對植物種類的識別大部分僅依靠有經(jīng)驗的專家和相關(guān)行業(yè)從業(yè)人員進(jìn)行人工識別，識別結(jié)果與領(lǐng)域?qū)＜业闹R和實踐密切相關(guān)，這種方法費時費力、效率低下。計算機自動識別一直是計算機視覺的一個重要應(yīng)用，植物圖像識別也備受關(guān)注。

傳統(tǒng)的植物圖像識別方法主要是通過人工干預(yù)，由人提取特定的特征，如葉片、花的形狀、顏色、葉脈紋理、邊緣輪廓等，然后根據(jù)這些特征或它們的組合，使用各類分類器進(jìn)行分類。王麗君等[1]基于葉片圖像多特征的融合，提取顏色、形狀和紋理特征，使用支持向量機(Support Vector Machine, SVM)算法[2-5]，識別率為91.41%; 鄧立苗等[6]針對玉米葉片單獨進(jìn)行了 48 個葉片特征的提取，使用SVM算法，識別率達(dá)到了96%; Naresh等[7]運用改進(jìn)的局部二進(jìn)制模式(Modified Local Binary Pattern, MLBP)提取葉片的紋理特征，在4個單一背景數(shù)據(jù)集上分別獲得了93.62%、97.55%、90.62%、96.83%的識別率; Chaki等[8]將葉片紋理、形狀特征結(jié)合起來，對多個實驗測試識別效果, 最高獲得了67.7%的識別率; Jin等[9]分割了葉片圖像的背景，檢測葉片的輪廓、邊緣和葉片鋸齒特征，在自然環(huán)境數(shù)據(jù)集上獲得了76.3%的平均正確率; Olsen等[10]提取植物葉片的紋理特征，并自己建立植物圖像數(shù)據(jù)集，獲得了86.07%的正確率; Ghasab等[11]使用蟻群優(yōu)化(Ant Colony Optimization, ACO)作為特征選擇算法對2 050種樹葉圖像獲得95.53%的識別率。

盡管傳統(tǒng)的植物圖像識別方法的研究取得了許多進(jìn)展，但事實上用人工選擇的特征不一定能很好地進(jìn)行植物識別，因為人在選擇特征時都是靠經(jīng)驗的，具有很大的盲目性，而且這些特征都是針對特定數(shù)據(jù)和特征提取技術(shù)設(shè)計的，如果用同樣的特征來處理不同的數(shù)據(jù)集，結(jié)果可能大相徑庭，因此這種特征具有不可遷移性； 同時傳統(tǒng)方法對于復(fù)雜背景拍攝下的自然環(huán)境圖像識別率明顯降低。隨著深度學(xué)習(xí)[12]的發(fā)展，基于深度學(xué)習(xí)的方法在圖像識別領(lǐng)域取得了很好的結(jié)果?；诰矸e神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[13]的深度學(xué)習(xí)算法可以自動提取圖像特征而不需要人工干預(yù)，很好地克服了傳統(tǒng)的植物葉片識別人為提取特征的缺陷。

近年來，許多研究基于深度學(xué)習(xí)方法，利用植物的葉片、花朵等圖像對植物進(jìn)行識別。Liu等[14]利用5層卷積層及3層全連接層(Fully Connected layers, FC)的CNN自動學(xué)習(xí)優(yōu)秀的特征來進(jìn)行花朵分類，在兩個自然環(huán)境數(shù)據(jù)集上分別獲得了76.54%和84.02%的識別率; Grinblat等[15]建立了5層的CNN模型，自動識別葉片紋理圖像，獲得了92.6%的平均正確率; Barré等[16]建立了14層的CNN，從樹葉圖片學(xué)習(xí)特征取代手工特征，對單一背景數(shù)據(jù)集識別率達(dá)到了97.9%;Pawara等[17]提出將不同分類器的視覺詞與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，在多個植物數(shù)據(jù)集上均獲得比使用SVM更高的識別率; Jeon等[18]提出基于GoogleNet[19]的多維度分類模型，在純?nèi)~片的數(shù)據(jù)集上獲得了94%的識別率。這些研究中，對單一背景圖像的識別取得了很高的識別率, 然而，對復(fù)雜識別背景的自然環(huán)境圖像的識別準(zhǔn)確率比較低。

為了提高精度和改善深度卷積神經(jīng)網(wǎng)絡(luò)的過擬合問題，本文借鑒現(xiàn)代植物分類學(xué)理論，提出科優(yōu)先(Family Priority,FP)的植物分級識別方法，學(xué)習(xí)關(guān)鍵性的特征。首先判斷植物所屬的科，進(jìn)一步得到它的種類, 將其與卷積神經(jīng)網(wǎng)絡(luò)MobileNet[20]相結(jié)合，搭建科優(yōu)先植物識別模型(Family Priority MobileNet, FP-MobileNet); 然后利用遷移學(xué)習(xí)[21]的方法，對MobileNet網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行微調(diào)，通過訓(xùn)練網(wǎng)絡(luò)權(quán)重獲得植物識別模型。實驗使用了單一背景植物葉片數(shù)據(jù)集flavia[22]和自然環(huán)境花卉數(shù)據(jù)集flower102[23]。實驗結(jié)果表明，對于flavia，卷積神經(jīng)網(wǎng)絡(luò)VGG16[24]和MobileNet的識別率分別為 97.3%和99.8%，均高于傳統(tǒng)方法的識別效果；而對于更具挑戰(zhàn)的自然環(huán)境數(shù)據(jù)集flower102，F(xiàn)P-MobileNet模型獲得了最高的識別率99.56%，并且該模型同時保持了較小的權(quán)重大小，適合推廣到移動設(shè)備應(yīng)用。

1 相關(guān)工作

植物識別領(lǐng)域包括兩類問題：單一背景圖像識別和自然環(huán)境圖像識別問題。由于拍攝照片時模糊、噪聲、復(fù)雜背景等問題的存在，自然環(huán)境圖像識別難度更大。基于CNN的深度學(xué)習(xí)方法發(fā)展迅速，應(yīng)用在植物識別領(lǐng)域也取得了很好的效果。

為了提高識別精度，當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢主要有增加網(wǎng)絡(luò)的深度和寬度，以及構(gòu)造新的模型結(jié)構(gòu)，如VGG16[24]、GoogleNet[19]、ResNet[25]等。VGG16是由Simonyan等提出的用于大型圖像識別的深層卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1。VGG16由AlexNet[26]發(fā)展而來，網(wǎng)絡(luò)共16層，提出使用小濾波的組合，加深了網(wǎng)絡(luò)的層次。

圖1 VGG16模型結(jié)構(gòu)

GoogleNet網(wǎng)絡(luò)共22層，為了在擴(kuò)大網(wǎng)絡(luò)的同時盡可能地發(fā)揮計算性能，使用稀疏網(wǎng)絡(luò)結(jié)構(gòu)，提出加大網(wǎng)絡(luò)寬度的Inception模塊，結(jié)構(gòu)如圖2所示，既保持了網(wǎng)絡(luò)結(jié)構(gòu)的稀疏性，又能利用密集矩陣的高計算性能。

圖2 Inception模塊

網(wǎng)絡(luò)深度的加深帶來的退化問題會導(dǎo)致系統(tǒng)優(yōu)化困難。ResNet提出引入深層殘差學(xué)習(xí)框架來解決退化問題。網(wǎng)絡(luò)提出Residual結(jié)構(gòu)，如圖3，將擬合目標(biāo)函數(shù)H(x)轉(zhuǎn)換為擬合F(x)+x, 通過殘差結(jié)構(gòu)起到優(yōu)化訓(xùn)練的效果，改善了深度網(wǎng)絡(luò)退化的問題。

圖3 Residual結(jié)構(gòu)

雖然隨著研究的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)在提高精度和改善網(wǎng)絡(luò)性能上取得了很大的進(jìn)展，但是深度網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練耗時長，模型規(guī)模巨大，并且在訓(xùn)練集規(guī)模不夠大時容易出現(xiàn)過擬合的問題。輕量級網(wǎng)絡(luò)模型MobileNet兼顧了資源和精度，在保證較高精度同時，優(yōu)化延遲，降低模型的大小。為了改善過擬合的問題和提高模型對自然環(huán)境植物圖像的識別率，本文提出基于科優(yōu)先策略的植物識別方法，并將其與MobileNet模型相結(jié)合，搭建FP-MobileNet模型，得到植物識別模型。

2 科優(yōu)先的植物識別模型

2.1 交叉熵?fù)p失函數(shù)

本文采用交叉熵(cross-entropy)作為損失函數(shù)對目標(biāo)網(wǎng)絡(luò)進(jìn)行優(yōu)化。由于激活函數(shù)Sigmoid在上邊界和下邊界斜率值下降得很快，傳統(tǒng)的方差損失函數(shù)使得模型的收斂速度變得非常慢； 而交叉熵為對數(shù)函數(shù)，使得在接近邊界時，模型的收斂速度不會受到影響。將網(wǎng)絡(luò)的n個輸入圖像記為{X1,X2,…,Xn}，對應(yīng)的正確標(biāo)簽為{y1,y2,…,yn}，共k類。交叉熵公式為：

(1)

其中σi表示激活函數(shù)sigmoid的值：

2.2 科優(yōu)先的植物分級識別方法

科優(yōu)先的植物分類方法首先由Jean Baptiste Lamarck[27]在1778年提出。按照現(xiàn)代植物分類學(xué)，植物的逐級分類如圖4所示，植物學(xué)家按照“門綱目科屬種”分級方式對植物進(jìn)行分類，其中植物所屬的科對于區(qū)分植物種類十分重要，因此植物學(xué)家首先根據(jù)植物關(guān)鍵特征找到它所屬的科，然后確定物種。事實上，屬于同一科的植物往往形態(tài)上比較相似，如圖5，同屬錦葵科的朱槿和木槿在形態(tài)上極為相似。

圖4 現(xiàn)代植物逐級分類方法

Fig. 4 Modern plant classification gradual strategy

圖5 同屬于錦葵科的朱槿和木槿

為了改善深度卷積神經(jīng)網(wǎng)絡(luò)存在的過擬合問題，獲得更好的識別效果，除了在網(wǎng)絡(luò)中引入dropout[28]以外，本文借鑒植物學(xué)家的植物分類學(xué)理論，提出科優(yōu)先策略(FP)模型，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，該模型可以應(yīng)用于深度學(xué)習(xí)模型。引入植物的科標(biāo)簽作為監(jiān)督學(xué)習(xí)的另一個學(xué)習(xí)目標(biāo)來學(xué)習(xí)，搭建FP-MobileNet網(wǎng)絡(luò)模型。實驗證明引入科優(yōu)先方法后模型的識別精度提升，泛化能力提高。

FP模型通過CNN得到科標(biāo)簽的預(yù)測結(jié)果。由于單獨訓(xùn)練各科的CNN資源消耗巨大，提出運用多任務(wù)學(xué)習(xí)[29]的方法，降低網(wǎng)絡(luò)規(guī)模。模型結(jié)構(gòu)如圖6所示，通過一個CNN得到兩組預(yù)測輸出：科標(biāo)簽和種標(biāo)簽。網(wǎng)絡(luò)訓(xùn)練時，同時完成對科標(biāo)簽和種標(biāo)簽兩個維度的預(yù)測。科標(biāo)簽的引入有助于進(jìn)一步對種標(biāo)簽訓(xùn)練的優(yōu)化。在優(yōu)化時，網(wǎng)絡(luò)同時最小化科標(biāo)簽和種標(biāo)簽的交叉熵?fù)p失函數(shù)。由于有的植物科標(biāo)簽的關(guān)鍵特征易得到，有的植物則是種標(biāo)簽的關(guān)鍵特征易得到，兩個任務(wù)同時進(jìn)行優(yōu)化，可以實現(xiàn)相互促進(jìn)，進(jìn)而使模型識別精度提升。

圖6 FP模型結(jié)構(gòu)

然而，由于網(wǎng)絡(luò)打破了植物分級結(jié)構(gòu)，可能存在科標(biāo)簽與種標(biāo)簽結(jié)果矛盾的情況，如某植物圖像的預(yù)測結(jié)果中種標(biāo)簽為朱槿而科標(biāo)簽不是錦葵。為了解決這一問題，優(yōu)化時對于科、種相一致的情況，使用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)，如式(1)；否則將該交叉熵?fù)p失函數(shù)值賦值為0，忽略它的輸出結(jié)果。將第i個輸入圖像記為Xi，yci表示預(yù)測的種標(biāo)簽，yfi表示預(yù)測的科標(biāo)簽，則交叉熵值為：

具體的科優(yōu)先策略模型算法如下所示。

算法 科優(yōu)先策略模型算法。

輸入 圖片X；

輸出 預(yù)測結(jié)果y。

1)

forXiinXdo

2)

tmpi= model.train(conv+conv/fc)(Xi)

3)

yfi= model.train(fc+softmax)(tmpi)

4)

yci= model.train(fc+softmax)(tmpi)

5)

end for

6)

forXiinXdo

7)

ifycimatchesyfithen

9)

else

10)

Hi= 0

11)

end if

12)

updateW

13)

end for

2.3 FP-MoblieNet模型的建立

MobileNet是谷歌提出的一個適用于移動嵌入式的高效模型。它基于流線型架構(gòu)，使用深度可分離卷積來構(gòu)建輕量級深度神經(jīng)網(wǎng)絡(luò)，將標(biāo)準(zhǔn)卷積分解成一個深度卷積和一個點卷積(1×1卷積)如圖7所示, 其中:K為卷積核的長和寬,M為通道數(shù),N為卷積核的數(shù)目。深度卷積將每個卷積核應(yīng)用到每一個通道，而1×1卷積用來組合通道卷積的輸出。MobileNet模型引入了兩個簡單的全局超參數(shù)寬度乘數(shù)α和分辨率乘數(shù)β，因此可以平衡延遲和精度。

本文使用預(yù)訓(xùn)練的MobileNet模型，根據(jù)使用的數(shù)據(jù)集，運用遷移學(xué)習(xí)的方法建立了MobileNet植物識別模型。FP模型與卷積神經(jīng)網(wǎng)絡(luò)是兼容的，如圖6，將CNN模型MobileNet轉(zhuǎn)換為科優(yōu)先的方法形式，建立FP-MobileNet，每個圖像輸入得到科標(biāo)簽和種標(biāo)簽兩個輸出，根據(jù)交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，訓(xùn)練網(wǎng)絡(luò)。

圖7 標(biāo)準(zhǔn)卷積分解過程

3 實驗與分析

3.1 植物圖像數(shù)據(jù)集

flavia[22]是一個單一背景植物葉片圖像數(shù)據(jù)集， 包括32種植物共1 526幅葉片圖像，每類包括51到76張圖像，均為白色背景上有唯一的葉片圖像。在數(shù)據(jù)集中隨機選擇1 103幅圖像作為訓(xùn)練集，423幅圖像作為測試集。

flower102[23]是一個自然環(huán)境花卉圖像數(shù)據(jù)集，包括102種花卉，每類包括40到258張圖像，共8 189張圖像，均在自然環(huán)境下拍攝。按兩種方案進(jìn)行訓(xùn)練集和測試集的劃分：方案一在數(shù)據(jù)集中隨機選擇6 149幅圖像作為訓(xùn)練集， 2 040幅圖像作為測試集； 方案二隨機選擇2 040幅圖像作為訓(xùn)練集，6 149 幅圖像作為測試集。當(dāng)訓(xùn)練集的圖像數(shù)量少于測試集時，研究具有更大的挑戰(zhàn)性，從而進(jìn)一步驗證模型的識別率和泛化能力。

圖8 數(shù)據(jù)集圖像示例

數(shù)據(jù)集類別數(shù)訓(xùn)練集大小測試集大小favia321103423flower102方案一10261492040flower102方案二10220406149

3.2 卷積神經(jīng)網(wǎng)絡(luò)對單一背景植物的識別

驗證深度卷積神經(jīng)網(wǎng)絡(luò)對單一背景植物圖像的識別率，將卷積神經(jīng)網(wǎng)絡(luò)VGG16和MobileNet對flavia數(shù)據(jù)集進(jìn)行識別，進(jìn)行對比的傳統(tǒng)方法有兩種，分別是：概率神經(jīng)網(wǎng)絡(luò)(Probabilistic Neural Network, PNN)[22]和結(jié)合灰度共生矩陣(Gray-Level Co-occurrence Matrix, GLCM)、空隙度(lacunarity)和Shen特征的模型[30]。從表2可以看出，目前傳統(tǒng)方法與深度學(xué)習(xí)方法對單一背景植物圖像的識別研究已經(jīng)達(dá)到了較高的水平，并且卷積神經(jīng)網(wǎng)絡(luò)通過對圖像端對端的學(xué)習(xí)，可以達(dá)到比傳統(tǒng)方法更好的結(jié)果。

表2 數(shù)據(jù)集flavia上各方法的識別結(jié)果

3.3 FP-MobileNet模型對自然環(huán)境植物的識別

表3給出了FP-MobileNet和MobileNet在flower102數(shù)據(jù)集上的識別結(jié)果。由于圖像背景復(fù)雜，flower102數(shù)據(jù)集的識別挑戰(zhàn)性更大。按照方案一和方案二不同的數(shù)據(jù)集劃分方法，F(xiàn)P-MobileNet的識別率分別為99.56%和95.56%，均高于單純使用MobileNet模型的識別結(jié)果。在訓(xùn)練集規(guī)模小于測試集的方案二劃分方法下，F(xiàn)P-MobileNet仍取得了95.56%的識別率，表明該模型具有很好的自然環(huán)境植物識別效果和泛化能力；同時，比較兩種模型的權(quán)重發(fā)現(xiàn)，F(xiàn)P-MobileNet保持了MobileNet權(quán)重規(guī)模小的特點。實驗結(jié)果表明，F(xiàn)P-MobileNet作為輕量級網(wǎng)絡(luò)，具有較低權(quán)值和較高識別率的優(yōu)勢，適合推廣到移動設(shè)備上使用。

表3 數(shù)據(jù)集flower102上各方法的識別結(jié)果

4 結(jié)語

本文利用遷移學(xué)習(xí)的方法，借鑒現(xiàn)代植物分類學(xué)理論，提出了科優(yōu)先的植物分級識別方法，并與MobileNet相結(jié)合，搭建植物圖像識別模型FP-MobileNet。在相對容易的單一背景數(shù)據(jù)集上，深度學(xué)習(xí)模型MobileNet獲得了比傳統(tǒng)識別方法更好的識別結(jié)果。對于更具挑戰(zhàn)的自然環(huán)境植物圖像， FP-MobileNet模型在訓(xùn)練集規(guī)模小于測試集的情況下，仍取得了95.56%的正確率，高于單純使用MobileNet網(wǎng)絡(luò)。該模型改善了卷積神經(jīng)網(wǎng)絡(luò)的過擬合問題，降低了權(quán)重大小，提高了對自然環(huán)境植物圖像的識別率和泛化能力。在數(shù)據(jù)集flower102上FP-MobileNet模型的權(quán)重僅占13.7 MB，在保持較高識別率的同時有效降低了模型的權(quán)重空間，適合向需要輕量模型的移動設(shè)備推廣。

下一步將進(jìn)一步研究如何提高卷積神經(jīng)網(wǎng)絡(luò)對具有復(fù)雜背景的自然環(huán)境圖像的識別準(zhǔn)確率，并研究更高效的科優(yōu)先植物識別方法。