基于深度遷移學(xué)習(xí)模型的花卉種類識(shí)別

劉嘉政

摘要：為了解決傳統(tǒng)花卉識(shí)別方法中特征提取主觀性強(qiáng)、模型泛化能力差、錯(cuò)分率高的問(wèn)題，提出一種基于Inception_v3的深度遷移學(xué)習(xí)模型的花卉圖像識(shí)別方法。本研究對(duì)5種常見花卉圖像進(jìn)行識(shí)別分類，首先對(duì)原始圖像進(jìn)行預(yù)處理，通過(guò)對(duì)每張圖像進(jìn)行水平翻轉(zhuǎn)、旋轉(zhuǎn)操作，擴(kuò)增數(shù)據(jù)集;其次，采用預(yù)訓(xùn)練完畢的Inception_v3模型，對(duì)其在ImageNet上訓(xùn)練好的網(wǎng)絡(luò)參數(shù)進(jìn)行遷移學(xué)習(xí)，對(duì)各個(gè)參數(shù)進(jìn)行微調(diào)，并保留原模型的特征提取能力，并將原模型的全連接層替換為符合本研究要求的5分類softmax分類輸出層，從而構(gòu)建基于深度遷移學(xué)習(xí)的識(shí)別模型。對(duì)5種花卉共計(jì)11 000張圖像進(jìn)行訓(xùn)練和驗(yàn)證，平均識(shí)別正確率達(dá)到93.73%，與傳統(tǒng)的花卉識(shí)別方法相比，識(shí)別率得到提高，模型魯棒性更強(qiáng)，具有一定的使用價(jià)值。

關(guān)鍵詞：花卉種類;深度學(xué)習(xí);遷移學(xué)習(xí);識(shí)別分類

中圖分類號(hào)： TP391.4?文獻(xiàn)標(biāo)志碼： A

文章編號(hào)：1002-1302（2019）20-0231-05

花卉種類識(shí)別，一直是植物識(shí)別領(lǐng)域的熱門話題之一。在國(guó)內(nèi)，諸多學(xué)者在花卉種類識(shí)別的研究中，取得了一些進(jìn)展。在傳統(tǒng)方法上，吳笑鑫等采用Grab Cut分割算法，提取花卉圖像特征，并將支持向量機(jī)（SVM）作為分類器，識(shí)別率達(dá)到92.5%[1];劉晶晶等通過(guò)提取牡丹紋理和形狀特征，采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別分類，提高了準(zhǔn)確率和穩(wěn)定性[2];柯逍等利用Canny算子對(duì)花卉雷同圖片進(jìn)行過(guò)濾分割，結(jié)合形狀特征和紋理特征的邊緣LBP算子，實(shí)現(xiàn)對(duì)花卉種類的識(shí)別[3]。翟果等通過(guò)提取菊花的顏色、形狀和紋理3個(gè)方面的特征，并以此建立特征模型，最后采用KNN算法對(duì)未知觀賞菊品種進(jìn)行分類識(shí)別，取得了理想的識(shí)別效果[4]。但是，傳統(tǒng)的花卉識(shí)別方法中，存在兩大問(wèn)題：（1）過(guò)分依賴人工提取特征，受到人的主觀影響大，并且費(fèi)時(shí)費(fèi)力;（2）傳統(tǒng)的方法只適合于小樣本量的識(shí)別，對(duì)于海量圖像數(shù)據(jù)，達(dá)不到識(shí)別要求。另外，由于花卉的種類繁多，花卉形態(tài)各式各樣，目前而言，并沒有一種普適性的方法能夠識(shí)別所有花卉種類。

但隨著理論知識(shí)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域越來(lái)越受到歡迎。袁培森等以菊花為例，基于端到端的卷積神經(jīng)網(wǎng)絡(luò)對(duì)菊花花型和品種進(jìn)行識(shí)別，并實(shí)現(xiàn)了移動(dòng)端菊花識(shí)別系統(tǒng)，平均識(shí)別率達(dá)到0.95左右[5];郭子琰等基于卷積神經(jīng)網(wǎng)絡(luò)模型，并選用ReLu激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid函數(shù)，取得了理想的識(shí)別效果[6]。沈萍等基于多隱層的深度卷積神經(jīng)網(wǎng)絡(luò)，對(duì)80種常見花卉品種進(jìn)行識(shí)別分類，識(shí)別率提高10%以上[7];但是，以上都是針對(duì)相同場(chǎng)景的花卉圖像識(shí)別，而且，面對(duì)海量數(shù)據(jù)，對(duì)于模型及計(jì)算機(jī)硬件要求都是極大的考驗(yàn)。因此，深度遷移學(xué)習(xí)方法可以較好地解決上述問(wèn)題。劉德建等基于LetNet模型構(gòu)建多層的花卉識(shí)別網(wǎng)絡(luò)，識(shí)別效果良好[8];王麗雯等將AlexNet模型進(jìn)行遷移學(xué)習(xí)，對(duì)Oxford花卉種類進(jìn)行識(shí)別，精度提升了10%[9];Oquab等利用遷移卷積神經(jīng)網(wǎng)絡(luò)在VOC2012上取得了很大的成功[10]。

因此，本研究提出基于Inception_v3模型[11]的遷移學(xué)習(xí)的花卉識(shí)別方法。利用預(yù)訓(xùn)練的源模型，此方法的優(yōu)點(diǎn)在于不需要模型源數(shù)據(jù)與本研究具體圖像數(shù)據(jù)一致，只是將Inception_v3模型的自動(dòng)提取特征的能力移植過(guò)來(lái)，保留低層的結(jié)構(gòu)參數(shù)，并對(duì)相關(guān)參數(shù)進(jìn)行微調(diào)，從而構(gòu)建適合本研究花卉識(shí)別的神經(jīng)網(wǎng)絡(luò)。為了驗(yàn)證本研究模型的性能，與傳統(tǒng)的支持向量機(jī)（SVM）做比較。試驗(yàn)結(jié)果表明，本研究提出的方法識(shí)別正確率較傳統(tǒng)方法來(lái)說(shuō)，有了明顯的提高。

1?數(shù)據(jù)與方法

1.1?數(shù)據(jù)集

本研究所用到的圖像來(lái)自于中國(guó)植物主題數(shù)據(jù)庫(kù)，主要選取了雛菊、蒲公英、玫瑰花、向日葵和郁金香5種常見花卉作為識(shí)別對(duì)象。5類花卉試驗(yàn)樣本圖像共采集3 670張，其中雛菊633張，蒲公英898張，玫瑰花641張，向日葵699張，郁金香799張。

為避免訓(xùn)練過(guò)擬合，對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)增。通過(guò)Python腳本語(yǔ)言，將圖片進(jìn)行水平翻轉(zhuǎn)、旋轉(zhuǎn)90°，對(duì)樣本量進(jìn)行擴(kuò)增。此時(shí)，共得到11 010張，其中雛菊1 899張，蒲公英2 694張，玫瑰花1 923張，向日葵2 097張，郁金香2 397張。每類花卉隨機(jī)選取200張圖片作為驗(yàn)證集，剩余10 010張作為訓(xùn)練集。表1列出了具體的數(shù)據(jù)集數(shù)量。每類花卉示例見圖1。

1.2?試驗(yàn)方法

1.2.1?程序運(yùn)行環(huán)境

本試驗(yàn)環(huán)境為Windows 10系統(tǒng)，處理器為Intel（R）CoreTM i7-6700 CPU @ 3.40 GHz 3.41 GHz，運(yùn)行內(nèi)存為8.00 GB。本試驗(yàn)所有代碼均在Pycharm代碼平臺(tái)、基于TensorFlow開源框架[12]、采用Python3語(yǔ)言編寫實(shí)現(xiàn)。

1.2.2?卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，簡(jiǎn)稱CNN）[13]結(jié)構(gòu)有輸入層、卷積層、池化層、全連接層、輸出層。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)之所以在圖像識(shí)別領(lǐng)域發(fā)展迅速，得益于它的幾大特點(diǎn)：（1）自主進(jìn)行學(xué)習(xí)，自動(dòng)提取特征，無(wú)需過(guò)多的人工干預(yù);（2）多卷積結(jié)構(gòu)層，增強(qiáng)特征提取能力;（3）利用反饋機(jī)制，能夠自動(dòng)更新、共享權(quán)值，不斷提高正確率。

1.2.3?深度遷移學(xué)習(xí)

遷移學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的一種方法，是將一個(gè)任務(wù)訓(xùn)練得到的模型移植到其他任務(wù)的訓(xùn)練上來(lái)[14]。在大數(shù)據(jù)時(shí)代，要想訓(xùn)練深度學(xué)習(xí)模型，得到理想的結(jié)果，須要耗費(fèi)巨大的資源，對(duì)計(jì)算機(jī)硬件也更高。因此，深度遷移學(xué)習(xí)就成為很受歡迎的方法。和傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，深度遷移學(xué)習(xí)可以應(yīng)用于多分類識(shí)別中，不需要訓(xùn)練多個(gè)模型，只需要直接應(yīng)用到其他的任務(wù)中即可。圖2為遷移學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的比較。

1.2.4?Inception_v3模型

Inception_v3模型是基于GoogleNet卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的改進(jìn)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）的卷積層結(jié)構(gòu)通常選用單一且固定尺寸的卷積核，Inception_v3模型在卷積層結(jié)構(gòu)中嘗試使用不同尺寸的卷積核，并且將尺寸較大的卷積核拆分成幾個(gè)較小的卷積核。Inception_v3模型的原數(shù)據(jù)集包含大約120萬(wàn)幅圖像，1 000多個(gè)種類，包含大約 2 500 萬(wàn)個(gè)結(jié)構(gòu)參數(shù)。

1.2.5?模型構(gòu)建

圖3為本研究深度遷移學(xué)習(xí)模型的構(gòu)建流程圖。利用在GoogleNet上預(yù)先訓(xùn)練好的Inception_v3模型，將具有自動(dòng)提取圖像特征能力的卷積、池化層遷移到本研究的模型中。當(dāng)輸入1張花卉圖像時(shí)，對(duì)該圖像特征進(jìn)行提取，并用2048維張量表示，并依次存入緩存文件中。本研究還對(duì)Inception_v3的全連接層、Dropout層進(jìn)行重新訓(xùn)練，對(duì)結(jié)構(gòu)參數(shù)進(jìn)行微調(diào)，以適應(yīng)本研究要求。

因此，根據(jù)試驗(yàn)具體要求，本研究提出花卉種類識(shí)別模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置見表2。

1.2.6?試驗(yàn)訓(xùn)練過(guò)程

本研究深度遷移學(xué)習(xí)過(guò)程分為3個(gè)階段：（1）初始化設(shè)置：對(duì)隨機(jī)變換的圖像與原始圖像相結(jié)合，構(gòu)成用于本研究訓(xùn)練的花卉圖像數(shù)據(jù)庫(kù)。基于預(yù)訓(xùn)練的Inception_v3模型自帶的結(jié)構(gòu)參數(shù)，將花卉數(shù)據(jù)庫(kù)作為下一階段模型訓(xùn)練的數(shù)據(jù)源;（2）除了預(yù)訓(xùn)練模型和最后1層全連接層以外，要重新訓(xùn)練完整的全連接層，并將最后的全連接層的結(jié)構(gòu)參數(shù)作為下一階段的特征提取輸入源;（3）最后1個(gè)階段是對(duì)整個(gè)模型結(jié)構(gòu)層數(shù)進(jìn)行微調(diào)，以適應(yīng)本研究要求。最后采用Softmax分類器，作為最后的分類輸出層。

2?結(jié)果與分析

2.1?迭代次數(shù)對(duì)試驗(yàn)的影響

試驗(yàn)中，迭代次數(shù)初始設(shè)置為1 000次，每次試驗(yàn)迭代次數(shù)依次增加1 000次。當(dāng)?shù)螖?shù)達(dá)到5 000次時(shí)，識(shí)別正確率略有下降。此時(shí)將迭代次數(shù)減少，直到設(shè)置為4 500次時(shí)，識(shí)別正確率最高（圖4）。

2.2?學(xué)習(xí)率對(duì)試驗(yàn)的影響

當(dāng)測(cè)試學(xué)習(xí)率對(duì)識(shí)別正確率的影響時(shí)，是在“2.1”節(jié)確定的最佳迭代次數(shù)的基礎(chǔ)上進(jìn)行的測(cè)試，測(cè)試結(jié)果見表3。當(dāng)學(xué)習(xí)率為0.010 0時(shí)，識(shí)別率達(dá)到93.8%。

2.3?Dropout層對(duì)試驗(yàn)的影響

在模型訓(xùn)練過(guò)程中，都會(huì)出現(xiàn)過(guò)擬合現(xiàn)象。所謂過(guò)擬合，具體表現(xiàn)為在模型識(shí)別率在訓(xùn)練集上效果好，測(cè)試集上效果差，這表明模型泛化能力弱，從而影響識(shí)別率。為防止訓(xùn)練過(guò)擬合，除在數(shù)據(jù)處理時(shí)擴(kuò)增數(shù)據(jù)集之外，本研究在模型中加入Dropout層。Dropout策略是通過(guò)對(duì)模型本身結(jié)構(gòu)進(jìn)行修改的一種防過(guò)擬合方法。試驗(yàn)中共運(yùn)行程序5次，來(lái)測(cè)試Dropout層對(duì)試驗(yàn)的影響。測(cè)試結(jié)果見表4。

2.4?不同激勵(lì)函數(shù)對(duì)試驗(yàn)的影響

在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，往往加入激勵(lì)函數(shù)[15]，來(lái)保證網(wǎng)絡(luò)輸出的是非線性函數(shù)。常見的激勵(lì)函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)。圖5是采用不同激活函數(shù)對(duì)試驗(yàn)產(chǎn)生的結(jié)果。很明顯，采用ReLU函數(shù)時(shí)，識(shí)別正確率最高。ReLU激勵(lì)函數(shù)[16]為分段形式，使其前向、后向、導(dǎo)數(shù)的形式均為分段形式，更易于優(yōu)化學(xué)習(xí)，從而解決模型收斂問(wèn)題。

2.5?特征圖提取

為更加直觀地了解訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)對(duì)圖像的特征提取情況，部分特征提取如圖6、圖7所示。深度卷積神經(jīng)網(wǎng)絡(luò)，具有強(qiáng)大的自動(dòng)提取特征功能，會(huì)依次提取圖像低級(jí)乃至高級(jí)的抽象特征，人眼有時(shí)無(wú)法分辨出來(lái)。

2.6?識(shí)別結(jié)果

經(jīng)過(guò)數(shù)據(jù)初始化、參數(shù)調(diào)整、訓(xùn)練模型，得到accuracy和loss迭代收斂結(jié)果（圖8、圖9）。當(dāng)?shù)螖?shù)達(dá)到 4 500 次時(shí)，準(zhǔn)確率和損失值都接近收斂，數(shù)值不再有大的變化。

2.7?方法對(duì)比

為驗(yàn)證本研究方法的可行性，與傳統(tǒng)的支持向量機(jī)（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行比較。對(duì)于SVM模型，通過(guò)提取全局特征和局部特征，對(duì)花卉圖像進(jìn)行識(shí)別，平均識(shí)別率最低;對(duì)于CNN來(lái)說(shuō)，平均識(shí)別率較高，達(dá)到80%以上;本研究提出的方法，對(duì)5種花卉圖像的平均識(shí)別率達(dá)到 93.73%，比較結(jié)果見表5。

3?結(jié)論與討論

本研究提出一種基于深度遷移學(xué)習(xí)模型的花卉種類識(shí)別方法，構(gòu)建了基于Inception_v3的花卉種類識(shí)別模型，實(shí)現(xiàn)了對(duì)雛菊、蒲公英、玫瑰花、向日葵、郁金香5種花卉的有效識(shí)別，平均識(shí)別率達(dá)到93.73%。（1）基于遷移學(xué)習(xí)的花卉圖像識(shí)別模型，對(duì)輸入圖像不用人工進(jìn)行特征提取，只進(jìn)行簡(jiǎn)單的類別標(biāo)注即可，既節(jié)省了大量的人力和時(shí)間，又不用掌握過(guò)多的植物花卉方面的專業(yè)知識(shí)，提高了識(shí)別效率和精度。（2）本研究提出的方法，與傳統(tǒng)的SVM方法相比，不僅識(shí)別率得到大大提高，而且更適合于處理海量數(shù)據(jù)，傳統(tǒng)的方法僅僅適合對(duì)小樣本數(shù)據(jù)集的處理。（3）本研究通過(guò)對(duì)原始圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)，擴(kuò)增數(shù)據(jù)集，對(duì)模型結(jié)構(gòu)權(quán)重參數(shù)進(jìn)行微調(diào)，避免了過(guò)擬合現(xiàn)象的出現(xiàn)，且隨著樣本量的增加，模型泛化能力和魯棒性都得到提高。

本研究用到的5種花卉的圖像特征差別較明顯，提出的模型對(duì)5種花卉種類有較理想的識(shí)別結(jié)果，但是否能應(yīng)用到其他花卉種類識(shí)別，還有待進(jìn)一步驗(yàn)證。同時(shí)，下一步的工作是繼續(xù)增加樣本集種類和數(shù)量，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提高分類精度，使其應(yīng)用性更強(qiáng)。

參考文獻(xiàn)：

[1]吳笑鑫，高?良，閆?民，等. 基于多特征融合的花卉種類識(shí)別研究[J]. 北京林業(yè)大學(xué)學(xué)報(bào)，2017，39（4）：86-93.

[2]劉晶晶，侯凌燕，楊大利. 牡丹花特征提取及識(shí)別技術(shù)研究[J]. 北京信息科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，32（1）：65-71.

[3]柯?逍，陳小芬，李紹滋. 基于多特征融合的花卉圖像檢索[J]. 計(jì)算機(jī)科學(xué)，2010，37（11）：282-286.

[4]翟?果，李志敏，路文超，等. 基于圖像處理技術(shù)的觀賞菊品種識(shí)別方法研究[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2016，37（2）：105-110，115.

[5]袁培森，黎?薇，任守綱，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的菊花花型和品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34（5）：152-158.

[6]郭子琰，舒?心，劉常燕，等. 基于ReLU函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)的花卉識(shí)別算法[J]. 計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（5）：154-157，163.

[7]沈?萍，趙?備. 基于深度學(xué)習(xí)模型的花卉種類識(shí)別[J]. 科技通報(bào)，2017，33（3）：115-119.

[8]劉德建. 基于LeNet的花卉識(shí)別方法[J]. 電子技術(shù)與軟件工程，2015（23）：13-14.

[9]王麗雯. 基于AlexNet的Oxford花卉識(shí)別方法[J]. 科技視界，2017（14）：83.

[10]Oquab M，Bottou L，Laptev I，et al. Learning and transferring mid-level image representations using convolutional neural netwoks[C]. IEEE Conference on Computer Vision and Pattern Recognition，2014.

[11]Yosinski J，Clune J，Bengio Y，et al. How transferable are features in deep neural networks？[C]. Advances in Neural Information Processing Systems，2014.

[12]Wongsuphasawat K，Smilkov D，Wexler J，et al. Visualizing dataflow graphs of deep learning models in tensorflow[J]. IEEE Transactions on Visualization and Computer Graphics，2017，24（1）：1-12.

[13]周飛燕，金林鵬，董?軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

[14]王?惠. 遷移學(xué)習(xí)研究綜述[J]. 電腦知識(shí)與技術(shù)，2017，13（32）：203-205.

[15]張?彤，劉?志，莊新卿. 基于開發(fā)者平臺(tái)和深度學(xué)習(xí)的智能識(shí)花與護(hù)花系統(tǒng)[J]. 工業(yè)控制計(jì)算機(jī)，2018，31（1）：90-92.

[16]王雙印，滕國(guó)文. 卷積神經(jīng)網(wǎng)絡(luò)中ReLU激活函數(shù)優(yōu)化設(shè)計(jì)[J]. 信息通信，2018（1）：42-43.