基于卷積神經(jīng)網(wǎng)絡(luò)的植物圖像分類方法研究

左羽　陶倩　吳戀　王永金

摘 要：近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為圖像分類領(lǐng)域的應(yīng)用研究熱點(diǎn)，其對圖像特征進(jìn)行自提取、自學(xué)習(xí)，解決了以往圖像分類方法的圖像低層特征到高層概念之間存在的語義鴻溝。為了解決植物圖像的自動(dòng)分類問題，該文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的植物圖像分類方法，以植物圖像為研究對象，將經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)VGG16與全卷積網(wǎng)絡(luò)（FCN）相結(jié)合，把VGG16中兩個(gè)通道數(shù)為4 096的全連接層改為卷積層，構(gòu)造一個(gè)新的VGG16模型為植物圖像分類模型。文中制作了一個(gè)由43類每類500張總共21 500張植物圖像組成的圖像數(shù)據(jù)集，作為植物圖像分類模型的訓(xùn)練數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，所提方法在植物的圖像分類上的準(zhǔn)確率達(dá)到97.23%。應(yīng)用文中提出的卷積神經(jīng)網(wǎng)絡(luò)對植物圖像進(jìn)行分類可以取得目前最好的植物圖像分類效果。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);圖像特征;圖像分類;全卷積網(wǎng)絡(luò);植物圖像;數(shù)據(jù)集

中圖分類號(hào)：TP305文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2020）03-00-04

0 引 言

植物是地球上生命存在的主要形態(tài)之一，是人類生產(chǎn)生活中不可或缺的一部分，植物種類繁多，在判斷植物類別時(shí)，給研究人員也帶來了諸多不便。傳統(tǒng)的植物分類識(shí)別，主要依靠植物相關(guān)的從業(yè)人員或植物專家的從業(yè)經(jīng)驗(yàn)和專業(yè)知識(shí)去判別植物的種類，而不同從業(yè)人員對植物物種的認(rèn)識(shí)是有限的，植物的分類識(shí)別仍是一個(gè)問題。

近年來，深度學(xué)習(xí)發(fā)展迅猛，深度學(xué)習(xí)及卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于語音識(shí)別、目標(biāo)檢測、圖像分類等領(lǐng)域。而植物圖像分類屬于圖像分類的范疇，研究如何通過深度學(xué)習(xí)及卷積神經(jīng)網(wǎng)絡(luò)對植物圖像進(jìn)行快速準(zhǔn)確的識(shí)別分類，在幫助人們認(rèn)識(shí)植物及植物分類方面具有重要的意義。圖像分類利用圖像中所體現(xiàn)的圖像信息，將不同的類別進(jìn)行區(qū)分，是計(jì)算機(jī)視覺與圖像處理領(lǐng)域的基礎(chǔ)性研究問題。植物是地球上不可缺少的生物，研究植物圖像的快速識(shí)別分類具有很高的學(xué)術(shù)價(jià)值和科技應(yīng)用價(jià)值。

20世紀(jì)80年代，圖像分類的研究取得重要進(jìn)展，出現(xiàn)SIFT，HOG等圖像特征提取算法，隨著對機(jī)器學(xué)習(xí)理論的研究，植物圖像的分類算法也日漸發(fā)展。1993年，Guyer等人對40類植物提取其葉片的形狀、面積、周長、長寬度等特征[1]，然后將這些低層特征轉(zhuǎn)化為高層特征進(jìn)行定性描述，以此對植物圖像進(jìn)行分類。Satti等人提出將植物圖片的顏色、形狀、葉片邊緣齒輪等特征相結(jié)合[2]，輸入到人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）中進(jìn)行植物圖像的分類，該方法應(yīng)用在33 種不同植物的圖像庫中，平均識(shí)別率為93.3%。Lee等人提出將植物圖像中葉片的脈絡(luò)和形狀特征相結(jié)合[3]，使用快速傅里葉變換得到頻域數(shù)據(jù)作為特征，在32種植物圖像庫中的平均識(shí)別準(zhǔn)確率為97.19%。楊天天等人針對7種柳屬植物葉片圖像，單純地通過葉片相關(guān)特征進(jìn)行多特征融合比較[4]，綜合判別正確率達(dá)到90.8%，實(shí)現(xiàn)了對特定種屬葉片圖像分析的高準(zhǔn)確率識(shí)別。王麗君則將觀葉植物的多特征進(jìn)行融合[5]，通過分析觀葉植物的形態(tài)特征，提取觀葉植物葉片圖像的顏色、形狀和紋理等共計(jì)26個(gè)特征，基于支持向量機(jī)（Support Vector Machines，SVM）算法完成觀葉植物葉片分類識(shí)別，識(shí)別率達(dá)到91.41%。

綜上，在以往的植物圖像分類算法中，多傾向于對單一的植物葉片圖像預(yù)先提取多種葉片特征，作為分類識(shí)別的依據(jù)，使用以上方法對植物進(jìn)行識(shí)別分類，圖像低層特征到高層概念之間存在的語義鴻溝難以解決，應(yīng)用成本高，植物種類單一，識(shí)別的準(zhǔn)確率也較低。為此，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的植物圖像分類方法。

1 植物圖像分類模型設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋式神經(jīng)網(wǎng)絡(luò)，它的靈感來源于人體內(nèi)的神經(jīng)元，圖1為神經(jīng)元結(jié)構(gòu)示意圖。CNN對大型的圖像處理有出色的表現(xiàn)，目前已成功地應(yīng)用到圖像識(shí)別當(dāng)中。CNN基本由兩個(gè)部分組成：一是特征提取層，在卷積神經(jīng)網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)的輸入都與前一層的局部接收域相連，從而提取圖像局部的特征信息并確定特征間的位置關(guān)系;二是特征映射層，多個(gè)特征映射層組成一個(gè)計(jì)算層，每個(gè)特征映射是一個(gè)平面，在這個(gè)平面上的神經(jīng)元共享權(quán)值。CNN的優(yōu)點(diǎn)在于整個(gè)模型可以自動(dòng)學(xué)習(xí)多個(gè)層次的特征，這些學(xué)習(xí)到的特征能夠很好地用于圖像的分類。

最早的卷積神經(jīng)網(wǎng)絡(luò)是LeNet5，是由Yann Lecun教授在1994年提出的，之后又在1998年發(fā)表了卷積神經(jīng)網(wǎng)

絡(luò)[6]的前言探索。近年來深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用呈爆發(fā)性增長。在ILSVRC之后的競賽中涌現(xiàn)了眾多經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò)模型。截至2017年，涌現(xiàn)的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型有LeNet，AlexNet[7]，GoogleNet[8]，VGG16[9]，ResNet[10]，F(xiàn)CN[11]，F(xiàn)ast R-CNN[12]，SPP-Net[13]等。

其中，VGG16（Very Deep Convolutional Networks）是由牛津大學(xué)的視覺幾何組的Karen和 Andrew實(shí)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)。它的主要目的是研究在大規(guī)模圖像識(shí)別任務(wù)中卷積網(wǎng)絡(luò)的深度對模型精確度的影響，它的主要貢獻(xiàn)也在于展示出了算法的優(yōu)良性能的關(guān)鍵是網(wǎng)絡(luò)的深度。

FCN（Fully Convolutional Networks）是Jonathan Long等人提出的全卷積網(wǎng)絡(luò)，用于圖像的分割。FCN將CNN中末尾的全連接層改為卷積層，使得整個(gè)網(wǎng)絡(luò)模型能接收任意大小的輸入圖像尺寸，避免了由于尺寸不同帶來的重復(fù)存儲(chǔ)和復(fù)雜計(jì)算的問題。

在本文中，結(jié)合VGG16與FCN兩者的優(yōu)點(diǎn)，在VGG16的基礎(chǔ)上將VGG16中末尾兩個(gè)通道數(shù)為4 096的全連接層轉(zhuǎn)為一個(gè)7×7的卷積層和一個(gè)1×1的卷積層，從而構(gòu)造一個(gè)新的VGG16網(wǎng)絡(luò)模型。圖2為新的VGG16網(wǎng)絡(luò)模型，用于植物圖像的分類。

由于VGG16模型有16層，模型參數(shù)眾多，少量的數(shù)據(jù)無法對網(wǎng)絡(luò)中的參數(shù)進(jìn)行完全的訓(xùn)練。在本文中，應(yīng)用已在大數(shù)據(jù)集ImageNet上充分訓(xùn)練的VGG16神經(jīng)網(wǎng)絡(luò)模型參數(shù)作為本文中新的VGG16網(wǎng)絡(luò)模型的初始化參數(shù)。在43類植物，每類500張共21 500張的植物圖像數(shù)據(jù)集上進(jìn)行分類訓(xùn)練。

2 實(shí)驗(yàn)設(shè)計(jì)及結(jié)果分析

2.1 圖像預(yù)處理

在以往的圖像分類任務(wù)中，進(jìn)行植物圖像的分類研究時(shí)，一個(gè)很大的問題是沒有公開統(tǒng)一的數(shù)據(jù)集，使得各種分類算法間的結(jié)論難以做對比。在現(xiàn)今的信息化時(shí)代下，圖像的信息每天都在呈指數(shù)級(jí)增長，普通的植物圖像數(shù)據(jù)的獲取變得容易。在本文中，收集了43類植物的數(shù)據(jù)集作為實(shí)驗(yàn)的研究數(shù)據(jù)。

為了減少過擬合現(xiàn)象，對收集來的植物圖像進(jìn)行隨機(jī)水平、垂直翻轉(zhuǎn)、隨機(jī)縮放操作來擴(kuò)充數(shù)據(jù)集，然后再將數(shù)據(jù)集以5∶1的比例劃分為訓(xùn)練集和測試集。對收集的大小不一的植物圖像數(shù)據(jù)做尺寸歸一化，重設(shè)為224×224大小，為了使得所有的特征均值都在0附近，保證植物圖像的平穩(wěn)性，對圖像做了均值規(guī)整化處理。圖3為模型訓(xùn)練時(shí)使用的圖像。

2.2 參數(shù)設(shè)置

在現(xiàn)實(shí)生活中，很多問題不都是簡單的線性問題，線性模型能解決的問題是有局限性的，所以在深度學(xué)習(xí)中，強(qiáng)調(diào)非線性。在神經(jīng)元結(jié)構(gòu)示意圖中，可以看出神經(jīng)元的輸出為所有輸入的加權(quán)和，所以整個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)線性的網(wǎng)絡(luò)，在每一個(gè)神經(jīng)元輸出后加上一個(gè)激活函數(shù)，去除神經(jīng)元輸出的線性化，則神經(jīng)網(wǎng)絡(luò)就實(shí)現(xiàn)了去線性化。圖4展示了去線性化的過程。

本文在每層卷積層后加一個(gè)ReLU激活函數(shù)[14]，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的去線性化。相比sigmoid和tanh激活函數(shù)，ReLU激活函數(shù)只需要一個(gè)閾值就可以得到激活值，不用進(jìn)行復(fù)雜的運(yùn)算，所以正向傳播的計(jì)算速度快，ReLU激活函數(shù)可以極大地加快收斂速度。

文中使用在分類問題中廣泛使用的交叉熵[15]作為損失函數(shù)，交叉熵表達(dá)的是兩個(gè)概率分布之間的距離。假設(shè)p代表正確答案，q代表預(yù)測值，則：

交叉熵的值越小，p和q的概率分布越接近，預(yù)測值越接近真實(shí)值，預(yù)測準(zhǔn)確率越高。

學(xué)習(xí)率是深度學(xué)習(xí)中的一個(gè)重要參數(shù)，合理的學(xué)習(xí)率設(shè)置是訓(xùn)練出一個(gè)好的模型的重要因素。當(dāng)學(xué)習(xí)率過小時(shí)，雖然能保證收斂性，但是會(huì)降低網(wǎng)絡(luò)優(yōu)化的速度，需要很多輪的迭代才能達(dá)到比較理想的網(wǎng)絡(luò)優(yōu)化效果，訓(xùn)練花費(fèi)的時(shí)間較長。當(dāng)學(xué)習(xí)率設(shè)置過大時(shí)，會(huì)導(dǎo)致參數(shù)不能收斂到一個(gè)極小值，達(dá)不到網(wǎng)絡(luò)優(yōu)化的效果。所以在學(xué)習(xí)率設(shè)置方面，初始學(xué)習(xí)率設(shè)為0.005，指數(shù)衰減系數(shù)設(shè)為0.1，衰減速度為672。在前期收集植物的圖片數(shù)據(jù)集時(shí)，每一類的圖片數(shù)據(jù)集都收集了相同的數(shù)量，所以在用Tensorflow實(shí)現(xiàn)網(wǎng)絡(luò)時(shí)，學(xué)習(xí)率設(shè)置為呈階梯狀衰減，在每完整地使用一次訓(xùn)練數(shù)據(jù)時(shí)，學(xué)習(xí)率衰減一次，這樣就使得所有的訓(xùn)練數(shù)據(jù)對模型的優(yōu)化具有相同的作用。

2.3 防止過擬合

在機(jī)器學(xué)習(xí)與深度學(xué)習(xí)中，過擬合是一個(gè)常見的問題，具體表現(xiàn)為在訓(xùn)練集上表現(xiàn)好，在測試集上表現(xiàn)不好，如果模型出現(xiàn)這種情況，那么模型的實(shí)用性就較差。為了降低過擬合的概率，在機(jī)器學(xué)習(xí)中主要有幾種常用方法：參數(shù)范數(shù)懲罰也就是正則化，模型過擬合可能是由于模型過于復(fù)雜，所以要對參數(shù)添加限制（正則化懲罰項(xiàng)）;增加訓(xùn)練數(shù)據(jù)集使模型擬合更多特征;在訓(xùn)練時(shí)設(shè)置合理的迭代次數(shù)，避免模型對訓(xùn)練集的過擬合;Dropout阻斷卷積神經(jīng)網(wǎng)絡(luò)中部分神經(jīng)元之間的協(xié)同作用，減輕部分神經(jīng)元之間的聯(lián)合適應(yīng)性，防止模型過擬合。在本文中，選用Dropout方法防止模型的過擬合。經(jīng)過驗(yàn)證，隱含節(jié)點(diǎn)Dropout率為0.5時(shí)網(wǎng)絡(luò)模型的效果是最好的，此時(shí)生成的隨機(jī)網(wǎng)絡(luò)結(jié)構(gòu)最多。

2.4 實(shí)驗(yàn)結(jié)果分析

圖5為模型經(jīng)過80 700次迭代后，訓(xùn)練精度與loss值的變化曲線。

實(shí)驗(yàn)結(jié)果對比見表1所列。

由表1可得，VGG16+FCN-26為最早進(jìn)行實(shí)驗(yàn)時(shí)使用了26類植物圖像進(jìn)行訓(xùn)練的測試精度方法;VGG16+FCN-43為最終實(shí)驗(yàn)使用的43類植物圖像的測試精度方法?？梢?，使用VGG16 + FCN的網(wǎng)絡(luò)模型對植物的圖像分類準(zhǔn)確率更高。

3 結(jié) 語

為了提高植物圖像分類的精度，本文提出結(jié)合VGG16和FCN兩者的優(yōu)點(diǎn)，將VGG16的兩個(gè)通道數(shù)為4 096的全連接層改為卷積層，構(gòu)造一個(gè)新的模型，然后在收集的

43類植物的圖像數(shù)據(jù)集中進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，此方法平均分類準(zhǔn)確率達(dá)到97.23%，高于傳統(tǒng)的植物圖像分類方法。今后的研究方向是將此模型應(yīng)用于各類數(shù)據(jù)集上，提高此模型的容錯(cuò)性。

參 考 文 獻(xiàn)

[1] GUYER D E，MILES G E，GAULTNEY L D，et al. Application of machinetoshape analysis in leaf and plant identification[J].Transactions of the asae，1993，36（1）：163-171.

[2] SATTI V，SATYA A，SHARMA S. An automatic leaf recognition system for plant identification using machine vision technology [J]. International journal of engineering science and technology，2013，5（4）：874-886.

[3] LEE K，HONG K. An implementation of leaf recognition system using leaf vein and shape [J]. International journal of Bio-Science and Bio-Technology，2013，5（2）：57-66.

[4]楊天天，潘曉星，穆立薔.基于葉片圖像特征數(shù)字化信息識(shí)別

7種柳屬植物[J].東北林業(yè)大學(xué)學(xué)報(bào)，2014，42（12）：75-79.

[5]王麗君. 基于寸片困像多特征提取的觀葉植物種類識(shí)別化[D]. 北京：北京林業(yè)大學(xué)，2014.

[6] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[7] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc，2012：1097-1105.

[8] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions [C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2015：1-9.

[9] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale Image recognition [J]. Computer science，2014.

[10] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition [C]// Computer Vision and Pattern Recognition.IEEE，2016：770-778.

[11] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networksfor semantic segmentation [J]. IEEE transactions on pattern analysis& machine intelligence，2017，39（4）：640-651.

[12] GIRSHICK R. Fast R-CNN [J]. Computer science，2015：72-78.

[13] HE K，ZHANG X，REN S，et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [J]. IEEE transactions on pattern analysis &machine intelligence，2014，37（9）：1904.

[14] ZHI Chen，PIN-HAN Ho. Global-connected network with generalized ReLU activation [J]. Pattern recognition，2019：96.

[15] HU Kai，ZHANG Zhenzhen，NIU Xiaorui，et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function [J]. Neurocomputing，2018：309.