基于TensorFlow平臺(tái)的深度學(xué)習(xí)月季花病害檢測(cè)研究

殷健凱 虞冬蕾 李梓儀 郭薇 朱浩

摘 ?要：作物病害是對(duì)糧食安全的主要威脅，但由于缺乏必要的基礎(chǔ)設(shè)施，在世界許多地方，很難迅速查明疾病。深度學(xué)習(xí)使全球智能手機(jī)普及率不斷提高和計(jì)算機(jī)視覺(jué)的最新發(fā)展相結(jié)合，為智能手機(jī)輔助疾病診斷鋪平了道路。該文使用在受控條件下收集的54 306張患病和健康植物月季花圖像的公共數(shù)據(jù)集，我們?cè)赥ensorFlow平臺(tái)上訓(xùn)練了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，以識(shí)別月季花的多種疾病。經(jīng)過(guò)訓(xùn)練的模型在保留的測(cè)試集上達(dá)到了99.35%的精度，證明了這種方法的可行性。在從可信任的在線(xiàn)來(lái)源收集的一組圖像上測(cè)試模型（即在不同于用于訓(xùn)練模型的圖像的條件下拍攝）時(shí)，模型仍可達(dá)到31.4%的準(zhǔn)確性。盡管此準(zhǔn)確度比基于隨機(jī)選擇的準(zhǔn)確度高得多（2.6%），但仍需要更多樣化的訓(xùn)練數(shù)據(jù)集來(lái)提高總體準(zhǔn)確度。總體而言，在越來(lái)越大且可公開(kāi)獲得的圖像數(shù)據(jù)集上，訓(xùn)練深度學(xué)習(xí)模型的方法為大規(guī)模的全球智能手機(jī)輔助作物病害診斷提供了一條清晰的道路。

關(guān)鍵詞：深度學(xué)習(xí) ?月季花 ?疾病檢測(cè) ?黑斑病

中圖分類(lèi)號(hào)：TP391 ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? 文章編號(hào)：1672-3791（2020）11（b）-0027-06

Abstract： Crop diseases are the main threat to food security， but due to the lack of necessary infrastructure， it is difficult to quickly identify diseases in many parts of the world. Deep learning has combined the global smartphone penetration rate with the latest developments in computer vision， paving the way for smartphone-assisted disease diagnosis. This article uses 54306 public data sets of diseased and healthy plant rose images collected under controlled conditions. We trained a deep convolutional neural network on the TensorFlow platform to identify various diseases of rose flowers. The trained model achieved 99.35% accuracy on the retained test set， which proved the feasibility of this method. When testing the model on a set of images collected from a trusted online source （ie， taken under different conditions than the images used to train the model）， the model can still achieve 31.4% accuracy. Although this accuracy is much higher than that based on random selection （2.6%）， a more diverse training data set is still needed to improve the overall accuracy. In general， the method of training deep learning models on increasingly large and publicly available image data sets provides a clear path for large-scale global smartphone-assisted crop disease diagnosis.

Key Words： Deep learning; Chinese rose; Disease detection; Black spot

月季花是4種主要切花中的第一大類(lèi)，是薔薇科的多年生木本花，其具有開(kāi)花時(shí)間長(zhǎng)、色彩豐富和植物種類(lèi)繁多的優(yōu)點(diǎn)。它受到所有國(guó)家人民的喜愛(ài)。盡管它經(jīng)歷了長(zhǎng)時(shí)間的重復(fù)雜交過(guò)程，但是在玫瑰花型、顏色和氣味上取得了許多突破，一些玫瑰屬月季花品種仍然非常容易受到疾病的影響，導(dǎo)致疾病和嚴(yán)重的經(jīng)濟(jì)損失。以黑斑病為代表的月季花疾病在大多數(shù)玫瑰屬月季花產(chǎn)區(qū)經(jīng)常發(fā)生，并且極為有害，嚴(yán)重影響了其裝飾價(jià)值和產(chǎn)量[1]。

為了防止月季花因病害而損失，已經(jīng)開(kāi)發(fā)了各種防護(hù)劑。在過(guò)去的10年里，殺蟲(chóng)劑在被越來(lái)越多地廣泛采用。從歷史上看，疾病識(shí)別一直得到農(nóng)業(yè)推廣組織或其他機(jī)構(gòu)的支持。最近，利用全球日益增長(zhǎng)的互聯(lián)網(wǎng)普及率，通過(guò)手機(jī)等電子設(shè)備對(duì)月季話(huà)的圖像進(jìn)行分析，從而得到診斷結(jié)果，稱(chēng)為植物疾病診斷的新趨勢(shì)[2]。

Pascal VOC挑戰(zhàn)賽和最近的基于ImageNet數(shù)據(jù)集的大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC）已經(jīng)被廣泛用作計(jì)算機(jī)視覺(jué)中許多可視化相關(guān)問(wèn)題的基準(zhǔn)，包括對(duì)象分類(lèi)。2012年，一個(gè)大型的深層卷積神經(jīng)網(wǎng)絡(luò)在將圖像分類(lèi)到1 000個(gè)可能的類(lèi)別時(shí)達(dá)到了前5名的16.4%的誤差。在接下來(lái)的3年里，深卷積神經(jīng)網(wǎng)絡(luò)的各種進(jìn)展將錯(cuò)誤率降低到3.57%。雖然訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)可能非常耗時(shí)，但訓(xùn)練后的模型可以非?？焖俚貙?duì)圖像進(jìn)行分類(lèi)，這也使其適用于智能手機(jī)上的消費(fèi)者應(yīng)用。

智能手機(jī)是非常新穎的識(shí)別植物疾病的方法，它們具有巨大的計(jì)算能力、高分辨率的顯示屏，以及大量的內(nèi)置配件，如高級(jí)高清攝像頭。據(jù)廣泛估計(jì)，到2020年，全球?qū)⒂?0億至60億部智能手機(jī)[3]。2015年底，全球已有69%的人口接入移動(dòng)寬帶覆蓋，2015年移動(dòng)寬帶普及率達(dá)到47%，自2007年以來(lái)增長(zhǎng)了12倍。智能手機(jī)的廣泛普及、高清攝像頭和移動(dòng)設(shè)備中的高性能處理器的綜合因素導(dǎo)致了這樣一種情況，如果技術(shù)可行，基于自動(dòng)圖像識(shí)別的疾病診斷可以以前所未有的規(guī)模提供。在這里，我們使用深度學(xué)習(xí)的方法證明了技術(shù)上的可行性，該方法利用了公開(kāi)提供的月季花疾?。ɑ蚪】担┑?4 306張圖像。圖1中可以看到每對(duì)作物病害的一個(gè)例子。

1 ?實(shí)驗(yàn)方法

1.1 數(shù)據(jù)集

我們分析了54 306張?jiān)录净ㄈ~片的圖像，這些圖像分配了類(lèi)別標(biāo)簽。每個(gè)類(lèi)別標(biāo)簽都是一個(gè)作物-病害對(duì)，我們?cè)噲D僅給出植物葉片的圖像來(lái)預(yù)測(cè)作物-病害對(duì)。圖1顯示了來(lái)自PlantVillage數(shù)據(jù)集的每個(gè)作物-病害對(duì)的一個(gè)示例。在該文描述的所有方法中，我們將圖像調(diào)整到256像素×256像素，并對(duì)這些縮小后的圖像進(jìn)行模型優(yōu)化和預(yù)測(cè)。

1.2 性能測(cè)試指標(biāo)

為了了解我們的方法將如何處理新的未見(jiàn)數(shù)據(jù)，并跟蹤我們的任何方法是否過(guò)度擬合，我們?cè)谡麄€(gè)訓(xùn)練-測(cè)試集拆分范圍內(nèi)運(yùn)行所有實(shí)驗(yàn)，即80-20（整個(gè)數(shù)據(jù)集的80%用于訓(xùn)練，20%用于測(cè)試），60-40（整個(gè)數(shù)據(jù)集的60%用于訓(xùn)練，40%用于測(cè)試），50-50（用于訓(xùn)練的整個(gè)數(shù)據(jù)集的50%，用于測(cè)試的50%），40-60（用于訓(xùn)練的整個(gè)數(shù)據(jù)集的50%，用于測(cè)試的50%），60%用于測(cè)試），最后是20-80（整個(gè)數(shù)據(jù)集的20%用于訓(xùn)練，80%用于測(cè)試）。必須注意的是，在許多情況下，植物村數(shù)據(jù)集具有相同葉子的多個(gè)圖像（取自不同的方向），并且我們有54 306個(gè)圖像中41 112個(gè)圖像的這種情況的映射;在所有這些測(cè)試序列拆分期間，我們確保相同葉子的所有圖像要么在訓(xùn)練集，要么在測(cè)試集中。此外，對(duì)于每個(gè)實(shí)驗(yàn)，我們計(jì)算了平均精確度、平均召回率、平均F1得分，以及整個(gè)訓(xùn)練周期內(nèi)（在每個(gè)時(shí)代結(jié)束時(shí)）的總體準(zhǔn)確率。我們使用最終的平均F1分?jǐn)?shù)來(lái)比較所有不同的實(shí)驗(yàn)配置的結(jié)果。

1.3 實(shí)驗(yàn)方法

我們?cè)u(píng)估了深卷積神經(jīng)網(wǎng)絡(luò)對(duì)上述分類(lèi)問(wèn)題的適用性。我們關(guān)注兩個(gè)流行的架構(gòu)，即AlexNet和GoogLeNet，它們是在針對(duì)ImageNet數(shù)據(jù)集的ILSVRC競(jìng)賽設(shè)計(jì)的。

AlexNet架構(gòu)遵循與20世紀(jì)90年代以來(lái)的LeNet-5架構(gòu)相同的設(shè)計(jì)模式。LENET-5架構(gòu)變體通常是一組堆疊的卷積層，其后是一個(gè)或多個(gè)完全連接的層。卷積層可選地可以緊隨其后具有歸一化層和池化層，并且網(wǎng)絡(luò)中的所有層通常具有與其相關(guān)聯(lián)的RELU非線(xiàn)性激活單元。AlexNet包含5個(gè)卷積層，然后是3個(gè)完全連接的層，最后以softMax層結(jié)束[4]。圖2為AlexNet架構(gòu)圖。

另一方面，GoogLeNet架構(gòu)是一個(gè)更深更廣的架構(gòu)，有22層，同時(shí)網(wǎng)絡(luò)中的參數(shù)數(shù)量（500萬(wàn)個(gè)參數(shù)）仍然比AlexNet（6 000萬(wàn)個(gè)參數(shù)）少得多。以初始模塊的形式應(yīng)用“網(wǎng)絡(luò)中的網(wǎng)絡(luò)”體系結(jié)構(gòu)是GoogLeNet體系結(jié)構(gòu)的關(guān)鍵特征。圖3位GoogLeNet架構(gòu)圖。

該文選擇TensorFlow為實(shí)驗(yàn)的實(shí)現(xiàn)平臺(tái)，我們通過(guò)在一種情況下從頭開(kāi)始訓(xùn)練模型，然后通過(guò)使用轉(zhuǎn)移學(xué)習(xí)調(diào)整已經(jīng)訓(xùn)練的模型（在ImageNet數(shù)據(jù)集上訓(xùn)練）來(lái)分析這兩種體系結(jié)構(gòu)在PlantVillage數(shù)據(jù)集上的性能。在遷移學(xué)習(xí)的情況下，我們不限制其余層的學(xué)習(xí)，相反，在AlexNet的情況下，我們僅重置層fc8的權(quán)重;在GoogLeNet的情況下，類(lèi)似的，我們不限制其余層的學(xué)習(xí)，而是僅重置Lost{1，2，3}分類(lèi)器層的權(quán)重。

綜上所述，我們總共有60種實(shí)驗(yàn)配置，它們根據(jù)以下參數(shù)而有所不同。這60個(gè)實(shí)驗(yàn)中的每一個(gè)總共運(yùn)行30個(gè)epoch，其中一個(gè)epoch被定義為特定神經(jīng)網(wǎng)絡(luò)已經(jīng)完成整個(gè)訓(xùn)練集的完整遍的訓(xùn)練迭代的次數(shù)。選擇30個(gè)紀(jì)元是基于經(jīng)驗(yàn)觀察，即在所有這些實(shí)驗(yàn)中，學(xué)習(xí)總是在30個(gè)epoch內(nèi)很好地收斂。

2 ?實(shí)驗(yàn)結(jié)果

首先，我們注意到在具有38個(gè)類(lèi)別標(biāo)簽的數(shù)據(jù)集上，隨機(jī)猜測(cè)平均只能獲得平均2.63%的總體準(zhǔn)確性。在我們的所有實(shí)驗(yàn)配置中，包括圖像數(shù)據(jù)的3種可視化表示，我們?cè)赑lantVillage數(shù)據(jù)集上獲得的總體準(zhǔn)確率從85.53%～99.34%，因此對(duì)于類(lèi)似的預(yù)測(cè)問(wèn)題顯示出深度學(xué)習(xí)方法的強(qiáng)大前景。表1顯示了我們所有實(shí)驗(yàn)配置的平均F1分?jǐn)?shù)、平均精確度、平均召回率和總體準(zhǔn)確率。所有的實(shí)驗(yàn)配置總共運(yùn)行30個(gè)歷元，并且在學(xué)習(xí)速率第一步下降之后，它們幾乎一致地收斂。

在30個(gè)epoch結(jié)束時(shí)，不同實(shí)驗(yàn)配置的平均F1得分。表1中的每個(gè)單元格代表相應(yīng)實(shí)驗(yàn)配置的平均F1分?jǐn)?shù)（平均精確度、平均召回率、總體準(zhǔn)確度）。為了解決過(guò)度擬合的問(wèn)題，我們改變了測(cè)試集與訓(xùn)練集的比率，并觀察到即使在僅對(duì)20%的數(shù)據(jù)進(jìn)行訓(xùn)練而在其余80%的數(shù)據(jù)上測(cè)試訓(xùn)練模型的極端情況下，在GoogLeNet中，該模型也實(shí)現(xiàn)了98.21%的總體準(zhǔn)確率（平均F1分?jǐn)?shù)為0.982 0）。正如預(yù)期的那樣，如果我們繼續(xù)增加測(cè)試集與訓(xùn)練集的比率，AlexNet和GoogLeNet的整體性能確實(shí)會(huì)下降（見(jiàn)圖4，但性能的下降并不像我們預(yù)期的那樣嚴(yán)重，如果模型確實(shí)過(guò)度擬合的話(huà)[5]。圖4還顯示，驗(yàn)證損失和訓(xùn)練損失之間沒(méi)有分歧，證實(shí)了過(guò)度擬合并不是我們?cè)谒袑?shí)驗(yàn)中獲得的結(jié)果的貢獻(xiàn)者[6]。

在AlexNet和GoogLeNet架構(gòu)中，GoogLeNet的表現(xiàn)一直好于AlexNet（見(jiàn)圖5），基于訓(xùn)練方法，遷移學(xué)習(xí)總是產(chǎn)生更好的結(jié)果4（B），這兩個(gè)都是預(yù)期的[7]。

當(dāng)我們保持其余實(shí)驗(yàn)配置不變時(shí)，數(shù)據(jù)集的3個(gè)版本（顏色、灰度和分段）在所有實(shí)驗(yàn)中顯示出性能的特征變化。在數(shù)據(jù)集的彩色版本的情況下，模型執(zhí)行得最好。在設(shè)計(jì)實(shí)驗(yàn)時(shí)，我們擔(dān)心神經(jīng)網(wǎng)絡(luò)可能只學(xué)會(huì)提取與照明條件相關(guān)的固有偏差。因此，我們用同一數(shù)據(jù)集的灰度版本進(jìn)行了實(shí)驗(yàn)，以測(cè)試該模型在缺乏顏色信息的情況下的適應(yīng)性，以及它學(xué)習(xí)特定作物和疾病典型的更高級(jí)別結(jié)構(gòu)模式的能力。正如預(yù)期的那樣，與在數(shù)據(jù)集的彩色版本上進(jìn)行的實(shí)驗(yàn)相比，性能確實(shí)有所下降，但即使在性能最差的情況下，觀察到的平均F1分?jǐn)?shù)也是0.852 4（總體準(zhǔn)確率為85.53%）。還準(zhǔn)備了整個(gè)數(shù)據(jù)集的分割版本，以調(diào)查圖像背景在整體性能中的作用，并且如圖所示，使用分割圖像的模型的性能始終好于使用灰度圖像的模型，但略低于使用彩色圖像的模型的性能[8]。

最后，雖然這些方法在受控環(huán)境中收集的PlantVillage數(shù)據(jù)集上獲得了出色的結(jié)果，但我們也評(píng)估了該模型在從可信的在線(xiàn)來(lái)源（如學(xué)術(shù)農(nóng)業(yè)推廣服務(wù)）采樣的圖像上的性能。此類(lèi)圖像無(wú)法大量獲得，使用從Bing Image Search自動(dòng)下載與我們其中一人（MS）的可視驗(yàn)證步驟相結(jié)合，我們獲得了121張圖像的小型驗(yàn)證數(shù)據(jù)集（有關(guān)該過(guò)程的詳細(xì)說(shuō)明，請(qǐng)參閱補(bǔ)充材料）。通過(guò)使用GoogLeNet訓(xùn)練的模型，我們從38個(gè)可能的類(lèi)別標(biāo)簽中成功地預(yù)測(cè)了正確的類(lèi)別標(biāo)簽（即月季和病害信息），總體準(zhǔn)確率為31.40%。我們注意到，隨機(jī)分類(lèi)器的平均準(zhǔn)確率僅為2.63%。當(dāng)提供特定圖像所屬作物的信息時(shí)，準(zhǔn)確率提高到47.93%。在所有圖像中，52.89%的情況下，正確的類(lèi)別都在預(yù)測(cè)的前5名中[9]。

3 ?結(jié)語(yǔ)

該文中，我們利用深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，我們?cè)谥参锶~片圖像上訓(xùn)練了一個(gè)模型，目的是在以前沒(méi)有見(jiàn)過(guò)的圖像上對(duì)作物種類(lèi)和病害的存在和識(shí)別進(jìn)行分類(lèi)。在包含54 306幅圖像的PlantVillage月季花數(shù)據(jù)集中，99.35%的最高準(zhǔn)確性證明了這一目標(biāo)的實(shí)現(xiàn)。因此，在沒(méi)有任何特征工程的情況下，該模型從1 000幅圖像中的993幅圖像中的38個(gè)可能類(lèi)別中正確地對(duì)月季花和病害進(jìn)行了分類(lèi)。重要的是，雖然模型的訓(xùn)練需要大量時(shí)間（在高性能GPU集群計(jì)算機(jī)上需要數(shù)小時(shí)），但分類(lèi)本身非常快（在CPU上不到1 s），因此可以很容易地在智能手機(jī)上實(shí)現(xiàn)。這為在全球范圍內(nèi)實(shí)現(xiàn)智能手機(jī)輔助的作物病害診斷提供了一條清晰的道路。

但是，在現(xiàn)階段有一些限制需要在今后的工作中加以解決。例如，當(dāng)在與用于訓(xùn)練的圖像不同的條件下拍攝的一組圖像上進(jìn)行測(cè)試時(shí)，模型的準(zhǔn)確率大大降低，為31.4%。值得注意的是，這個(gè)準(zhǔn)確率遠(yuǎn)遠(yuǎn)高于基于隨機(jī)選擇38個(gè)類(lèi)的準(zhǔn)確率（2.6%），但仍然需要更多樣化的訓(xùn)練數(shù)據(jù)集來(lái)提高準(zhǔn)確率。我們目前的結(jié)果表明，僅有更多（和更多可變的）數(shù)據(jù)將足以顯著提高精度，相應(yīng)的數(shù)據(jù)收集工作正在進(jìn)行中。

參考文獻(xiàn)

[1] 劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2014（7）：1921-1930，1942.

[2] 劉瑞峰，劉強(qiáng)，張非亞，等.月季響應(yīng)黑斑病的早期差異表達(dá)基因分析[J].園藝學(xué)報(bào)，2015，42（4）：731-740.

[3] LIU Ruifeng，LIU Qiang，ZHANG Feiya，et al. The Analysis of Differential Expression Genes for Rose Early Responding to Black-spot Disease[J]. Acta Horticulturae Sinica，2015，42（4）：731-740.

[4] 孫紅，李松，李民贊，等.農(nóng)業(yè)信息成像感知與深度學(xué)習(xí)應(yīng)用研究進(jìn)展[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020（5）：1-17.

[5] 曹現(xiàn)剛，薛禎也.基于遷移學(xué)習(xí)的GoogLenet煤矸石圖像識(shí)別[J].軟件導(dǎo)刊，2019，18（12）：183-186.

[6] 鄭一力，張露.基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)植物葉片圖像識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2018，49（S1）：354-359.

[7] 范麗麗，趙宏偉，趙浩宇，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)研究綜述[J].光學(xué)精密工程，2020，28（5）：1152-1164.

[8] 莊福振，羅平，何清，等.遷移學(xué)習(xí)研究進(jìn)展[J].軟件學(xué)報(bào)，2015（1）：26-39.

[9] 張帥，淮永建.基于分層卷積深度學(xué)習(xí)系統(tǒng)的植物葉片識(shí)別研究[J].北京林業(yè)大學(xué)學(xué)報(bào)，2016，38（9）：108-115.

[10] 祝永志，張彩廷.基于TensorFlow深度學(xué)習(xí)的Minist手寫(xiě)數(shù)字識(shí)別技術(shù)[J].通信技術(shù)，2020，53（1）：46-51.

[11] 袁文翠，孔雪.基于TensorFlow深度學(xué)習(xí)框架的卷積神經(jīng)網(wǎng)絡(luò)研究[J].微型電腦應(yīng)用，2018（2）：29-32.

[12] 牛旭.基于人工智能的水稻病害檢測(cè)系統(tǒng)研究[D]. 黑龍江大學(xué)，2019.