面向小麥生育進程監(jiān)測的卷積神經(jīng)網(wǎng)絡精簡化研究

李祥宇 任艷娜 馬新明 席磊

摘要：目前，利用機器視覺進行小麥生育進程監(jiān)測主要是通過人工來進行特征提取，存在客觀性差、效率低等問題，為了解決該問題，把深度學習引入到小麥生育進程監(jiān)測研究中。卷積神經(jīng)網(wǎng)絡作為深度學習中常用的算法被廣泛應用于圖像分類任務中，使用深層的特征提取網(wǎng)絡能夠自動識別和提取圖像特征，但常規(guī)深度卷積網(wǎng)絡帶來的大量參數(shù)和計算開銷使這些算法難以應用到對存儲空間和參數(shù)量有一定限制的嵌入式設備中。為此提出將知識蒸餾方法用于目標檢測網(wǎng)絡的特征提取網(wǎng)絡，以提升淺層特征提取網(wǎng)絡的性能，在降低模型的計算量和模型大小的同時盡可能地保證識別結果的準確性。通過使用ResNet50、VGG-16這2個不同教師網(wǎng)絡分別指導學生模型MobileNet進行訓練，試驗結果表明，當ResNet50作為教師模型、MobileNet作為學生模型時識別效果最好，學生模型MobileNet的平均識別準確率達到了97.3%，模型大小壓縮為僅19.7 MB，相比于ResNet50縮小了88.9%，通過知識蒸餾的方法，使得到的模型能夠在提高準確率的情況下還能減少網(wǎng)絡模型的參數(shù)量和模型運行時間的消耗，大幅降低部署模型的成本，可以為田間小麥智慧化生產(chǎn)提供技術支撐。

關鍵詞：小麥生育期;深度學習;卷積神經(jīng)網(wǎng)絡;模型壓縮;知識蒸餾

中圖分類號：S126 ??文獻標志碼： A

文章編號：1002-1302（2022）08-0199-08

小麥是世界第二大糧食作物，全世界約35%～40%的人口以小麥為其主要糧食[1]。中國小麥種植面積占耕地面積的70%以上，河南省冬小麥產(chǎn)量占全國小麥總產(chǎn)量的25%以上，河南省冬小麥的穩(wěn)產(chǎn)和高產(chǎn)對保障國家糧食安全至關重要，作為作物生長信息的主要基礎之一，生育期信息一直以來都在為作物自動化監(jiān)測服務，例如在特定發(fā)育期階段進行相應的監(jiān)測或農(nóng)事活動等;因此，作物生育期進程監(jiān)測是必不可少的。目前，作物的生育期信息的獲取主要是通過人工觀測來實現(xiàn)的，然而，人為觀測費時費力、有誤差，還會對作物造成破壞。使用智能化的方法對小麥生育期進行監(jiān)測可以大大提高小麥高觀測結果的準確性和實時性，同時降低投入的成本。因此，迫切需要一種智能化的技術來解決小麥生育進程監(jiān)測問題。

近年來，機器學習方法在處理分類、回歸等問題中得到廣泛應用，也逐漸被應用于作物的生育期提取研究。但是這些研究主要集中于玉米[2-3]、水稻[4]、棉花[5]等相對容易采集處理的作物上，對小麥生育期的研究還處于不成熟階段。張明偉等基于中分辨率成像光譜儀-增強型植被指數(shù)（MODIS-EVI）時間序列數(shù)據(jù)對冬小麥返青期與抽穗期長勢進行判斷[6]，黃青等利用冬小麥中分辨率成像光譜儀-歸一化植被指數(shù)（MODIS-NDVI）差值模型對冬小麥長勢進行監(jiān)測[7]。以上方法須要對每一類作物構建大量特征標準，工作量大且泛化能力不足。

深度學習是近年來一種熱門的模式分析方法，廣泛應用于語音識別[8]、人臉識別[9]、圖像分類[10]、行為分析[11-12]等工業(yè)領域中，近年來也逐步應用在農(nóng)業(yè)領域[13-14]。有研究學者將深度學習應用在花生[15]、水果[16-18]、蔬菜[19-20]等作物的目標檢測。吳茜利用圖像處理技術實現(xiàn)棉花生育期3個時期的自動觀測，但是此方法只是針對固定的棉花種植區(qū)域和固定的棉花品種，如果對其他的棉花種植地區(qū)和不同品種情況下會出現(xiàn)誤差[21];余正泓將計算機視覺技術用于玉米發(fā)育期的自動檢測中，利用空間均勻度檢測出苗期，建立連通域株數(shù)、端點數(shù)與到達3葉期概率的概率模型檢測是否到達3葉期，基于覆蓋度和冠層高度判定是否到達拔節(jié)期，最后利用時空顯著性檢測玉米雄穗進而判斷玉米抽雄期[22]。吳蘭蘭基于圖像處理方法，結合支持向量機和 BP 神經(jīng)網(wǎng)絡研究了復雜背景的田間苗期玉米和雜草的分類，為田間雜草實時識別系統(tǒng)提供技術支持[23]。盡管現(xiàn)代深度神經(jīng)網(wǎng)絡的性能有了顯著的提高，但是在模型訓練時，仍然需要從巨大且冗余的數(shù)據(jù)中提取特征結構。通常情況下不考慮實時性要求，最后訓練得到的模型參數(shù)量較多。由于計算資源和延遲的限制，深度神經(jīng)網(wǎng)絡較難在實際中得到應用。

近年來有學者提出了不同的模型精簡方法。Hinton 等最早提出知識蒸餾方法，其核心方法就是利用常規(guī)的深度卷積網(wǎng)絡教師模型來指導一個精簡網(wǎng)絡的學生模型[24]。本研究基于這一方法，嘗試使用常規(guī)的網(wǎng)絡 ResNet50[25]和VGG16模型作為教師模型來指導精簡網(wǎng)絡MobileNet模型的訓練，并將其首次應用于小麥生育期進程監(jiān)測。通過知識蒸餾的方法，使MobileNet經(jīng)過蒸餾學習后模型能夠在提升準確率的情況下還能減少網(wǎng)絡模型的參數(shù)量和大大縮短模型的運行時間，能夠大幅降低部署模型的成本。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)材料

本研究試驗選擇在河南省長葛市河南農(nóng)業(yè)大學許昌校區(qū)試驗區(qū)（地理位置34°12′06″N， 113°58′26″E）進行。試驗區(qū)屬北溫帶大陸性季風氣候區(qū)，年均氣溫為14.3 ℃，年均降水量為 711.1 mm，無霜期為217 d。

由于田間環(huán)境復雜，通常要在田間固定攝像設備并在相同距離下進行拍攝。采集時間為2019年10月至2020年6月，選擇豫麥49、周麥27、西農(nóng)509為試驗對象，在河南省小麥生產(chǎn)中，這3個品種在豫東、豫中地區(qū)都保持一定的種植面積，都屬半冬性小麥，且具有一定的普適性。

每次采集選擇密度300株/m2為1組數(shù)據(jù)，密度350株/m2為1組數(shù)據(jù)，氮含量15 kg/667 m2為1組數(shù)據(jù)，氮含量0 kg/667 m2為1組數(shù)據(jù)。每隔 2 d 在08：00—15：00 這段時間內進行拍攝，使用尼康D3100相機，采用三腳架進行固定高度拍攝，所有圖像都是在自然光照條件下采集。采用許昌站點冬小麥生育期所需的有效積溫，記錄數(shù)據(jù)作為樣本標記，從獲取的圖片數(shù)據(jù)中分別篩選出小麥的出苗—分蘗期（出苗的第1天到分蘗的前1 d），分蘗—越冬期（分蘗的第1天到越冬的前1 d），越冬—返青期（越冬的第1天到返青的前1 d），返青—拔節(jié)期（返青的第1天到拔節(jié)的前1 d），拔節(jié)—抽穗期（拔節(jié)的第1天到抽穗的前1 d），5個階段共12 750 張圖片數(shù)據(jù)，采集到的部分圖像見圖1。

對采集到的5個小麥生育時期圖像進行預處理操作。通過相機采集的小麥生育時期的圖像像素為4 600×3 070，一張圖像的大小都已經(jīng)達到了 16 MB，這樣的圖像如果直接放入模型進行學習，必然會對模型的訓練計算帶來巨大的負擔，所以首先通過調整圖像規(guī)格的方法對小麥5個生育時期的圖像進行圖像的歸一化操作。小麥生育期圖像都是在復雜背景下進行采集的，圖像的四周會有與小麥圖像無關信息的田間背景，因此把含有無關信息的小麥圖像利用中心裁剪的方法裁剪掉，然后將所有

的圖像統(tǒng)一縮放為224×224的圖像，最終實現(xiàn)了所有圖像的尺寸歸一化處理。

隨著模型計算深度的加深，隨之而來的是參數(shù)量逐漸變多，如果數(shù)據(jù)集達不到一定的數(shù)量，此時模型就會發(fā)生過擬合的現(xiàn)象，模型在對訓練集識別的準確率很高，但是放到測試集就不能準確地識別，整個模型的泛化能力就非常弱。所以為了防止過擬合現(xiàn)象發(fā)生，采用增加圖像數(shù)據(jù)量的方法，一般可以利用圖像的平移、圖像的縮放、圖像的切割等方法來進行數(shù)據(jù)集的擴增。本研究選擇了對小麥5個生育時期圖像旋轉的方法來進行數(shù)據(jù)集的擴增，具體方法是使圖像按照不同角度進行旋轉，增加不同角度的小麥圖像數(shù)據(jù)，將圖像分別順時針旋轉90°、180°、270°。

5個小麥生育期圖像的數(shù)據(jù)集擴增了3倍。最終將5種小麥冠層圖像數(shù)據(jù)擴充為均衡樣本共 38 250 張（16 050張豫麥49，15 450張周麥27，6 750 張西農(nóng)509）在每個小麥生育期中隨機抽取共1 350張構成測試集，本研究進行對比試驗等都是在這個數(shù)據(jù)集上完成的。數(shù)據(jù)樣本分布見表1。

1.2 研究方法

1.2.1 知識蒸餾 知識蒸餾方法最早是被應用到圖像識別分類任務中的，其核心思想是找到一種方法，把多個模型的知識和性能提煉給單個模型。一般認為模型的參數(shù)保留了模型訓練過程所學到的知識，最常見的遷移學習方式就是在1個大型數(shù)據(jù)集上做預訓練，然后利用預訓練得到的參數(shù)根據(jù)任務要求做微調后應用于目標數(shù)據(jù)。知識可以看做是輸入到輸出的映射關系，因此先訓練好1個教師網(wǎng)絡，然后將該網(wǎng)絡的輸出結果q作為學生網(wǎng)絡的目標，以此來訓練學生網(wǎng)絡，盡量使得學生網(wǎng)絡的輸出結果p接近q，損失函數(shù)L=CE（y，p）+aCE（q，p），其中CE代表交叉熵;y是真實標簽的onehot編碼;q是教師網(wǎng)絡的輸出結果;a是系數(shù);p是學生網(wǎng)絡的輸出結果。

VGG16和ResNet50模型作為常規(guī)的大型卷積神經(jīng)網(wǎng)絡在眾多分類試驗中都能夠取得良好的分類結果，標準模型由于本身占用了過多的參數(shù)量，從而模型運行過程中消耗了巨大的資源，會給運行設備帶來過多負擔。為了解決模型本身參數(shù)量過多無法在算力不高的設備上運行的問題，MobileNet運用深度可分離卷積技術極大地降低了模型大小[26]。本研究把標準模型VGG16和標準模型Resnet50來作為教師網(wǎng)絡，通過讓學生模型MobileNet學習教師網(wǎng)絡的知識，從而提升MobileNet模型在小麥各生育期識別精度。

Hinton在知識蒸餾方法中首次提出用生成的軟標簽來輔佐正常標簽進行訓練。軟標簽是經(jīng)過軟化的教師網(wǎng)絡的輸出結果，軟化具體方法是在教師網(wǎng)絡的輸出函數(shù)Softmax里加入?yún)?shù)T來放大軟標簽其他分類的概率值，使得學生網(wǎng)絡能夠更全面地學習到更多的信息。式（1）是軟化的輸出函數(shù)qi。

qi=exp（zi/T）∑jexp（zj/T）。（1）

其中：zi表示第i個類別的輸出值。之所以加入?yún)?shù)T的原因是Softmax輸出函數(shù)是一條陡峭的曲線，錯誤分類的概率值經(jīng)過Softmax函數(shù)輸出后會變得極其低，這會造成學生網(wǎng)絡在知識傳輸時能夠通過教師網(wǎng)絡學習的信息很少。一個復雜網(wǎng)絡能夠得到較好的分類效果，對于1張目標圖像輸出正確的概率比錯誤的概率大很多，但對于一個較小網(wǎng)絡無法實現(xiàn)，因此在小網(wǎng)絡Softmax處加1個T參數(shù)。加上這個參數(shù)并設置較大的值時，錯誤分類再次經(jīng)過Softmax時輸出值變大，則輸出結果的概率分布越近似，相當于一個平滑的作用，起到保留相似信息的作用。用相同T值對小網(wǎng)絡進行訓練，目標輸出就是一個均勻分布。這時如果將T重新取1，小網(wǎng)絡的分類概率就更加接近大網(wǎng)絡的較高識別準確率。

知識蒸餾，可以將1個網(wǎng)絡的知識轉移到另1個網(wǎng)絡，2個網(wǎng)絡可以是同構或者異構。知識蒸餾，可以用來將網(wǎng)絡從大網(wǎng)絡轉化成1個小網(wǎng)絡，并保留接近于大網(wǎng)絡的性能;也可以將多個網(wǎng)絡學到的知識轉移到1個網(wǎng)絡中，使得單個網(wǎng)絡的性能接近大網(wǎng)絡的結果，過程見圖2。

蒸餾的基本步驟如下：

（1）用大量數(shù)據(jù)訓練1個較大且性能較好的模型做教師網(wǎng)絡。

（2）設置超參數(shù)T，使用預訓練的教師網(wǎng)絡對學

生網(wǎng)絡進行蒸餾，首先是將計算出軟化后的學生網(wǎng)絡的預測和軟化后的教師網(wǎng)絡的預測進行交叉熵計算得到L（soft），將不經(jīng)過軟化的學生網(wǎng)絡的預測和正常標簽進行交叉熵計算得到L（hard），最后將2個交叉熵按比例α組成最終的損失函數(shù)進行訓練，通過這種方式使得教師網(wǎng)絡能夠聯(lián)合學生網(wǎng)絡一起訓練。公式（2）是最終的損失函數(shù)

L=αL（soft）+（1-α）Lhard。（2）

（3）訓練得到的學生網(wǎng)絡在單獨預測階段，使用正常的Softmax函數(shù)進行分類。

2 試驗結果與分析

進行試驗的計算機配置是內存16 GB，CPU型號為Intel i7-8750H，顯卡型號NVIDIA GTX 1060TI，運行 Windows10系統(tǒng)。利用Python語言中Keras包進行代碼的編寫。

2.1 蒸餾模型訓練結果

為了保證整個試驗過程及結果具有科學性和有效性，試驗的過程所有的超參數(shù)都進行了統(tǒng)一化處理，對一次訓練所選取的樣本數(shù)定義為 64，L2正則化定義為 0.000 5，為了不讓模型發(fā)生過擬合的問題，把模型的學習進度都控制在0.001。

為了保證教師模型與學生模型為最佳模型，試驗在224×224大小的3通道RGB 圖像下，從生育時期識別的準確率、模型運行時間以及模型參數(shù)量，對比VGG16、 MobileNet、ResNet50這3個網(wǎng)絡模型，對比了這3種比較主流的深度卷積神經(jīng)網(wǎng)絡結構對。3種模型在迭代過程中小麥5個生育時期驗證集準確率變化情況見圖3。

由圖3可以看出，這3種模型在迭代的過程中小麥生育時期驗證集的準確率變化總體呈現(xiàn)出了不同的特點。具體來說，這3種模型在迭代的過程中，準確率都出現(xiàn)了明顯的抖動現(xiàn)象，對于輕量化模型 MobileNet 來說，雖然在剛開始迭代過程中小麥生育期驗證集的準確率出現(xiàn)比較低的表現(xiàn)，但是隨著模型整體訓練的逐步加深，準確率整體呈現(xiàn)逐步上升趨勢。

由表2可知，模型對5 類小麥生育時期的識別準確率都是很高的。尤其是對小麥出苗—分蘗期的分類，分類準確率達到了96.8%，即使是返青—拔節(jié)期的分類準確率也達到了89.9%，這說明模型是有效的。通過對誤判數(shù)據(jù)分析可以發(fā)現(xiàn)，誤判的發(fā)生主要是集中在各生育時期的后期以及下一個生育時期的前期，其主要原因是此時的物候特征不明顯。

為了驗證不同深度的網(wǎng)絡模型作為教師模型對學生模型準確率的影響，試驗分別利用 VGG16、Resnet50作為教師模型來指導學生模型MobileNet的訓練，3 種教師模型蒸餾前后識別結果見表3。

由表3可知，經(jīng)過對這VGG-16和ResNet50知識蒸餾后單個小麥生育時期的準確率與小麥這5個時期的平均準確率都有一定的提升，其中出苗期的準確率最高，相比蒸餾前的準確率提高了1.5百分點，5個生育時期ResNet50模型的平均準確率最高，提高了1.2百分點。VGG16和ResNet50都在經(jīng)過蒸餾后對小麥生育時期識別的準確度有了略微的提升，雖然提升效果不明顯，但這已經(jīng)是這2個模型在蒸餾前對小麥生育時期識別準確率已經(jīng)很高的基礎上帶來的提升，通過試驗對比可以說明對VGG16和ResNet50的蒸餾是有效果的，MobileNet通過學習VGG16和ResNet50模型里的知識，獲得MobileNet本身一些所缺少的信息，從而提高了模型最終的準確率，甚至超過了VGG16和RestNet50這2個教師模型。

從試驗結果可以看出，模型的識別結果與模型的網(wǎng)絡深度有關，當教師網(wǎng)絡為ResNet50時學生模型MobileNet的網(wǎng)絡識別準確率最高，這說明當教師模型網(wǎng)絡深度越深對學生模型的影響越大，最終模型識別結果的準確率越高。當教師網(wǎng)絡為ResNet50時學生模型MobileNet的網(wǎng)絡識別準確率為 98.3%。為了能看出通過知識蒸餾能夠給模型帶來多少提升，把學生模型MobileNet與教師模型VGG16和ResNet50的識別精確率和模型的參數(shù)量、模型所占的內存和模型訓練所用的時間這4個方面進行對比。通過表4可以看出，在模型的參數(shù)量方面，VGG16模型的參數(shù)量是蒸餾后MobileNet 模型的100.8倍，教師模型ResNet50 的參數(shù)量是經(jīng)過蒸餾后MobileNet模型的20.9倍之多。

模型計算所帶來的參數(shù)量能夠直觀地看出模型的復雜程度，模型參數(shù)量的多少能夠直接影響模型本身是否能夠在計算力相對小的設備上進行部署，參數(shù)量越多部署到算力小的設備上就越困難。在模型訓練時間上可以看出，經(jīng)過學習蒸餾之后的學生模型MobileNet的收斂時間為20 h左右，在準確率方面，蒸餾后MobileNet模型的準確率為98.3%。

經(jīng)過知識蒸餾后的MobileNet模型與常規(guī)的深度卷積神經(jīng)網(wǎng)絡模型相比，蒸餾后的MobileNet模型可以在小幅提高準確率的同時大大縮減模型的大小和訓練模型的時間，從而加快模型的收斂速度。

2.2 特征圖可視化結果

通過對教師網(wǎng)絡卷積層進行特征可視化，可以更好地理解模型的運行過程。從淺層到深層選擇卷積層進行可視化，結果見圖4。神經(jīng)網(wǎng)絡的前面卷積層為淺層卷積層，后面的卷積層為深層卷積層，它們所關注的重點不同。每個小圖由不同卷積層可視化得到，它們按照從淺層到深層遞增的順序排序。圖像的形狀越來越不明顯，因為淺層卷積層提取的特征強調的是紋理、細節(jié)信息，物體的基本形狀能夠比較清晰地展現(xiàn)出來。隨著層數(shù)的增加，將會提取更多的抽象特征，通過更多的變換操作來更加完整地描述一個物體。相對而言，層數(shù)越深，提取的特征越具有代表性。通過對網(wǎng)絡的可視化[27]，可以更好地了解網(wǎng)絡對物體進行識別時所著重關注的地方，圖像越亮的區(qū)域表示特征越明顯。

3 結論

研究針對神經(jīng)網(wǎng)絡訓練中模型中龐大的模型體積和過長的模型的訓練時間，提出使用知識蒸餾技術建立了識別5種不同小麥生育期的分類模型。主要結論如下：

小麥生育期識別的標準卷積神經(jīng)網(wǎng)絡模型VGG16、ResNet50和輕量化卷積神經(jīng)網(wǎng)絡模型MobileNet，對小麥生育期測試集樣本進行預測，模型的平均準確率分別為93.5%、94.9%、92.6%，表明了利用卷積神經(jīng)網(wǎng)絡在小麥生育期圖像上分類識別可行且高效。

當ResNet50作為教師模型時，學生模型MobileNet的準確率提升到了98.3%;然后使用小麥單個生育期的準確率、模型的參數(shù)量、模型所占的內存與模型訓練所用時間4個指標對訓練好的學生模型MobileNet進行評估。經(jīng)過蒸餾后的MobileNet模型的平均準確率達到了96.1%，模型的參數(shù)量只有130多萬個，模型大小壓縮為僅19.7 MB，相比于ResNet50縮小了80.8%，模型的運行收斂時間只有20 h，約為教師模型的一半，具備較高的準確性和實時性要求。

通過知識蒸餾可以使得一個小的模型準確率接近大的模型的準確率，使得小麥生育期識別模型參數(shù)量、模型大小和運行時間大大減少，便于在低算力設備部署運行，可以為田間小麥智慧化生產(chǎn)提供技術支撐。

參考文獻：

[1]趙廣才，常旭虹，王德梅，等. 小麥生產(chǎn)概況及其發(fā)展[J]. 作物雜志，2018（4）：1-7.

[2]和興華. 基于卷積神經(jīng)網(wǎng)絡的玉米冠層圖像分割與生育期鑒定方法[D]. 南昌：江西農(nóng)業(yè)大學，2018.

[3]陸 明，申雙和，王春艷，等. 基于圖像識別技術的夏玉米生育期識別方法初探[J]. 中國農(nóng)業(yè)氣象，2011，32（3）：423-429.

[4]烏玲瑛，徐 奐，蔡喨喨，等. 基于機器學習的水稻發(fā)育期預測模型構建[J]. 揚州大學學報（農(nóng)業(yè)與生命科學版），2012，33（3）：44-50.

[5]胡錦濤，王苗苗，李 濤，等. 基于深度學習的棉花發(fā)育期自動觀測[J]. 安徽農(nóng)業(yè)科學，2019，47（11）：237-240，243.

[6]張明偉. 基于MODIS數(shù)據(jù)的作物物候期監(jiān)測及作物類型識別模式研究[D]. 武漢：華中農(nóng)業(yè)大學，2006.

[7]黃 青，李丹丹，陳仲新，等. 基于MODIS數(shù)據(jù)的冬小麥種植面積快速提取與長勢監(jiān)測[J]. 農(nóng)業(yè)機械學報，2012，43（7）：163-167.

[8]黎 煊，趙 建，高 云，等. 基于連續(xù)語音識別技術的豬連續(xù)咳嗽聲識別[J]. 農(nóng)業(yè)工程學報，2019，35（6）：174-180.

[9]鄭秋梅，謝換麗，王風華，等. 一種基于局部三值模式的深度學習人臉識別算法[J]. 計算機與現(xiàn)代化，2018（2）：112-117.

[10]林相澤，張俊媛，朱賽華，等. 基于K-SVD和正交匹配追蹤稀疏表示的稻飛虱圖像分類方法[J]. 農(nóng)業(yè)工程學報，2019，35（19）：216-222.

[11]儲彬彬. 基于深度學習的人類行為分析技術的研究與實現(xiàn)[D]. 南京：東南大學，2017.

[12]占 超. 基于視頻對象和深度學習的異常行為分析系統(tǒng)設計和實現(xiàn)[D]. 北京：北京郵電大學，2019.

[13]汪傳建，趙慶展，馬永建，等. 基于卷積神經(jīng)網(wǎng)絡的無人機遙感農(nóng)作物分類[J]. 農(nóng)業(yè)機械學報，2019，50（11）：161-168.

[14]賈少鵬，高紅菊，杭 瀟. 基于深度學習的農(nóng)作物病蟲害圖像識別技術研究進展[J]. 農(nóng)業(yè)機械學報，2019，50（增刊1）：313-317.

[15]黃 云，唐林波，李 震，等. 采用深度學習的遙感圖像花生種植區(qū)域分類技術研究[J]. 信號處理，2019，35（4）：617-622.

[16]王丹丹，何東健. 基于R-FCN深度卷積神經(jīng)網(wǎng)絡的機器人疏果前蘋果目標的識別[J]. 農(nóng)業(yè)工程學報，2019，35（3）：156-163.

[17]羅 琪. 基于深度學習的水果圖像識別系統(tǒng)[J]. 農(nóng)業(yè)工程，2018，8（10）：31-34.

[18]宋曉倩，張學藝，張春梅，等. 基于深度遷移學習的釀酒葡萄種植信息提取[J]. 江蘇農(nóng)業(yè)學報，2020，36（3）：689-693.

[19]謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學習的菠菜新鮮度檢測[J]. 農(nóng)業(yè)工程學報，2019，35（13）：277-284.

[20]Ma J C，Du K M，Zheng F X，et al. A recognition method for cucumber diseases using leaf symptom images based on deep convolutional neural network[J]. Computers and Electronics in Agriculture，2018，154：18-24.

[21]吳 茜. 基于圖像處理技術的棉花發(fā)育期自動觀測研究[D]. 武漢：華中科技大學，2013.

[22]余正泓. 基于圖像的玉米發(fā)育期自動觀測技術研究[D]. 武漢：華中科技大學，2014.

[23]吳蘭蘭. 基于數(shù)字圖像處理的玉米苗期田間雜草的識別研究[D]. 武漢：華中農(nóng)業(yè)大學，2010.

[24]Hinton G ，Vinyals O，Dean J. Distilling the knowledge in a neural network[EB/OL]. （2015-03-09）[2021-03-21]. https：//arxiv.org/pdf/1503.02531.pdf.

[25]Soudani A，Barhoumi W. An image-based segmentation recommender using crowdsourcing and transfer learning for skin lesion extraction[J]. Expert Systems with Applications，2019，118：400-410.

[26]Sandler M，Howard A，Zhu M L，et al. MobileNetV2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City，2018.

[27]Protas ，Bratti J D，Gaya J F O，et al. Visualization methods for image transformation convolutional neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems，2019，30（7）：2231-2243.