基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理技術(shù)在藍莓種植中的應(yīng)用進展

吳立東 夏金安* 朱元宏 陳晨 喬克成 曹福深 潘俊杰

（1 上海工程技術(shù)大學數(shù)理與統(tǒng)計學院，上海 201620；2 上海青浦現(xiàn)代農(nóng)業(yè)園區(qū)發(fā)展有限公司，上海 201702）*為通信作者

藍莓是一種高效的經(jīng)濟作物，在我國多地均有種植，我國藍莓年產(chǎn)量可達4.74×105t，是當前全球藍莓鮮果產(chǎn)量最大的國家[1]。近年來，雖然我國在傳統(tǒng)農(nóng)業(yè)方面開始了智能化升級與更新，但是藍莓產(chǎn)業(yè)的信息化應(yīng)用不多，這在一定程度上限制了藍莓產(chǎn)業(yè)的發(fā)展與藍莓產(chǎn)品國際市場競爭力的提升[2]，故亟須探索科學有效的藍莓產(chǎn)業(yè)升級途徑。

在信息化領(lǐng)域，20 世紀60 年代，HUBEL 等[3]從動物實驗中獲得靈感，初步創(chuàng)建了視覺皮層的地圖，但在隨后的幾十年，均未實現(xiàn)技術(shù)突破，直到LECUN 等[4]將BP 算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓練，才獲得了第一個真正意義上的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）。早期的卷積神經(jīng)網(wǎng)絡(luò)的識別效果較差，網(wǎng)絡(luò)訓練復(fù)雜，直到KRIZHEVSKY 等[5]首次提出使用Alexnet 網(wǎng)絡(luò)進行模型訓練，這大幅改善了網(wǎng)絡(luò)表達能力。目前，卷積神經(jīng)網(wǎng)絡(luò)已成為社會各界的研究熱點，且已廣泛運用至農(nóng)作物圖像識別領(lǐng)域。因此，為實現(xiàn)我國藍莓產(chǎn)業(yè)的高產(chǎn)、高效發(fā)展，將卷積神經(jīng)網(wǎng)絡(luò)與機器視覺相結(jié)合是藍莓產(chǎn)業(yè)技術(shù)升級的一個重要方向。在此背景下，筆者基于卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化，針對藍莓不同生長階段，擬系統(tǒng)闡述卷積神經(jīng)網(wǎng)絡(luò)模型在藍莓圖像領(lǐng)域的研究進展與應(yīng)用現(xiàn)狀，并在探討不同技術(shù)間差異與共性的同時，論述卷積神經(jīng)網(wǎng)絡(luò)在藍莓產(chǎn)業(yè)應(yīng)用的難題與挑戰(zhàn)，以期為進一步利用宏觀成像平臺測量藍莓成熟度提供參考。

1 卷積神經(jīng)網(wǎng)絡(luò)在藍莓生長階段的應(yīng)用

近年來，隨著信息化技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)因其識別精度高等優(yōu)點受到了越來越多的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包含輸入層、卷積層（又稱濾波器）、池化層和全連通層，見圖1。通過添加多個卷積層和池化層，可加快運算并使檢測的特征更突出。

1.1 在草莓葉片病蟲害防治中的應(yīng)用

在藍莓整個生長階段，葉片病蟲害是影響藍莓產(chǎn)量和品質(zhì)的重要因素之一[6]，在一定程度上制約了藍莓產(chǎn)業(yè)的發(fā)展。據(jù)統(tǒng)計，受病蟲害的影響，全球藍莓減產(chǎn)30%左右，部分地區(qū)減產(chǎn)甚至高達70%[7]，其中，藍莓花葉病的發(fā)生尤為嚴重，可造成藍莓減產(chǎn)15%以上[8]。因此，及時發(fā)現(xiàn)草莓葉片病蟲害并判斷出病蟲害種類，對保護藍莓生長和控制病蟲害傳播至關(guān)重要。目前，國內(nèi)外利用卷積神經(jīng)網(wǎng)絡(luò)處理葉片病蟲害圖像已取得較多的研究成果，但是在藍莓領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用并不多。分析其原因是，在藍莓領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)模型容易受到較多因素的影響，且卷積神經(jīng)網(wǎng)絡(luò)模型在實際環(huán)境中的泛化能力較差。

為促進卷積神經(jīng)網(wǎng)絡(luò)模型在藍莓葉片病蟲害防治中的應(yīng)用，研究者進行了相關(guān)研究：針對傳統(tǒng)圖像識別在復(fù)雜環(huán)境中定位不準確、空間復(fù)雜度高等問題，WANG 等[9]提出構(gòu)建一個三線性卷積神經(jīng)網(wǎng)絡(luò)模型，使用3 個CNN 流，其中一個用于實現(xiàn)圖像識別中的區(qū)域檢測任務(wù)，另外兩個分別用于實現(xiàn)作物識別和病害特征提取任務(wù)；同時，將區(qū)域檢測和特征提取相結(jié)合，增強模型的泛化能力，測試準確率達84.11%。QU 等[10]使用MobileNet V1 結(jié)合多尺度特征提取（MSFE）模塊，改進了通道注意機制的特征濾波模塊FFM，改善了模型分類能力，測試準確率為99.33%，比MobileNet V1 的測試準確率提高了3.17%。Francis等[11]提出一種具有4個卷積層和2 個全連接層的小型卷積神經(jīng)網(wǎng)絡(luò)，該小型卷積神經(jīng)網(wǎng)絡(luò)在訓練過程中取得了可靠的識別精度，為構(gòu)建集成化模型提供了思路。隨著深度卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，研究人員根據(jù)識別階段的不同，將算法分為兩類，一類是基于候選框的雙階段目標檢測算法[12]，如Faster R-CNN、R-CNN、R-FCN等，能夠提取目標的高維特征，這類算法雖然精度較高，但是速度較慢，適用于高精度的農(nóng)作物病害檢測；另一類是基于回歸的單階段目標檢測算法[13]，如YOLO、SSD 等，這類算法雖然速度快，但是精度較低，不適合復(fù)雜背景的圖像。遷移學習是藍莓葉片病害圖像識別的重要方法，該網(wǎng)絡(luò)模型依托大數(shù)據(jù)集作為載體，通過預(yù)訓練后，可實現(xiàn)同類圖像的高精度分類[14]。謝圣橋等[15]基于遷移學習和數(shù)據(jù)增強技術(shù)，在ResNet 50 模型的基礎(chǔ)上，使用亮度變換、旋轉(zhuǎn)、添加高斯噪聲等手段，擴充數(shù)據(jù)集，避免模型過擬合，試驗的識別準確率均在96%以上，實現(xiàn)了葉部病害圖像的精準分類。綜合以上研究結(jié)果可看出，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，其訓練結(jié)構(gòu)越來越復(fù)雜，其精確性和效率也越來越好。因此，在卷積神經(jīng)網(wǎng)絡(luò)模型在藍莓葉片病蟲害防治的實際應(yīng)用過程中，可根據(jù)實際需求選擇合適的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在滿足各項檢測指標的同時，提高模型速度與精度。同時，運用遷移學習能對現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)進行進一步的結(jié)構(gòu)優(yōu)化，改善預(yù)訓練的參數(shù)問題，從而提升現(xiàn)有技術(shù)對特定問題的處理能力。

1.2 在藍莓果園雜草監(jiān)測中的應(yīng)用

藍莓果園的雜草監(jiān)測是發(fā)展智能化果園的新方向。研究發(fā)現(xiàn)，藍莓是多年生根莖植物，故藍莓不可耕作和輪作[16-17]，再加上藍莓果園的人工除草成本高昂，故為保障藍莓的健康生長，藍莓果園需實施水肥藥智能化管理，實現(xiàn)智能化點對點噴灑農(nóng)藥除雜。相關(guān)調(diào)查表明，有211種雜草可在藍莓田中生長，雜草種類包括多年生草本蕨類（89 種）、多年生木本類（50 種）、一年生闊葉雜草（24 種）、多年生禾本科雜草（20 種）以及其他種類。

為促進卷積神經(jīng)網(wǎng)絡(luò)模型在藍莓果園雜草監(jiān)測中的應(yīng)用，研究者進行了相關(guān)研究：ESAU 等[18]研究開發(fā)了一種基于綠色分割的斑點識別系統(tǒng)，用來檢測藍莓田地中的雜草，并應(yīng)用于農(nóng)用化學品噴霧器，實現(xiàn)了精準施藥，與普通噴霧器相比，添加該系統(tǒng)的噴霧器可減少44.5%的農(nóng)藥用量，但是該系統(tǒng)的缺點是無法區(qū)分同一種顏色的不同雜草。HENNESSY 等[19]在T.J.ESAU 等的基礎(chǔ)上，采用YOLOv3 微型卷積神經(jīng)網(wǎng)絡(luò)對藍莓果園拍攝的兩種雜草圖像進行了訓練，通過優(yōu)化相機和目標的檢測精度，使拍攝的圖像產(chǎn)生的F1 分數(shù)高達0.97，從而優(yōu)化了小目標檢測性能，這對低功耗的雜草目標檢測具有一定的參考價值。MATHIEU 等[20]提出了一種新的除草策略，該方法通過在多光譜無人機圖像上集成多分辨率分割，將藍莓果園分為具有相似光譜特征的片段，并對表現(xiàn)最好的片段進行分類和測試，結(jié)果顯示，兩個調(diào)查區(qū)域的Kappa 系數(shù)值分別為0.90 和0.94，總體準確率分別為95%和97%；同時，MATHIEU 等將航空圖像與粒狀除草劑噴灑器結(jié)合，為藍莓果園的智能建設(shè)提供了新方法。綜合以上研究結(jié)果可看出，集成多分辨率分割方法有助于去除背景、檢測復(fù)雜的雜草目標；同時，將其集成到廣泛運用的農(nóng)業(yè)設(shè)備導(dǎo)航系統(tǒng)中，可在更大范圍內(nèi)改進藍莓果園雜草檢測處理流程的同時，進一步改善藍莓生長環(huán)境，提高藍莓品質(zhì)。

1.3 在藍莓果實成熟度識別中的應(yīng)用

藍莓果實成熟高峰期只有短短幾天，隨著果實的成熟，漿果會從綠色變?yōu)榉凵僮優(yōu)榧t色，最后變成藍色或黑色[21]。在機械化采摘時，藍莓果實成熟度的測定是收獲的關(guān)鍵步驟，采收過熟的藍莓果實會增加漿果軟化的風險，然而傳統(tǒng)的目視判斷往往費時費力。

為促進卷積神經(jīng)網(wǎng)絡(luò)模型在藍莓果實成熟度識別中的應(yīng)用，研究者進行了相關(guān)研究：古文君[22]運用RGB、HSV、Lab 模型提取顏色特征值，分別構(gòu)建了PLS、BP、SVM 分類模型，判別分析藍莓果實成熟度，其中，根據(jù)RGB 顏色特征建立的BP 分類判別模型的性能最好，綜合判別準確率為78.89%。針對藍莓果實成熟度難以識別的問題，朱旭等[23]通過改進Faster R-CNN 算法，設(shè)計了一個可對不同成熟度的藍莓果實進行精準識別分類的模型，該模型采用WOA 算法優(yōu)化訓練參數(shù)后，可將原始圖像的特征進行提取，并將特征圖與RPN 網(wǎng)絡(luò)以及目標區(qū)域的池化網(wǎng)絡(luò)進行共享，實現(xiàn)了藍莓圖像背景的有效消除，對藍莓果實的成熟度識別準確率達94.67%，比DPM 算法高20.00% 左右，F(xiàn)aster R-CNN 模型結(jié)構(gòu)及藍莓果實的識別過程見圖2。王立舒等[24]采用一種帶有注意力模塊的目標檢測網(wǎng)絡(luò)（I-YOLOv4-Tiny），有效解決了藍莓果實圖像背景復(fù)雜等問題，即在YOLOv4-Tiny 的特征金字塔中加入卷積注意力模塊后，根據(jù)每個通道的特征進行權(quán)重分配，從而加強了網(wǎng)絡(luò)結(jié)構(gòu)深層信息的傳遞，I-YOLOv4-Tiny 在遮擋與光照不均等復(fù)雜場景中，平均精度達96.24%，平均檢測時間為5.723 MS，滿足了藍莓果實成熟度識別的精度與速度需求。針對藍莓果實目標較小、識別難度較大等問題，CRAIG 等[25]基于深入學習卷積神經(jīng)網(wǎng)絡(luò)模型，開發(fā)了6 個用于檢測藍莓果實成熟期的網(wǎng)絡(luò)模型（即YOLOv3 、YOLOv3-SPP、YOLOv3-Tiny、YOLOv4、YOLOv4-Small、YOLOv4-Tiny），并設(shè)計了3 類模型（綠色漿果、紅色漿果、藍色漿果）的漿果識別系統(tǒng)，測試結(jié)果見表1。由表1 可看出，YOLOv4和YOLOv4-Small 的檢測效果最佳，其mAP50 分別為79.79%和79.53%，但是，所有網(wǎng)絡(luò)模型中與紅色漿果相關(guān)的均得到較低的分數(shù)。為提高模型的可靠性，CRAIG 等隨后將紅色和綠色合并為一個類別（未成熟的漿果），結(jié)果表明，未成熟漿果的mAP50 優(yōu)于單獨分析3 類模型的漿果，合并后的2類模型測試結(jié)果見表2。比較表1和表2的結(jié)果可看出，用YOLOv4 訓練的2 類模型的準確性和精確度表現(xiàn)較好，其中，3 類模型（綠色漿果、紅色漿果、藍色漿果）的mAP50 為79.79%，2 類模型（成熟漿果、未成熟漿果）的mAP50 為88.12%，說明2類模型在mAP50 方面有較大改善。該研究結(jié)果為部署藍莓成熟度相關(guān)檢測軟件提供了基礎(chǔ)。

圖2 Faster R-CNN 模型結(jié)構(gòu)及藍莓果實的識別過程

表1 3 類YOLO 模型mAP50 的平均精度統(tǒng)計

表2 2 類YOLO 模型mAP50 的平均精度統(tǒng)計

2 結(jié)論與討論

近年來，在藍莓的葉片病蟲害識別、果園雜草監(jiān)測和果實成熟度識別等領(lǐng)域，利用卷積神經(jīng)網(wǎng)絡(luò)進行了技術(shù)革新，且卷積神經(jīng)網(wǎng)絡(luò)與藍莓產(chǎn)業(yè)發(fā)展有較高的契合度。但是，目前在上述領(lǐng)域中基于卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究仍面臨較多的困難和挑戰(zhàn)。

針對圖像檢測的重要研究領(lǐng)域需構(gòu)建更大的數(shù)據(jù)集、更合理的樣本預(yù)處理方式以及更有效的數(shù)據(jù)增強策略，筆者通過對比文中部分分類模型的優(yōu)缺點，認為可從以下3 個方面探討解決思路：（1）組建公共開源的大型樣本數(shù)據(jù)集供研究人員使用，彌補圖像資源不足等問題。（2）訓練更科學的非線性函數(shù)神經(jīng)網(wǎng)絡(luò)，優(yōu)化相關(guān)預(yù)處理方式使訓練的模型更具代表性。（3）從有限的資源中提取更多信息，實現(xiàn)小樣本的數(shù)據(jù)增強策略。

雖然卷積神經(jīng)網(wǎng)絡(luò)在藍莓圖像相關(guān)領(lǐng)域的優(yōu)勢與挑戰(zhàn)并存，但是這并不影響卷積神經(jīng)網(wǎng)絡(luò)在該領(lǐng)域的進一步應(yīng)用與發(fā)展。筆者通過對比文中不同模型的優(yōu)缺點，提出以下建議：（1）數(shù)據(jù)增強。已有的研究表明，圖像識別所需的數(shù)據(jù)集并不完整，在缺乏所需的大數(shù)據(jù)集情況下，數(shù)據(jù)增強可大幅改善模型的識別能力。傳統(tǒng)的數(shù)據(jù)增強方式一般是對圖像進行平移、裁剪以及翻轉(zhuǎn)等處理，現(xiàn)階段由于缺乏病害區(qū)域的圖像自動生成技術(shù)，故大多采用遷移學習等方式人工生成更多的訓練圖像，從而增強復(fù)雜背景下模型的泛化能力。（2）圖像分割。圖片背景、光照、遮擋等因素嚴重影響了圖像的準確識別，而傳統(tǒng)的機器視覺無法從復(fù)雜的背景下提取到所需的圖像特征，若能設(shè)計出一個可靠的圖像分割技術(shù)來分割背景與目標，就能解決因背景相近無法識別的問題，從而有效提高模型的識別精度。（3）算法精度。算法精度越高，越能識別出無法注意到的細微差異。目前，大多研究是通過遷移學習、增加層數(shù)以及增加訓練輪次來增強模型的學習能力，然而減少圖片的顏色通道也可達到同樣的效果，若模型中的顏色是次要因素，可以考慮通過HSV 和Lab 來提高算法精度。（4）相似特征。當需要識別的圖像特征在視覺上高度相似時，可通過對圖像的紋理、形狀和空間關(guān)系等特征進行識別，并采用直方圖等方式進行對比，例如利用平均哈希算法(aHash)和感知哈希算法(pHash)，可以有效地對相似特征進行區(qū)分。但是，目前這種相似特征的識別過程在藍莓產(chǎn)業(yè)還未見報道。

3 結(jié)束語

隨著信息化時代的到來，計算機的應(yīng)用范圍越來越廣泛，就目前來說，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的圖像處理技術(shù)在農(nóng)業(yè)信息化發(fā)展過程中取得了較大突破，大大提高了藍莓產(chǎn)業(yè)的經(jīng)濟效益。為促進卷積神經(jīng)網(wǎng)絡(luò)在藍莓產(chǎn)業(yè)的進一步應(yīng)用，需實施以下措施：（1）快速定位植株病害的范圍。未來可建設(shè)更多的藍莓研究基地，彌補現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在該產(chǎn)業(yè)的應(yīng)用數(shù)據(jù)集匱乏的難題，做到快速定位病害植株的區(qū)域，并探索出更多高效的數(shù)據(jù)處理方法，實現(xiàn)在育種、補給以及運輸?shù)阮I(lǐng)域的突破，從而實現(xiàn)全產(chǎn)業(yè)的技術(shù)革新。（2）實現(xiàn)產(chǎn)業(yè)鏈信息的智能化融合管理。目前的圖像處理功能單一、模塊間信息不互通，下一步的研究可以綜合其他智能技術(shù)進行全產(chǎn)業(yè)領(lǐng)域多源信息融合，提升模型的綜合能力。（3）兼顧軟硬件的協(xié)調(diào)發(fā)展，實現(xiàn)設(shè)備的集成化和小型化應(yīng)用。云端的大數(shù)據(jù)集訓練和評估，測試圖像中數(shù)據(jù)的視角、規(guī)模、清晰度、尺寸、相機屬性配置等均需要更強大的計算資源，故如能嘗試全數(shù)據(jù)鏈融合，將對設(shè)備的小型集成化產(chǎn)生重大影響。