基于改進YOLOv5s的日光溫室黃瓜霜霉病孢子囊檢測計數方法*

李明，丁智歡，趙靖暄，陳思銘，李文勇，楊信廷

(1. 廣西大學計算機與電子信息學院,南寧市,530004; 2. 北京市農林科學院信息技術研究中心/國家農業(yè)信息化工程技術研究中心/農產品質量安全追溯技術及應用國家工程研究中心/中國氣象局—農業(yè)農村部都市農業(yè)氣象服務中心,北京市,100097)

0 引言

黃瓜霜霉病由古巴假霜霉菌(Pseudoperonosporacubensis)侵染引起,是導致黃瓜減產甚至絕收的三大病害之一[1-2]。在溫室內,溫暖濕潤的環(huán)境極利于黃瓜霜霉病孢子囊的繁衍,而病原孢子囊的數量與病害的發(fā)生和流行密不可分,所以監(jiān)測黃瓜霜霉病的孢子囊數量顯得尤為重要[3]。傳統(tǒng)的孢子囊數量統(tǒng)計主要通過顯微鏡下的人工目測方法,由于捕捉到的孢子囊數量巨大,導致這種方法操作時間長、速度慢、成本高、人工勞動量大,不能及時地反映病害發(fā)生程度,容易造成病情延誤。

隨著計算機視覺技術的發(fā)展,國內外學者在病原的檢測方面取得了一定的進展[4-5]。齊龍等[6]利用模糊C均值算法確定閾值的Canny算子對稻瘟病孢子顯微圖像進行邊緣檢測,再根據二值化后的孢子圖像形態(tài)特征進行分類,孢子檢測的平均準確率達到98.5%。王震等[7]提出一種基于梯度方向直方圖特征(HOG特征)的加性交叉核支持向量機(IKSVM)的稻瘟病孢子檢測方法,檢測率可達98.2%。上述研究都是基于傳統(tǒng)的機器視覺方法,需先對孢子的圖像特征進行提取,過程較繁瑣。

隨著深度學習的不斷發(fā)展,基于深度學習的孢子檢測方法得到關注。Liang等[8]在U-Net網絡中增加金字塔池化模塊以提取不同池化尺寸的特征,以對小麥白粉病孢子圖像進行分割,改進后的U-Net網絡分割率達到91.4%。雷雨等[9]基于小麥條銹病夏孢子的形態(tài)特征,將原始用于CenterNet訓練的目標長寬改進為目標的橢圓框長短軸長度和角度,并使用長短軸映射矩形來計算橢圓框熱圖的高斯核半徑,以減少孢子的漏檢率,識別精確率達到98.77%。Zhang等[10]使用Faster R-CNN對掃描電子顯微鏡下獲得的5種不同曲霉孢子進行分類識別,識別準確率達到85%。

目前使用深度學習方法檢測卵菌孢子的研究較少,所檢測的孢子多為實驗室培育,孢子圖像采集于干凈的載玻片或血細胞計數板;而孢子采集設備多放于野外或溫室內,所采集的圖像中孢子分布密集、粘連堆疊并有雜質干擾,因此上述方法如果直接用于孢子捕捉設備采集的孢子圖像的檢測,效果可能不佳。

YOLO系列算法是一種兼顧速度和精度的單階段檢測算法,已被廣泛應用于農業(yè)相關領域[11-13]。黃少華等[14]使用注意力機制和空間金字塔池化模塊改進YOLOv5網絡,實現(xiàn)了茶葉雜質的檢測。蘇斐等[15]使用輕量級網絡MobilenetV1替換YOLOv3算法的主干特征提取網絡,實現(xiàn)了對綠熟期番茄的實時檢測。Shi等[16]削減YOLO算法的通道數和層數,提出了一種輕量級可用于移動設備的芒果檢測模型。張兆國等[17]使用MobileNetV3和輕量級注意力機制改進YOLOv4網絡,實現(xiàn)了復雜環(huán)境下收獲過程中馬鈴薯的檢測。上述研究可知,YOLO系列算法具有良好的靈活性,可以改進某些部分以滿足特定檢測需求。

本文面向孢子捕捉設備的研發(fā)需求,針對所采集到的黃瓜霜霉病孢子囊圖像中孢子囊密集、粘連、背景復雜的特點,對YOLOv5s網絡進行如下改進:加入注意力機制的Ghost卷積替代CSP結構;改進特征融合網絡并添加更細粒度的網絡;賦予預測頭不同權重并用DIoU_NMS代替NMS。通過與YOLOv3、SSD、Faster RCNN和原YOLOv5s網絡的對比,評估模型的性能。

1 孢子囊捕捉設備與數據集

1.1 黃瓜霜霉病孢子囊自動捕捉設備

本文使用課題組自研的孢子囊捕捉設備對黃瓜霜霉病孢子囊進行捕捉,試驗地點為北京市小湯山國家精準農業(yè)研究示范基地。捕捉設備的拍照箱中的顯微鏡可自動對焦,以對孢子囊進行拍攝,設備自上而下分別是太陽能板、抽風裝置、拍照箱,設備及拍照箱內部結構如圖1所示。

(a) 孢子囊捕捉設備

(b) 拍照箱

設備工作原理如下:抽風裝置以10 L/min的速度將空氣抽入設備,并在12 V低壓排風扇的工作下將空氣送入進風口。進風口正下方有2.5 cm寬的粘性膠帶,纏繞在兩個滾輪上,由步進電機驅動的滾輪可以在單片機控制下精準滾動25 cm,將進風口處的膠帶傳輸到顯微鏡下方。該顯微鏡為研究級數字顯微鏡,配備了可調節(jié)電源以滿足拍攝時對穩(wěn)定光源的需求。單片機設定每隔1 h驅動電機1次,并對傳入顯微鏡下的條帶進行拍照,然后通過移動網絡傳輸圖片至服務器,實現(xiàn)無線遠程監(jiān)測。

1.2 黃瓜霜霉病孢子囊數據集

本文使用孢子囊捕捉設備采集的黃瓜霜霉病孢子圖像有以下特點:密集,霜霉病病原往往在一個較短的時間內大量繁殖,導致圖像中的孢子囊分布密集,如圖2(a)所示;粘連堆疊,由于數量過多,孢子囊在粘附過程中往往出現(xiàn)粘連、疊加的情況,如圖2(b)所示;背景復雜,設備鼓風過程中容易將空氣中的灰塵等雜質吸入,或是孢子囊破裂,其中的細胞物質散落,使得圖像背景變得復雜,如圖2(c)所示。

(a) 密集

(b) 粘連堆疊

(c) 背景復雜

本文選取了服務器中的500張黃瓜霜霉病孢子囊圖片,并通過上下反轉、水平鏡像、亮度變化和隨機對比度等數據增強方法將數據集擴充到2 000張。接著,使用LabelImg軟件對所有圖像進行標注,生成對應的XML文件,形成最終的數據集。最后,將數據集按照8∶2的比例劃分為訓練集和驗證集。

2 YOLOv5算法與改進

2.1 YOLOv5檢測算法

YOLOv5檢測算法由主干層、頸部層和輸出層組成。其中,主干層包含了Focus、CBS(Convolution、Batch Normalization和Silu)、CSP(Cross Stage Partial)[18]和SPP(Spatial Pyramid Pooling)[19]等模塊。Focus模塊將輸入的圖像進行切片,并在通道維度上再拼接,以減少運算參數,提高訓練速度[20-21]。CBS模塊是YOLOv5網絡的基本卷積模塊,它依次對輸入的數據進行卷積、批歸一化和激活函數的操作。CSP模塊由CBS和殘差結構組成,輸入的數據首先通過CBS進行特征提取,再與原始數據拼接,以增強網絡的特征學習能力。SPP將不同大小的特征圖轉換成相同大小并進行拼接,提高了網絡的感受野,使得網絡能夠對不同大小的目標進行檢測。

頸部層是由FPN網絡(Feature Pyramid Network)和PAN網絡(Path Aggregation Network)構成的特征融合網絡[22-23]。FPN網絡通過自頂向下進行上采樣,將底層特征圖與高層特征圖融合,使得底層特征圖包含更強的語義信息,提高網絡對目標的感知能力。PAN網絡則通過自底向上進行下采樣,將高層特征圖與低層特征圖進行融合,使得頂層特征包含更強的位置信息,增強網絡的空間分辨率[24-25]。特征融合網絡通過將不同層級的網絡進行融合,提高了網絡對輸入數據的表達能力。

輸出層為3個不同大小的YOLO預測頭,用于接收頸部層的輸出特征圖并生成YOLOv5算法的輸出。

2.2 YOLOv5s算法的改進

YOLOv5s算法不同版本的區(qū)別僅在于網絡的深度和寬度,本文針對孢子囊自動捕捉設備的研發(fā)需要和數據集中孢子囊密集、粘連和背景復雜的特點,對YOLOv5s算法進行如下改進。

1) 使用加入CBAM注意力機制的Ghost模塊替代CSP模塊,以提高模型計算速度并抑制圖片的雜質等背景信息。

2) 修改特征融合網絡的連接方式并使用更細粒度的網絡,以輸出更高分辨率的特征圖對密集、粘連的目標孢子囊進行檢測。

3) 對不同檢測頭輸出的損失值賦予不同的權重,以引導網絡訓練,并使用DIoU_NMS非極大值抑制方法代替原來的NMS方法,提高檢測性能。

改進后的YOLOv5s模型如圖3所示。

圖3 改進的YOLOv5s結構

2.2.1 加入CBAM注意力機制的Ghost模塊

Ghost卷積是Han等[26]提出的一種輕量化的卷積模塊,它能用較少的參數產生豐富的特征圖。Ghost卷積將卷積過程分為兩部分,首先使用普通卷積來生成部分主干卷積,然后再對主干卷積使用低計算量線性運算以生成Ghost卷積,主干卷積與Ghost卷積拼接即得到完整的輸出特征圖。Han指出Ghost卷積可以讓卷積的理論體積和理論計算量都縮小為原來的1/s(s表示輸出特征圖數量與線性運算特征圖數量的比值)。

注意力機制是一種模仿人類視覺的機制,目的是將計算資源分配給更重要的任務,并解決信息超載的問題。在圖像檢測任務中引入注意力機制,有利于聚焦于目標區(qū)域,抑制背景信息。Woo等[27]提出的CBAM注意力機制是一種輕量級的注意力機制,可以靈活的嵌入任何卷積塊,它由通道注意力模塊CAM(Channel Attention Module)和空間注意力模塊SAM(Spatial Attention Moduel)組成。

CAM首先對輸入特征圖分別進行最大池化和平均池化,壓縮冗余空間,生成兩個不同空間上的1×1×C大小的特征圖,然后送入一個共享權重的神經網絡,對特征圖進行先壓縮再擴充處理,并保持通道數C不變,接著對兩個特征圖進行相加操作并送入sigmoid函數生成最終的通道注意力特征圖。CAM計算公式如式(1)所示。

(1)

式中:MC——通道注意力特征圖;

σ——sigmod函數;

W0、W1——共享感知機;

SAM主要關注特征圖像在空間維度上的信息,為了適應不同位置之間的重要性差異,SAM學習每個空間位置的權重,并通過自適應縮放空間來實現(xiàn)特征圖像的調整。SAM以CAM的輸出為輸入,依次通過最大池化層和平均池化層來對信息進行聚合,然后將這個特征圖的深度進行擴展,最終通過7×7的標準卷積將其降維為一個通道,生成最終的空間注意力特征圖。

SAM計算公式如式(2)所示。

(2)

式中:MS——空間注意力特征圖;

f7×7——7×7卷積。

本文使用加入CBAM注意力機制的Ghost卷積模塊CAGhost替換原始網絡中的CSP模塊。如圖4所示,CAGhost模塊由第一個Ghost模塊開始,分為兩個分支。其中一個分支經過深度可分離卷積,另一個分支經過深度可分離卷積、CBAM模塊和Ghost模塊,最后這兩個分支的輸出進行相加得到輸出。CAGhost模塊可以在保證產生豐富特征圖的同時,減少計算量和參數量。另外,加入的CBAM注意力模塊可以幫助抑制背景特征,提高模型的性能。

圖4 CAGhost結構

2.2.2 特征融合網絡的改進

YOLOv5s算法設計了3個不同層次的特征圖的輸出,目的是檢測復雜數據集中不同大小的目標。但顯微鏡下拍攝的黃瓜霜霉病孢子囊圖像像素低于50×50,為COCO數據集所定義的中小尺寸目標[28]。因此刪除了用于大目標物體檢測的C3與檢測頭之間的分支,并額外增加了一個C1分支與檢測頭進行連接,如圖5所示。

圖5 改進的特征融合網絡

C1輸出的特征圖來源于淺層的卷積網絡,包含豐富的目標位置信息,有利于對小目標物體的檢測。YOLO算法將圖像分為網格進行目標的預測,而黃瓜霜霉病孢子顯微圖像存在密集、粘連、體積小的情況,這代表相同網格下需要檢測的目標變多,挑戰(zhàn)了YOLO算法的極限[29-30],而C1分支的特征圖擁有更高的分辨率,能劃分為更細粒度的網格,有利于對重疊、粘連目標的檢測。

2.2.3 損失函數與極大值抑制方法的改進

如圖3所示,改進后的YOLOv5s共有3個不同大小尺度的預測結果:YOLOHead1、YOLOHead2、YOLOHead3,其輸出的特征圖大小分別為160×160、80×80、40×40,這表示一張圖像被等分為160×160、80×80、40×40個預測網格,每個網格都會根據設定的錨框對目標進行檢測。據統(tǒng)計,數據集中孢子囊的大小大多為10～50像素,因此增大YOLOHead1和YOLOHead2的損失權重,能夠引導網絡的訓練,提高網絡對小目標孢子囊的檢測精度,為此賦予3個檢測頭不同的損失權重,損失函數如式(3)所示。

(3)

式中:Lobj——總損失值;

為避免多個檢測結果重疊的情況,目標檢測算法往往需要對產生的預測框進行NMS(非極大值抑制)處理,但NMS會將重疊度超過一定閾值的低置信度預測框刪除,而在孢子囊數據集中,孢子囊會大量產生密集、堆疊的情況,因此NMS不適合用于本數據集。DIoU(Distance-Intersection over Un-ion)[31]是一種兼顧重疊度和中心點坐標的IoU計算方式,它將兩個預測框的中心點距離納入考慮,并將兩個中心點距離遠的預測框判斷為不同的物體并保留它們,這有利于密集、粘連目標的預測。使用DIoU為評分標準的非極大值抑制DIoU_NMS計算方式如式(4)所示。

(4)

式中:Si——預測框得分;

b、bgt——預測框與真實框的中心點坐標;

ε——設定的閾值;

ρ——歐幾里得距離;

c——兩預測框中心點距離。

2.3 目標檢測評價指標

目標檢測的評價指標主要為準確率(Precision,P),召回率(Recall,R),平均準確率(Average Precision,AP),計算公式如下。

(5)

(6)

(7)

式中:TP——檢測正確識別孢子囊的數量;

FP——將背景雜質識別為孢子囊的數量;

FN——將孢子囊識別為雜質的數量;

r——當前準確率下的召回率值;

AP——準確率對召回率的積分,AP值越大即可認為算法的檢測性能越好。

3 試驗結果與分析

3.1 訓練環(huán)境與結果

本試驗在WIN10系統(tǒng)下,采用Pytorch1.7.1為深度學習框架,CUDA版本為11.1.0。GPU為RTX3080,顯存為11 G,CPU為Intel Core I7-10700K,主機內存為32 G。本文使用預訓練的權重進行遷移學習訓練,使用SGD(Stochastic Gradient Descent)優(yōu)化器對權重進行優(yōu)化,初始學習率設為0.001,權重衰減系數為0.001,動量因子為0.937,批大小為8,共迭代200輪。

訓練結果如圖6所示,在前15次迭代中,模型的損失值快速下降,在約50次迭代后模型損失值趨于穩(wěn)定,并最終收斂于0.097附近,證明模型訓練結束并達到較優(yōu)的訓練結果。與原始YOLOv5s相比,改進后的YOLOv5s算法收斂速度更快且損失值更低。

圖6 訓練結果

3.2 檢測試驗對比

改進前與改進后的YOLOv5s算法檢測結果對比如圖7所示。由圖7可以看出,對于密集區(qū)域的9個目標孢子囊檢測,原始的YOLOv5s漏檢了其中的2個,而改進后的YOLOv5s算法檢測出了所有目標;對于粘連區(qū)域,原始的YOLOv5s算法將粘連的2個孢子囊錯誤地檢測為1個或漏檢,改進后的YOLOv5s算法則檢測出了粘連的目標;對于背景復雜區(qū)域,原始的YOLOv5s算法將2個形狀與孢子囊相似的黑色雜質錯誤地檢測為目標,而改進后的YOLOv5s算法則沒有出現(xiàn)這種情況。

圖7 密集、粘連和背景復雜區(qū)域檢測結果對比

整張圖片的檢測結果對比如圖8所示。圖片中孢子囊的數量為534,YOLOv5s檢測出了346個孢子囊,改進后的YOLOv5s檢測出了484個孢子囊。原始的YOLOv5s算法漏檢很大一部分孢子囊,漏檢的孢子囊大部分處于密集、粘連和圖像模糊處。改進后的YOLOv5s算法擁有更細粒度的檢測網格和更好的特征提取能力,對于密集、粘連和低像素區(qū)域的孢子囊仍能有較好的檢測效果,從而能高效地檢測出目標。

(a) YOLOv5s

(b) 改進的YOLOv5s

3.3 消融試驗

為了驗證改進策略的有效性,通過控制變量法定量地進行對比研究,結果如表1所示。

表1 消融試驗結果Tab. 1 Results of ablation experiments

由表1可知,CAGhost卷積使網絡精準率提高了0.32%,召回率提高了2.67%,平均精度提高了1.41%,速率提高了10.4幀/s,這表明Ghost卷積在產生豐富特征的同時降低了模型的參數和計算量,CBAM注意力模塊有助于抑制背景,提取關鍵信息;特征融合網絡的改進對精度的提升最多,在CAGhost的基礎上,使網絡精準率提高了0.69%,召回率提高了2.82%,平均精度提高了2.95%,這表明特征融合網絡連接方式的修改和細粒度的網格對小目標檢測的提升最大,但因為淺層的網絡卷積核數量較多,也增加了一定的計算量,使得速度有所下降;loss函數的改進使平均精度提升了0.52%。以上的消融試驗證明了本文改進策略的有效性。

3.4 不同檢測網絡對比

本文選用Faster RCNN、YOLOv3、SSD、YOLOv5s網絡與改進的YOLOv5s網絡進行對比,結果如表2所示。由表2可以看出,二階段網絡Faster RCNN在檢測精度上表現(xiàn)最佳,但其檢測速度遠遠低于一階段網絡,無法應用于嵌入式設備。在其他3種一階段網絡中,YOLOv3算法的檢測精度略高于SSD算法,但其檢測速率低于SSD算法。YOLOv5s算法是YOLOv3算法的改進版,其檢測精度和FPS分別達到86.3%和58.3幀/s,檢測精度與速度均優(yōu)于YOLOv3算法,取得了良好的檢測性能。本文提出的改進的YOLOv5s算法檢測精度和FPS分別達到91.18%和65.4幀/s,比原始的YOLOv5s算法高4.88%和7.1幀/s,同時也是一階段網絡中檢測精度和速度最高的。

4 結論

1) 針對孢子囊捕捉設備捕捉的黃瓜霜霉病孢子囊圖像存在的密集、粘連和背景復雜的問題,提出了一種改進的YOLOv5s算法,改進方法如下:加入CBAM注意力機制的Ghost卷積替代CSP結構,在保證網絡提取能力的同時,提高了速度;改進了特征融合網絡,使用更細粒度的網格對密集、粘連的小目標進行檢測;改進了損失函數,對不同的輸出特征圖賦予不同權重,并使用DIoU_NMS替代NMS。

2) 改進后的YOLOv5s檢測精度和FPS分別為91.18%和65.4幀/s,比原始的YOLOv5s算法高4.88%和7.1幀/s。改進后的YOLOv5s算法能準確檢測出密集、粘連和背景復雜區(qū)域的孢子,檢測效果明顯優(yōu)于原始的YOLOv5s算法。與常見的一階段檢測算法相比,本文所提出的算法取得了良好的檢測精度和檢測速度。相較于Faster RCNN二階段檢測算法,本文的算法的檢測精度略低,但是檢測速度遠高于Faster RCNN。