基于RetinaNet的紅棗果實分類檢測研究

郭新東,鄧玄齡,孫 瑜

(山西農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院,山西晉中 030800)

紅棗具有優(yōu)良營養(yǎng)價值、藥用價值和經(jīng)濟價值,目前種植面積接近蘋果和柑橘的果樹,但是棗的采收期短且較為集中,僅發(fā)育20 d左右,棗的機械化采摘可以解決人工采摘效率低、勞動強度大的問題[1-2]。機器視覺系統(tǒng)是農(nóng)業(yè)采摘機器人的重要組成部分,包括目標(biāo)圖像的采集、定位、檢測等。傳統(tǒng)的圖像檢測算法主要基于顏色、形狀、紋理等能夠突出目標(biāo)種類和成熟度的特征[3-4],但是特征描述局限于自然環(huán)境條件和人的主觀判斷等因素,算法識別魯棒性和泛化性不強。紅外光譜和高光譜成像技術(shù)[5]由于成本較高使其無法在紅棗檢測等農(nóng)業(yè)領(lǐng)域得到應(yīng)用。深度學(xué)習(xí)在作物圖像分類[6-7]、圖像分割[8-10]、圖像檢測[11-12]等相關(guān)領(lǐng)域已獲得廣泛的應(yīng)用?；趫D像的目標(biāo)檢測算法應(yīng)用中,王昱潭等[13]提出基于雙損失函數(shù)的Faster R-CNN模型對靈武長棗圖像進行檢驗測試;劉天真等[14]提出YOLOv3-SE模型進行自然場景下的冬棗檢測;王昱潭等[15]在不加載預(yù)訓(xùn)練模型的情況下,提出一種改進SSD模型實現(xiàn)靈武長棗圖像的目標(biāo)檢測任務(wù)。

以上基于深度學(xué)習(xí)的紅棗研究多是棗類表面缺陷檢測,或是某單一種類(靈武長棗/冬棗等)研究,并且訓(xùn)練過程中極端的前景-背景類不平衡,令YOLO等模型在多尺度小目標(biāo)檢測上準(zhǔn)確率不高。姚青等[16]改進 RetinaNet的水稻冠層害蟲為害狀自動檢測,模型平均精度均值達到 93.76%;研究人員開展了基于改進 RetinaNet的果園復(fù)雜環(huán)境下蘋果檢測。鑒于此,筆者以復(fù)雜自然環(huán)境拍攝紅棗圖像為研究對象,按照紅棗成熟度將紅棗分為4類,基于RetinaNet網(wǎng)絡(luò)訓(xùn)練紅棗成熟度分類模型,訓(xùn)練和測試模型性能,為紅棗智能化采摘機器的視覺檢測提供理論基礎(chǔ)和技術(shù)保證。

1 材料與方法

1.1 數(shù)據(jù)集制作

1.1.1數(shù)據(jù)集采集。該研究中,互聯(lián)網(wǎng)上收集不同成熟度、不同分辨率、果實重疊、葉片遮擋等自然生長環(huán)境下拍攝的紅棗數(shù)字圖像,以增加研究樣本的多樣性。原始的紅棗數(shù)據(jù)集總共包含100張圖像,部分圖像數(shù)據(jù)集如圖1所示。

圖1 不同自然環(huán)境下紅棗圖像Fig.1 The images of the jujube dataset in natural environments

1.1.2圖像預(yù)處理。將紅棗圖像尺寸歸一化為600×600像素用于模型的訓(xùn)練和測試。對數(shù)據(jù)集使用圖像增強方法,如垂直或水平翻轉(zhuǎn)、隨機裁剪、亮度調(diào)整、對比度調(diào)整和飽和度調(diào)整等來增加數(shù)據(jù)集數(shù)量,減少因圖像數(shù)量不足可能引起的過擬合,提高模型的魯棒性和泛化能力,擴充后數(shù)據(jù)集有502張圖像。

1.1.3數(shù)據(jù)集制作。使用數(shù)據(jù)集標(biāo)注工具LabelImg進行手動標(biāo)注[17],標(biāo)注紅棗類別為脆熟期(ripe)、著色期(near-ripe)、白熟期(near-raw)、幼果期(raw)4類。使用標(biāo)注工具在圖像中繪制每個紅棗邊界框,紅棗數(shù)據(jù)集采用的是VOC2007格式,LabelImg輸出的XML文件包含標(biāo)注紅棗像素標(biāo)注框坐標(biāo)和標(biāo)簽信息并存儲在Annotations文件夾下。紅棗圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集、驗證集和測試集3組,訓(xùn)練集∶驗證集∶測試集=8∶1∶1。訓(xùn)練集和驗證集分別包含412和44張圖像,46張圖像作為測試集。

1.2 RetinaNet模型構(gòu)建RetinaNet以殘差網(wǎng)絡(luò)ResNet50和特征金字塔網(wǎng)絡(luò)Feature Pyramid Networks(FPN)為骨干網(wǎng)絡(luò),使用結(jié)構(gòu)相同、參數(shù)不共享的2個子網(wǎng)絡(luò),實現(xiàn)目標(biāo)框分類和回歸邊界塊分割。ResNet網(wǎng)絡(luò)[18]在結(jié)構(gòu)中增加直連通道實現(xiàn)隔層線性傳遞,主要包括卷積殘差塊和恒等殘差塊,分別實現(xiàn)網(wǎng)絡(luò)維度轉(zhuǎn)換和網(wǎng)絡(luò)深度增加。該研究使用的RetinaNet模型以ResNet 50為骨干網(wǎng)絡(luò)進行圖片特征提取。FPN對ResNet生成的多尺度特征進行了增強,并計算卷積特征圖[19],自ResNet網(wǎng)絡(luò)結(jié)構(gòu)頂層特征上采樣之后和低層特征進行一個從上向下的連接,每一層都可用來探測不同尺度的目標(biāo)。從單一分辨率的完整紅棗圖像中有效提取出豐富、多尺度的特征金字塔。RetinaNet網(wǎng)絡(luò)訓(xùn)練時單個圖像產(chǎn)生大量候選框,用Focal Loss損失函數(shù)來均衡極端的前景-背景類不平衡[20],減小易分類樣本的權(quán)重,提高難分類樣本的權(quán)重,從而增加模型檢測精度。RetinaNet的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 RetinaNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The structure of RetinaNet

H和W表示特征圖的高和寬,C1 ～ C5表示殘差網(wǎng)絡(luò)ResNet的輸出特征層,P3 ～ P7表示5個特征金字塔輸出層特征圖。RetinaNet使用特征金字塔級別P3 ～ P7,其中P3 ～ P5是從對應(yīng)ResNet殘差階段C3 ～ C5使用自上而下和橫向連接的輸出計算出來的,P3由C3、C4和C5卷積運算求和得來,P4由C5下采樣后和C4相加所得,P5是由C5經(jīng)過3×3 步長為2卷積得來,P6是通過跨步卷積計算在C5上的3×3 步長2卷積獲得,P7是通過P6上使用3×3步長為2卷積計算出來的,提高大目標(biāo)檢測精度。P3、P4、P5、P6、P7大小分別為75×75×256、38×38×256、19×19×256、10×10×256、5×5×256,將他們傳送給目標(biāo)框回歸和分類回歸。分類回歸子網(wǎng)絡(luò)主要進行4次256通道卷積操作和1次anchors數(shù)×4 (紅棗目標(biāo)分類數(shù))的卷積操作,存放所有基于anchors的檢測框的分類信息。目標(biāo)框回歸子網(wǎng)絡(luò)主要進行4次256通道的卷積操作和1次anchors數(shù)×4的卷積操作。RetinaNet解碼過程即將先驗框與分類超過置信度閾值的分數(shù)羅列出來,再對框的位置和分類得分進行非極大抑制篩選,得到最終預(yù)測框信息。

1.3 評價指標(biāo)平均精度(average-precision, AP)、平均精度均值(mean average-precision, mAP)、F1 Score、Loss用于評價基于RetinaNet的紅棗檢測模型的有效性[21]。

平均精度(AP)表示P-R曲線與坐標(biāo)軸組成的封閉曲線下的面積,分類器的性能和AP值呈正相關(guān)。

(1)

(2)

(3)

式中:P(precision)為準(zhǔn)確率,表示預(yù)測框中檢測正確數(shù);R(Recall)為召回率,表示正確檢測出的正樣本在所有正樣本中比例;TP (true positive)是預(yù)測為正樣本且實際也為正樣本;FP (false positive)是預(yù)測為正樣本但實際為負樣本;FN (false negative)表示預(yù)測為負樣本但實際為正樣本。P-R曲線是以P為縱坐標(biāo),R為橫坐標(biāo)組成的曲線。當(dāng)R越大同時P也能保持較高水準(zhǔn)時,模型的計算結(jié)果比較好。

平均精度均值(mAP)表示在同一RetinaNet模型下紅棗4種分類AP的平均值。

(4)

式中:A表示紅棗4種類別數(shù);AP(a)為第a類目標(biāo)的AP值。mAP值越大,模型分類效果越好。

F1 Score是指精確率與召回率的調(diào)和平均數(shù),取值范圍從0到1,取值越大代表模型結(jié)果越好。計算公式如下:

(5)

Loss損失值的大小用于判斷是否收斂。

1.4 試驗平臺及參數(shù)network initialization試驗采用Pytorch搭建了深度學(xué)習(xí)框架,編譯環(huán)境為Python3.7。其中計算機處理器為Intel(R)Core(M)i7-8750H,主頻2.20 GHz,內(nèi)存8 GB,顯卡為NVIDIA GeForce 1050Ti,顯存為4 G來進行加速訓(xùn)練。

1.5 模型訓(xùn)練ResNet-50-FPN主干網(wǎng)和600像素的圖像進行訓(xùn)練,模型訓(xùn)練先初始化網(wǎng)絡(luò),然后利用Adam為優(yōu)化器來優(yōu)化參數(shù)。由于數(shù)據(jù)集較小,模型訓(xùn)練使用遷移學(xué)習(xí),將訓(xùn)練分為凍結(jié)階段和解凍階段[22]?？紤]到電腦硬件的有限,學(xué)習(xí)率設(shè)置為0.000 1,權(quán)重衰減設(shè)置為0,用于計算梯度的平均和平方系數(shù)betas=(0.9,0.999)。利用ResNet50網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重參與訓(xùn)練,凍結(jié)階段訓(xùn)練50期,批處理尺寸設(shè)置為4,解凍階段訓(xùn)練150期,批處理尺寸設(shè)置為2?？傆?xùn)練時長約為8 h。

默認置信度為0.5,非極大抑制(intersection over union, IoU)值為0.3,只有置信度大于0.5且IoU小于0.3的對象框才會保存下來。RetinaNet的Focal Loss損失機制通過不斷的迭代訓(xùn)練,快速降低損失值得到穩(wěn)定的檢測結(jié)果。由訓(xùn)練日志中的損失值數(shù)據(jù)繪制出損失值曲線,由圖3可知,驗證損失(val loss)低于訓(xùn)練損失(train loss),訓(xùn)練集損失和驗證集損失有收斂的趨勢,損失值波動較大,對其進行平滑處理。驗證集損失在訓(xùn)練160期后基本上保持在0.220左右不改變,說明模型基本上收斂。

圖3 訓(xùn)練集和驗證集損失函數(shù)收斂曲線Fig.3 Convergent curve of train loss function and val loss function

2 結(jié)果與分析

使用RerinaNet和紅棗數(shù)據(jù)集測試模型的有效性,紅棗果實成熟度分類檢驗測試結(jié)果如表1所示。紅棗脆熟期、著色期、白熟期、幼果期果實檢測平均精度AP分別為84.19%、68.76%、67.55%、76.44%。模型平均精度均值mAP為74.235%。著色期、白熟期、幼果期預(yù)測結(jié)果差的原因一是由于果實主要顏色綠色部分,樹葉的重合或遮擋影響模型對成熟度的判定,二是在標(biāo)注數(shù)據(jù)集時3個時期紅棗的標(biāo)注可能由于人的主觀模糊性引起分類不準(zhǔn)確,后續(xù)進行數(shù)據(jù)集的更新以取得更好的檢測效果。

將訓(xùn)練好的模型在紅棗測試集上進行測試,部分檢測結(jié)果如圖4所示。從圖4可以看出,對于復(fù)雜自然環(huán)境下,如有遮擋和陰影、重疊和暗光、多目標(biāo)和重疊、光照和陰影、模糊和遮擋、模糊和暗光等自然生長環(huán)境下采集的紅棗圖片,基于RetinaNet的檢測模型基本可以測出紅棗目標(biāo)并按照類對紅棗進行檢測分類,基本滿足農(nóng)業(yè)采摘機器人的應(yīng)用要求。但對于紅棗尺寸本身較小且在復(fù)雜生長環(huán)境下水果局部遮擋、果實重疊等果實在檢測時,由于可檢測部分尺寸較小出現(xiàn)了漏檢或錯檢,需要進一步優(yōu)化模型,增加模型多尺度檢測能力。

圖4 不同環(huán)境中檢測結(jié)果Fig.4 Detection results of fruits under different environments

3 結(jié)論

該研究針對不同成熟度紅棗圖像中多尺度紅棗目標(biāo)檢測問題,以自然場景下獲取的紅棗圖像為研究對象,提出了一種基于RetianNet的檢測模型。該研究使用復(fù)雜自然環(huán)境包含多種遮擋、重疊等類型的紅棗圖像作為數(shù)據(jù)集,對RetinaNet進行訓(xùn)練和測試。試驗結(jié)果表明,該研究提出的RetinaNet對自然環(huán)境下的紅棗果實能夠?qū)崿F(xiàn)較好檢測結(jié)果,對脆熟期 (ripe)、著色期 (near-ripe) 和幼果期 (raw)檢測平均精度值分別為84.19%、68.76%、67.55%、76.44%,平均精度均值達到74.235%,基本滿足農(nóng)業(yè)應(yīng)用中采摘機器人的精度要求。因此,可進一步擴充數(shù)據(jù)集樣本數(shù),在制作數(shù)據(jù)集標(biāo)簽時,分類更加精確,對RetinaNet做一定的優(yōu)化改進提高模型識別率。