夜間環(huán)境下樹上柑橘表征缺陷深度學(xué)習(xí)檢測方法

孫寶霞，梁翠曉，劉凱，鄭鎮(zhèn)輝，胡文馨，熊俊濤

(1. 廣東機(jī)電職業(yè)技術(shù)學(xué)院電氣技術(shù)學(xué)院，廣州 510515； 2. 華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642)

中國是世界第一大柑橘的生產(chǎn)國，利用機(jī)器視覺技術(shù)進(jìn)行樹上柑橘的視覺定位與缺陷檢測，能為柑橘采摘以及果園產(chǎn)量估計(jì)提供技術(shù)支持，對精準(zhǔn)農(nóng)業(yè)的實(shí)現(xiàn)和生產(chǎn)成本的控制起到有效作用[1]。水果生長過程中存在形態(tài)隨機(jī)性和品質(zhì)多樣性等特征，而其生長的果園環(huán)境存在非線性、易時(shí)變、多擾動(dòng)等特點(diǎn)，這是農(nóng)業(yè)信息化所面對的難題[2]。以柑橘為例，通過園藝學(xué)知識(shí)可知，該類水果為單果，其生長狀態(tài)隨機(jī)而品質(zhì)多樣，利用視覺監(jiān)測其生長狀態(tài)極易出現(xiàn)信息不全、環(huán)境干擾導(dǎo)致圖像畸變而出現(xiàn)判斷錯(cuò)誤的情況[3]。造成該情況的主要原因是現(xiàn)有視覺檢測方法存在環(huán)境適應(yīng)性差、目標(biāo)檢測能力弱的不足[4]。因此，如何提升自然環(huán)境下視覺監(jiān)測果實(shí)品質(zhì)的認(rèn)知能力，實(shí)現(xiàn)目標(biāo)狀態(tài)的精確辨識(shí)，進(jìn)行果園管理的智能決策，并能適應(yīng)不同果園環(huán)境，是目前智慧果園生產(chǎn)信息化發(fā)展面臨的瓶頸問題。

目前國內(nèi)外柑橘表征品質(zhì)檢測技術(shù)的研究主要是基于機(jī)器視覺或光譜技術(shù)進(jìn)行柑橘品質(zhì)檢測。例如，高嘉軒[5]提出了一種基于遠(yuǎn)鄰域顏色描述特征及稀疏表達(dá)的類圓形水果缺陷檢測方法，實(shí)驗(yàn)證明該方法在檢測速度和時(shí)間上都有明顯的改進(jìn)；容典[6]搭建了水果表面缺陷檢測的視覺試驗(yàn)系統(tǒng)平臺(tái)，利用快速邊緣分割法和灰度局部閾值分割對臍橙表面8種常見缺陷進(jìn)行檢測，分割精度達(dá)92%；張明[7]設(shè)計(jì)開發(fā)了一種基于掩模及亮度校正的算法對臍橙表面缺陷進(jìn)行檢測，實(shí)現(xiàn)臍橙表面缺陷一次性分割提?。籑omin等[8]結(jié)合多光譜成像技術(shù)與自適應(yīng)預(yù)處理技術(shù)對柑橘進(jìn)行缺陷檢測，其準(zhǔn)確率達(dá)95%以上；Patel等[9]設(shè)計(jì)并評(píng)價(jià)了一種用于芒果果實(shí)在線檢測和缺陷分割的反射紫外圖像采集系統(tǒng)，檢測表面的微小損傷；Muharfiza等[10]提出了基于機(jī)器視覺系統(tǒng)的柑橘熒光缺陷檢測新技術(shù)，檢測柑橘表皮中不明顯的缺陷。這些研究能有效降低自然光照的干擾，提高果實(shí)目標(biāo)的識(shí)別精度，但已有研究較多集中在果蔬成熟狀態(tài)的視覺識(shí)別，缺少果實(shí)生長期不同品質(zhì)狀態(tài)的視覺識(shí)別研究。

自然環(huán)境不同天氣和時(shí)段的光照強(qiáng)度是隨機(jī)變化的，在低照度條件下太陽光的干擾減少了，但是采集圖像信息也會(huì)出現(xiàn)色彩丟失、圖像模糊等現(xiàn)象。針對這種情況，Payne等[11]進(jìn)行了夜間樹上芒果品質(zhì)的視覺檢測研究，結(jié)合紋理濾波和hessian濾波去除樹葉、枝干的干擾，設(shè)計(jì)了一個(gè)芒果檢測系統(tǒng)；Fu等[12]進(jìn)行了獼猴桃的夜間圖像識(shí)別研究，通過設(shè)計(jì)在R-G顏色空間進(jìn)行獼猴桃的識(shí)別研究，試驗(yàn)表明識(shí)別準(zhǔn)確率達(dá)到88.3%；姬偉等[13]提出一種基于引導(dǎo)濾波的具有邊緣保持特性的Retinex圖像增強(qiáng)算法，較雙邊濾波Retinex方法的運(yùn)行時(shí)間平均減少74.56%。以上研究主要采用的方法在復(fù)雜自然環(huán)境下易受自然光、遮擋、果實(shí)形態(tài)等其他因素的影響，因此在實(shí)際運(yùn)用中識(shí)別算法的魯棒性和適用性較差。如何克服環(huán)境因素影響，進(jìn)行果園水果實(shí)時(shí)有效的視覺監(jiān)測，還有待進(jìn)一步深入研究。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，一些研究將深度學(xué)習(xí)應(yīng)用于水果品質(zhì)的視覺監(jiān)測。例如，Villacrés等[14]首次通過使用Faster R-CNN算法進(jìn)行櫻桃果實(shí)的檢測、分類和產(chǎn)量估計(jì)，其準(zhǔn)確率為85%左右；岑冠軍等[15]提出基于深度學(xué)習(xí)算法的芒果圖像在線識(shí)別計(jì)數(shù)方法，其準(zhǔn)確率為82.3%。此外，近年來一些學(xué)者嘗試將多模態(tài)成像方法運(yùn)用到該研究領(lǐng)域。例如，Argote等[16]提出了一種基于熱圖像捕獲和模糊圖像處理的計(jì)算機(jī)視覺系統(tǒng)來估計(jì)甜橙樹中果實(shí)的數(shù)量。該類方法雖然精度高，但其熱圖像容易受其他因素如相對濕度、環(huán)境溫度和風(fēng)的影響，因此在實(shí)際水果檢測和產(chǎn)量預(yù)估任務(wù)中很少被采用。以上這些研究都為柑橘的視覺檢測和產(chǎn)量估計(jì)提供了參考思路。

由上述可知，多源信息的視覺方法，能有效提升視覺性能，因此視覺傳感器及視覺系統(tǒng)結(jié)構(gòu)的確定非常關(guān)鍵。已有研究大多采用多源視覺信息的應(yīng)用環(huán)境偏向于溫室，一些信息源獲取手段對環(huán)境光照敏感，例如近紅外光譜；并且研究主要集中在成熟果實(shí)的視覺識(shí)別，較少進(jìn)行果實(shí)生長期不同品質(zhì)狀態(tài)的視覺辨識(shí)研究。針對復(fù)雜的果園環(huán)境，怎樣建立合理的視覺系統(tǒng)，并設(shè)計(jì)魯棒性強(qiáng)和精確性高的視覺檢測算法，是當(dāng)前柑橘表征品質(zhì)檢測研究的關(guān)鍵問題。 筆者選擇夜間自然環(huán)境下進(jìn)行樹上柑橘的識(shí)別計(jì)數(shù)與缺陷檢測分類研究，提出了基于深度學(xué)習(xí)的夜間環(huán)境樹上柑橘表征缺陷視覺檢測方法，主要工作如下：1)設(shè)計(jì)了夜間視覺檢測系統(tǒng)軟、硬件，實(shí)現(xiàn)夜間樹上柑橘圖像的采集；2)訓(xùn)練了YOLO v4柑橘果實(shí)表征檢測的深度學(xué)習(xí)模型，并設(shè)計(jì)了對比試驗(yàn)評(píng)估模型性能。本研究為樹上柑橘生長期品質(zhì)監(jiān)測與產(chǎn)量估計(jì)提供有效方法，同時(shí)為柑橘采摘實(shí)時(shí)檢測提供技術(shù)支持。

1 材料與方法

1.1 光源的選擇

夜間環(huán)境樹上柑橘圖像的采集，需要設(shè)計(jì)光源及攝像機(jī)組合的視覺系統(tǒng)。Kondo[17]在紫外光進(jìn)行柑橘缺陷檢測的研究中，使用熒光分光光度計(jì)對柑橘表皮提取物進(jìn)行光譜測試，發(fā)現(xiàn)在激發(fā)波長為380 nm左右時(shí)，激發(fā)出的熒光亮度最大。因此，與大多數(shù)的水果識(shí)別研究不同，本研究需要利用紫外光在夜間對目標(biāo)進(jìn)行熒光激發(fā)并識(shí)別，在視覺系統(tǒng)的設(shè)計(jì)上會(huì)有所不同，特別是光源方面，需要兼顧照明和激發(fā)兩重作用。酮類物質(zhì)產(chǎn)生熒光現(xiàn)象需要適當(dāng)波長的紫外光激發(fā)。本研究使用市面常見規(guī)格的紫外光源進(jìn)行試驗(yàn)，同時(shí)比較激發(fā)波長分別為365，385和395 nm下四季桔缺陷部分的熒光現(xiàn)象。分析柑橘彩色圖像，如圖1所示，發(fā)現(xiàn)激發(fā)波長為365和385 nm下四季桔缺陷部分熒光現(xiàn)象都比較明顯，395 nm下的熒光現(xiàn)象十分不明顯。在波長為365 nm的紫光燈下看起來偏白，對未成熟的四季桔(青色的)進(jìn)行缺陷檢測時(shí)，缺陷部分的綠色熒光與未成熟四季桔正常表皮的青色相似，會(huì)影響缺陷的識(shí)別。而在波長為385 nm的紫光燈下看起來偏紫，燈光照射在未成熟四季桔時(shí)四季桔表皮呈暗紫色，和綠色熒光呈鮮明對比。此外，385 nm波長的紫外燈珠價(jià)格相對其他規(guī)格要低，因此本視覺系統(tǒng)采用波長為385 nm 的巨宏芯片紫光燈珠。

圖1 不同波長的檢測效果Fig. 1 Detection results of different wavelengths

另外，由于紫光燈珠發(fā)出的紫外光線波長較低，根據(jù)能量和波長成反比的關(guān)系，紫外燈長時(shí)間工作會(huì)造成周圍環(huán)境溫度上升、對人體造成傷害，所以紫燈只在檢測時(shí)開啟，其他時(shí)間處于關(guān)閉狀態(tài)。為在檢測過程中尋找到柑橘所在位置，本研究在視覺系統(tǒng)中加入了易于獲取且可控制光照強(qiáng)度的JH-3W140P45-T4A型號(hào)白光燈珠。白光燈珠可以長時(shí)間開啟，用來提供除檢測狀態(tài)其他時(shí)間的燈光環(huán)境。

1.2 視覺系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

本視覺系統(tǒng)選擇夜間的自然環(huán)境進(jìn)行柑橘缺陷識(shí)別作業(yè)。日間自然環(huán)境下，不同時(shí)刻太陽位置的改變導(dǎo)致照射在柑橘的光照不能控制在合適亮度范圍內(nèi)，存在柑橘圖像亮度過低或過強(qiáng)的現(xiàn)象。在夜間自然環(huán)境下，本視覺系統(tǒng)的結(jié)構(gòu)光源提供穩(wěn)定且均勻的光照，有利于圖像處理檢測缺陷。

本視覺系統(tǒng)采用12顆1 W的LED白光燈珠和18顆1 W的385 nm波長的LED紫外燈珠交叉嵌在一個(gè)30°匯聚的平面，構(gòu)成一個(gè)具有雙光源的檢測光源，提供白燈和紫外燈兩種光源，為四季桔品質(zhì)檢測提供合適的環(huán)境亮度。LED驅(qū)動(dòng)電路采用XL6019搭建升壓電路，輸出20 V的LED供電電壓，采用恒壓限流的方法統(tǒng)一為白燈和紫外燈供電，采用不同阻值的電阻，并配可變電阻器對LED兩端電壓進(jìn)行調(diào)整。

通過實(shí)驗(yàn)確定了本視覺研究系統(tǒng)最佳亮度范圍為55～65 lx。在確定最佳亮度范圍試驗(yàn)中，將柑橘置于沒有外界光照的條件下(光照強(qiáng)度≤5 lx)，視覺系統(tǒng)“最佳亮度”從0開始設(shè)置，每次以10 lx為單位增加系統(tǒng)設(shè)定的最佳亮度，通過觀察不同亮度下視覺系統(tǒng)識(shí)別效果確定成熟柑橘最佳識(shí)別光照強(qiáng)度范圍。比較不同光照條件的成熟柑橘識(shí)別結(jié)果，當(dāng)光照強(qiáng)度弱于55 lx或高于65 lx時(shí)缺陷識(shí)別效果會(huì)出現(xiàn)漏識(shí)別或多識(shí)別，無法很好地把缺陷部分框出來。當(dāng)光照強(qiáng)度處于55～65 lx時(shí)成熟柑橘的識(shí)別最為準(zhǔn)確。識(shí)別結(jié)果如圖2所示。

圖2 在55～65 lx光強(qiáng)下柑橘識(shí)別結(jié)果Fig. 2 Citrus recognition results at 55-65 lx-ray intensity

1.3 圖像的采集

本研究的視覺系統(tǒng)由高清攝像頭、白光LED燈、紫光LED燈、STC15單片機(jī)等硬件組成。高清攝像機(jī)為羅技公司生產(chǎn)的C525型，像素500萬以上并且自動(dòng)對焦。白光LED光源是巨宏光源公司生產(chǎn)的JH-3W140P45-T4A型號(hào)燈珠，色溫5 000～6 000 K，光通量為190～210 lm/W，紫光LED光源波長為380～385 nm，光通量為20～30 lm，電壓為3.4～3.6 V，能在夜間環(huán)境下提供有效的穩(wěn)定光源。單片機(jī)使用STC15系列的STC15F2K60S2。硬件部分利用AOD4184 MOS場效應(yīng)管整流管控制電平開關(guān)。使用MBRD1045 10 A/45 V貼片TO-252整流管45G肖特基二極管。通過XL6019電源驅(qū)動(dòng)芯片來搭建升壓電路。柑橘圖像的采集方式為：攝像頭位于自制光源中心與LED燈組成視覺系統(tǒng)，視覺系統(tǒng)距柑橘果實(shí)150～200 mm，平行拍攝，而PC機(jī)利用GUI界面控制系統(tǒng)。夜間圖像采集的地點(diǎn)為華南農(nóng)業(yè)大學(xué)果園，采集對象為成熟四季桔，采集時(shí)間為2019年1月23日晚，圖像分辨率為1 920×1 080。圖像采集場景見圖3，燈光視覺系統(tǒng)中心與采集對象中心在同一水平線上，相距15～20 cm。為確保樣本的全面性，本研究在夜間環(huán)境從不同角度對不同的柑橘區(qū)域進(jìn)行圖像采集，一共采集了154張柑橘紫外光圖像。本研究從采集的154張柑橘紫外光圖像中篩選出139張圖像作為圖像處理樣本，其中包括62張柑橘紫外光圖像是無缺陷的，77張是有缺陷的。在139張樣本中選取了100張柑橘紫外光圖像，其中訓(xùn)練集66張，驗(yàn)證集34張，用于訓(xùn)練模型樣本的采集，其中包括50張有缺陷的柑橘紫外光圖像和50張無缺陷的柑橘紫外光圖像。而剩余39張柑橘紫外光圖像用于測試算法的準(zhǔn)確性，其中包括27張有缺陷的柑橘紫外光圖像和12張無缺陷的柑橘紫外光圖像。

a. PC視覺處理端；b. 燈光視覺系統(tǒng)；c. 拍攝距離；d. 目標(biāo)柑橘。圖3 圖像采集場景Fig. 3 Image acquiring scene

1.4 視覺檢測方法

1.4.1 YOLO v4 網(wǎng)絡(luò)

相比其他目標(biāo)檢測與識(shí)別方法(如R-CNN系列)，YOLO(You Only Look Once)系列網(wǎng)絡(luò)基于回歸的方法來提取特征，無需生成大量的候選窗口，而直接采用單個(gè)神經(jīng)網(wǎng)絡(luò)對輸入的圖像進(jìn)行目標(biāo)檢測和分類，具有較快的檢測速度，可滿足農(nóng)業(yè)果蔬采摘機(jī)器人對水果檢測精度和速度的需求[18]。YOLO網(wǎng)絡(luò)將輸入的圖片劃分成大小為S×S(S=7)的網(wǎng)格，如果一個(gè)物體的中心落在某個(gè)單元格內(nèi)，則由該單元格負(fù)責(zé)檢測該物體。單元格會(huì)輸出多個(gè)預(yù)測框和每個(gè)預(yù)測框的置信度，拋棄置信度低的預(yù)測框并通過非極大值抑制算法最終定位柑橘位置。其中預(yù)測框包含參數(shù)c、x、y、w、h，(x,y)為目標(biāo)在候選框的中心坐標(biāo)，w、h為候選框的寬度和高度，c(s=1)為類型。

YOLO v4網(wǎng)絡(luò)是目標(biāo)檢測算法YOLO系列的第4個(gè)版本，同樣FPS等于83左右，YOLO v4在MSCOCO數(shù)據(jù)集上的AP是43，比YOLO v3高了10個(gè)百分點(diǎn)。同時(shí)YOLO v4在該數(shù)據(jù)集上具有較高的檢測精度和速度，檢測性能優(yōu)于Faster R-CNN、SSD和EfficientDet等算法。

在YOLO v4提出前，最精確的目標(biāo)檢測網(wǎng)絡(luò)存在不具備實(shí)時(shí)性、需要使用大量的GPU進(jìn)行小批量運(yùn)算的缺點(diǎn)。而YOLO v4在YOLO v3的基礎(chǔ)上，通過對輸入端、主干特征提取網(wǎng)絡(luò)、特征增強(qiáng)融合網(wǎng)絡(luò)以及預(yù)測網(wǎng)絡(luò)進(jìn)行了創(chuàng)新，有效提升神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率，具有較強(qiáng)的檢測性能。因此，本研究采用YOLO v4作為室外環(huán)境下柑橘熒光缺陷的檢測方法。

1.4.2 Mosaic數(shù)據(jù)增強(qiáng)

為了使網(wǎng)絡(luò)具有更低的訓(xùn)練門檻，即在GPU資源有限的條件下得到更好的結(jié)果，YOLO v4對訓(xùn)練時(shí)的輸入端進(jìn)行了改進(jìn)，主要包括Mosaic數(shù)據(jù)增強(qiáng)、cmBN、SAT自對抗訓(xùn)練。

YOLO v4所使用的Mosaic數(shù)據(jù)增強(qiáng)方法是由Wang等[19]2019年提出的CutMix數(shù)據(jù)增強(qiáng)方法的改進(jìn)版。如圖4所示，Mosaic不同于一般的數(shù)據(jù)增強(qiáng)方式，Mosaic隨機(jī)讀取4張圖像，通過縮放、裁剪以及排布的方式拼接成1張新圖像后輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，能夠使網(wǎng)絡(luò)訓(xùn)練1次就可學(xué)習(xí)4張圖像。該方法極大地豐富了檢測物體的背景，同時(shí)可使得網(wǎng)絡(luò)在訓(xùn)練時(shí)不需要設(shè)置很大mini-batch和通過傳統(tǒng)的GPU就可以獲得比較好的檢測效果。

圖4 數(shù)據(jù)增強(qiáng)方法Fig. 4 Data enhancement method

1.4.3 主干特征提取網(wǎng)絡(luò)

由于本研究數(shù)據(jù)集中柑橘缺陷像素在整幅圖像中占比較小，因此檢測網(wǎng)絡(luò)在保證實(shí)時(shí)性的同時(shí)應(yīng)盡可能具有較高的識(shí)別精度。相比YOLO v4_Tiny的輕量和高速，YOLO v4_CSPDarknet53則是在保證實(shí)時(shí)性的基礎(chǔ)上追求更高的性能。因此本研究選取具有較高檢測精度和速度的CSPDarknet53作為YOLO v4的主干網(wǎng)絡(luò)。

YOLO v4通過借鑒Wang等[19]提出的CSPNet，在YOLO v3主干網(wǎng)絡(luò)Darknet53的基礎(chǔ)上改進(jìn)得到CSPDarknet53。CSPDarknet53包含5個(gè)CSP模塊，其中在每個(gè)CSP模塊前采用大小為3×3的卷積核以起到下采樣的作用。與YOLO v3原有的殘差塊相比，CSP模塊主要有兩點(diǎn)優(yōu)勢：1)充分利用特征融合，有效提升網(wǎng)絡(luò)的學(xué)習(xí)能力；2)降低內(nèi)存成本，提高硬件資源使用率，在使得網(wǎng)絡(luò)輕量化的同時(shí)保持較高的準(zhǔn)確性。

此外在CSPDarknet53中，YOLO v4都使用了Mish激活函數(shù)，其公式如下：

y=x×tanh[ln(1+ex)]

(1)

如圖5所示，Mish激活函數(shù)每一點(diǎn)更加平滑，這樣網(wǎng)絡(luò)可以學(xué)習(xí)到更高質(zhì)量的信息。同時(shí)在負(fù)值時(shí)，為預(yù)防信息中斷采取較小的負(fù)梯度流入策略，從而得到更好的準(zhǔn)確性與泛化能力。

圖5 Mish激活函數(shù)Fig. 5 Mish activation function

1.4.4 特征增強(qiáng)融合網(wǎng)絡(luò)

針對小目標(biāo)的檢測，研究者通常會(huì)輸入更高分辨率的圖像、采用更深的網(wǎng)絡(luò)以及在BackBone和最后的輸出層之間插入一些層。為了更大程度地增加感受野，YOLO v4在CSPDarknet53 之后添加了額外模塊SPP網(wǎng)絡(luò)，以在保證網(wǎng)絡(luò)運(yùn)行速度幾乎不變的情況下分離出最顯著的上下文特征。同時(shí)采用PANet作為參數(shù)聚合方法，通過將融合的方法由加法改為乘法，更加充分地利用了特征融合，使得網(wǎng)絡(luò)能夠具有更加強(qiáng)大的目標(biāo)檢測性能。

在SPP網(wǎng)絡(luò)中，分別使用大小為k={1*1,5*5,9*9,13*13}的卷積核對上階段得到的特征圖進(jìn)行最大池化，再通過Concat連接層將所有的特征圖進(jìn)行聚合(圖6)。本研究通過使用預(yù)訓(xùn)練模型和柑橘缺陷數(shù)據(jù)集對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并根據(jù)訓(xùn)練結(jié)果調(diào)整YOLO v4網(wǎng)絡(luò)參數(shù)，最后得到基于YOLO v4的柑橘缺陷檢測網(wǎng)絡(luò)。

圖6 SPP-Net結(jié)構(gòu)Fig. 6 SPP-Net structure

2 試驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 試驗(yàn)配置與訓(xùn)練結(jié)果

試驗(yàn)采用CSP_Darknet53深度學(xué)習(xí)框架，計(jì)算機(jī)配置為Intel Core i7-8700HQ CPU @ 3.20GHz × 12，顯卡為GeForce GTX 1080，操作系統(tǒng)為Ubuntu16.04LTS，NVIDIA驅(qū)動(dòng)版本為430.26，CUDA版本為10.0.130，CUDNN神經(jīng)網(wǎng)絡(luò)加速庫版本為7.4.2，訓(xùn)練設(shè)置如下。

1)參數(shù)設(shè)置：每次迭代訓(xùn)練的樣本數(shù)為16，進(jìn)行20 000次迭代；動(dòng)量因子設(shè)為0.949；衰減系數(shù)設(shè)為0.000 5；學(xué)習(xí)率調(diào)整策略采用steps，初始學(xué)習(xí)率設(shè)為0.001，當(dāng)網(wǎng)絡(luò)迭代16 000次和18 000次時(shí)，學(xué)習(xí)率依次降低為0.000 1和0.000 01。

2)訓(xùn)練策略：在訓(xùn)練過程中，采用馬賽克數(shù)據(jù)增強(qiáng)策略，同時(shí)通過調(diào)整飽和度、曝光量以及色調(diào)等方式來生成更多訓(xùn)練樣本，提高網(wǎng)絡(luò)對不同分辨率圖像的魯棒性和準(zhǔn)確率。

YOLO v4網(wǎng)絡(luò)在訓(xùn)練時(shí)的loss值和mAP值隨迭代次數(shù)的變化曲線見圖7。從圖7中可以看出，當(dāng)網(wǎng)絡(luò)迭代超過16 000次后，損失值基本趨于平穩(wěn)，下降到1.01左右，同時(shí)訓(xùn)練mAP值穩(wěn)定于0.94左右。從參數(shù)收斂情況來看, 網(wǎng)絡(luò)訓(xùn)練結(jié)果理想。

圖7 基于YOLO v4的柑橘缺陷檢測網(wǎng)絡(luò)架構(gòu)Fig. 7 Citrus defect detection network architecture diagram based on YOLO v4

2.2 柑橘識(shí)別試驗(yàn)和結(jié)果分析

本研究設(shè)計(jì)并進(jìn)行了夜間柑橘識(shí)別試驗(yàn)，通過使用YOLO v4網(wǎng)絡(luò)對測試集中成熟和未成熟柑橘圖像，以及各種環(huán)境下的柑橘果實(shí)圖像進(jìn)行識(shí)別，其效果如圖8所示。

圖8 YOLO v4網(wǎng)絡(luò)檢測效果Fig. 8 YOLO v4 detection results

從圖8可以看出，對于成熟以及未成熟柑橘、紫外強(qiáng)弱光和圖像中果實(shí)稀疏密集的情況，YOLO v4網(wǎng)絡(luò)均可較好識(shí)別出柑橘表面缺陷部分，這些缺陷在白天自然光照下特征不明顯，如病害、機(jī)械損傷、日灼和風(fēng)傷等在柑橘果實(shí)上形成的傷斑等缺陷。特別是在反光較為嚴(yán)重以及紫外光較弱的條件下仍能完整檢測并框出圖像中柑橘缺陷部分，表明YOLO v4網(wǎng)絡(luò)整體性能較優(yōu)。

試驗(yàn)采用精確率(precision，P)、召回率(recall，R)和F1值作為評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算公式如下:

(2)

(3)

(4)

式中：TP為真正例；FP為假正例；FN為假負(fù)例；P為精確率；R為召回率；F1為查準(zhǔn)率與查全率的調(diào)和平均數(shù)。

從圖9和表1可以看出，YOLO v4識(shí)別算法在測試集上表現(xiàn)的檢測性能略好于在驗(yàn)證集上表現(xiàn)的檢測性能，說明訓(xùn)練得到的缺陷識(shí)別網(wǎng)絡(luò)具有較好的泛化能力。同時(shí)試驗(yàn)結(jié)果表明，YOLO v4識(shí)別算法在測試集上的精確率、召回率、F1值以及mAP值分別為95.32%、94.59%、0.95和90.52%，具有較優(yōu)的檢測效果，滿足室外環(huán)境下對柑橘熒光缺陷檢測算法精度的要求。

圖9 YOLO v4網(wǎng)絡(luò)測試集和驗(yàn)證集P、R曲線對比圖Fig. 9 P and R curve comparison of YOLO v4 network test set and validation set

表1 YOLO v4_test set與YOLO v4_val set在不同柑橘場景下性能比對Table 1 YOLO v4_test set and YOLO v4_Val set performance comparison under different citrus scenarios

為了更直觀地驗(yàn)證本研究算法的效果，從測試集中隨機(jī)抽取兩幅測試圖像，分別使用YOLO v4和Faster R-CNN 2種算法進(jìn)行測試。實(shí)驗(yàn)結(jié)果如圖10所示。

圖10 不同算法識(shí)別效果對比圖Fig. 10 Result comparisons among different algorithms

圖10顯示了YOLO v4和Faster R-CNN兩種識(shí)別算法在兩種柑橘狀態(tài)下的識(shí)別效果。測試圖像1中有3個(gè)目標(biāo)柑橘，F(xiàn)aster R-CNN算法正確識(shí)別出3個(gè)、誤檢1個(gè)(圖10a),而YOLO v4則正確識(shí)別出3個(gè)(圖10c)。測試圖像2中有多個(gè)目標(biāo)柑橘，從圖10b可以看出，F(xiàn)aster R-CNN存在果實(shí)漏檢情況，而圖10d則表明YOLO v4成功識(shí)別了所有柑橘目標(biāo)。兩組測試均說明YOLO v4算法性能更優(yōu)。

YOLO v4與Faster R-CNN性能對比見表2。表2表明，YOLO v4網(wǎng)絡(luò)識(shí)別精度和速度均比Faster R-CNN更好，相比于Faster R-CNN，精確率和召回率分別提高了5.14%和6.16%，同時(shí)檢測速度明顯快于Fater R-CNN，表明基于YOLO v4的熒光柑橘缺陷識(shí)別算法具有更優(yōu)的性能，可為農(nóng)業(yè)智能化生產(chǎn)中果蔬產(chǎn)量的估計(jì)提供技術(shù)支持。

表2 YOLO v4與Faster R-CNN性能對比Table 2 Comparison of YOLO v4 and Faster R-CNN network performances

3 結(jié) 論

1)本研究提出一種柑橘表征缺陷的熒光檢測算法，設(shè)計(jì)并制作了在夜間自然環(huán)境中用于采集柑橘圖像的視覺系統(tǒng)。根據(jù)柑橘表皮的吸收光譜，實(shí)驗(yàn)并確定了適合的紫外光波長。

2)設(shè)計(jì)紫外光下柑橘缺陷的識(shí)別試驗(yàn)。將YOLO v4算法與Faster R-CNN進(jìn)行定量及性能對比，實(shí)驗(yàn)結(jié)果表明：Faster R-CNN存在果實(shí)漏檢情況，而YOLO v4成功識(shí)別所有柑橘目標(biāo)；同時(shí)相比于Faster R-CNN，精確率和召回率分別提高了5.14% 和6.16%，同時(shí)檢測速度明顯快于Fater R-CNN，由此可見YOLO v4算法對于兩種柑橘狀態(tài)下的識(shí)別效果性能更加突出。以上結(jié)果表明,本研究算法能有效檢測夜間樹上柑橘的品質(zhì)狀態(tài)，為柑橘的產(chǎn)量估計(jì)以及采摘機(jī)器人的夜間視覺智能化提供了技術(shù)支持。