基于改進(jìn)YOLOv4的棉花檢測(cè)算法①

劉正波,鮑義東,孟慶偉

(貴州航天智慧農(nóng)業(yè)有限公司,貴陽(yáng) 550081)

我國(guó)是世界第一大產(chǎn)棉國(guó),同時(shí)也是世界第一大棉花進(jìn)口國(guó),這也造就了中國(guó)成為世界紡織大國(guó)的地位[1].棉花作為種植作物中產(chǎn)業(yè)鏈最長(zhǎng)的大田經(jīng)濟(jì)作物,集大宗農(nóng)產(chǎn)品和紡織工業(yè)原料為一身,在國(guó)民經(jīng)濟(jì)中占有重要地位.棉花產(chǎn)業(yè)屬于勞動(dòng)密集型產(chǎn)業(yè),傳統(tǒng)的棉花種植采摘技術(shù)落后,需要大量的人力物力,隨著勞動(dòng)力成本的增長(zhǎng),棉花采摘機(jī)械化成為必然趨勢(shì).我國(guó)采棉機(jī)的發(fā)展起步較晚,雖然在不斷進(jìn)步,但是對(duì)棉花采摘的采凈率和除雜率上還有待提高.傳統(tǒng)采棉機(jī)相比人工采摘雖然在采摘效率上有較大提升,但采摘的同時(shí)降低了棉花的品質(zhì),并且采棉機(jī)在采摘結(jié)束后仍有較多棉花在棉桿上,導(dǎo)致單位面積的棉花減產(chǎn)[2].因此,智能采棉機(jī)成為了降低勞動(dòng)成本、提高棉花產(chǎn)量和棉花質(zhì)量的必要途徑.智能采棉機(jī)是根據(jù)棉花自然成熟周期進(jìn)行多批次精準(zhǔn)采摘,采摘關(guān)鍵在于對(duì)單個(gè)棉花實(shí)現(xiàn)精準(zhǔn)識(shí)別與定位.傳統(tǒng)機(jī)器視覺(jué)在采用圖像預(yù)處理、閾值分割、特征提取等方法上對(duì)作物識(shí)別和檢測(cè)上取得了較好效果,但是對(duì)于多個(gè)目標(biāo)重疊、障礙物遮掩等情況還是會(huì)出現(xiàn)漏采和誤采.

近年來(lái),計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展迅速,視覺(jué)技術(shù)廣泛運(yùn)用于農(nóng)業(yè)領(lǐng)域,解決農(nóng)作物或雜草檢測(cè)、作物疾病檢測(cè)等難題.在棉花檢測(cè)領(lǐng)域,目前研究集中對(duì)采棉機(jī)器人配備的攝像機(jī)采集的棉花圖片進(jìn)行識(shí)別與分割,少有研究考慮到田間實(shí)際采摘中復(fù)雜環(huán)境.Wang 等[3]提出一種基于RGB 顏色空間分布的棉花檢測(cè)算法用于采棉機(jī)器人,并采用Freeman 鏈碼提高識(shí)別準(zhǔn)確率.韋皆頂?shù)萚4]提出基于HSV 彩色模型的棉花飽和度圖像分割算法,能夠很好地將棉花和背景分割開(kāi)來(lái),并且受光照影響較小,但無(wú)法處理田間棉花葉片遮擋等情況.劉坤等[5]提出一種基于RGB 彩色空間模型和Hough變換的棉桃識(shí)別技術(shù),能準(zhǔn)確識(shí)別自然環(huán)境中被遮擋的棉花.陳欽政等[6]結(jié)合最大類間方差法提出了一種在OHTA 顏色空間下基于支持向量機(jī)的棉花圖像分割算法,提高了分割的準(zhǔn)確度和實(shí)用性,但對(duì)復(fù)雜環(huán)境采棉適用度不高.盡管文獻(xiàn)[3-7]已提出一系列高精度棉花檢測(cè)和分割算法,但是這些方法都采用手工提取特征方式進(jìn)行識(shí)別,算法魯棒性不強(qiáng),并且沒(méi)有綜合考慮田間棉花采摘復(fù)雜背景、葉片遮擋和棉花重疊等情況,難以用于田間棉花采摘.因此本文提出一種基于改進(jìn)YOLOv4的棉花檢測(cè)算法,應(yīng)用于采棉機(jī)器人進(jìn)行田間棉花采摘.

1 算法理論基礎(chǔ)

1.1 YOLOv4 算法

YOLOv4[7]算法在YOLOv3[8]算法基礎(chǔ)上,從數(shù)據(jù)處理、訓(xùn)練方法、激活函數(shù)、損失函數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)等方面做出不同程度優(yōu)化,使算法模型在目標(biāo)檢測(cè)速度和精度上達(dá)到當(dāng)前最優(yōu)平衡.

YOLOv4 在YOLOv3 損失函數(shù)基礎(chǔ)上使用CIoU(Complete Intersection over Union) 損失替代MSE(Mean Square Error)損失作為回歸框預(yù)測(cè)損失.損失函數(shù)可分為回歸框預(yù)測(cè)損失LCIoU、置信度損失LConf、分類損失Lcls三部分.

回歸框預(yù)測(cè)損失LCIoU表示為:

其中,IoU為預(yù)測(cè)框與真實(shí)框的交并比,b為預(yù)測(cè)框中心點(diǎn),bgt為真實(shí)框中心點(diǎn),ρ為兩個(gè)框中心點(diǎn)間的歐式距離,c是同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小封閉區(qū)域的對(duì)角線距離,av是對(duì)長(zhǎng)寬比的懲罰項(xiàng).v表示度量長(zhǎng)寬比的相似性系數(shù),定義為:

其中,wgt為真實(shí)框?qū)挾?hgt為真實(shí)框高度,w為預(yù)測(cè)框?qū)挾?h為預(yù)測(cè)框高度.a為長(zhǎng)寬比的懲罰項(xiàng)系數(shù),具體定義為:

置信度損失LConf為:

式(5)中,S2表示網(wǎng)格劃分網(wǎng)格數(shù),B是每個(gè)網(wǎng)格中先驗(yàn)框個(gè)數(shù),表示預(yù)測(cè)邊界框包含目標(biāo),表示預(yù)測(cè)的邊界框不包含目標(biāo),為預(yù)測(cè)置信度,為實(shí)際置信度,λnobj為預(yù)先設(shè)定的參數(shù)值.分類損失Lcls表示為:

式中,c表示檢測(cè)目標(biāo)所屬分類,和分別表示單元格目標(biāo)屬于類別c的實(shí)際概率與預(yù)測(cè)概率.

YOLOv4 目標(biāo)檢測(cè)算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,主要包括特征提取網(wǎng)絡(luò)CSPDarkNet53、空間金字塔池化網(wǎng)絡(luò)SPP和特征聚合網(wǎng)絡(luò)PANet 三部分.CSPDarkNet53作為YOLOv4 算法的主干特征提取網(wǎng)絡(luò),是在Dark-Net53 網(wǎng)絡(luò)的基礎(chǔ)上改進(jìn)而來(lái).CSPDarkNet53 包含5 個(gè)CSPNet 模塊,首先將輸入特征劃分為兩部分,對(duì)輸入特征進(jìn)行卷積和批量歸一化處理后,使用Mish 激活函數(shù)激活,最后跨階段融合兩部分特征,在復(fù)雜度增加較小的情況下提高了模型整體的穩(wěn)定性和準(zhǔn)確性,輸出更加平滑并且很好的解決了梯度飽和的問(wèn)題.CSPDarkNet53將DarkNet53的5 個(gè)殘差模塊替換為CSPNet 模塊,CSPNet 模塊中主干提取部分和殘差邊分離的結(jié)構(gòu)能夠更好的提取圖像特征,在保持輕量化的同時(shí)保持較高準(zhǔn)確率、降低計(jì)算量.主干特征提取網(wǎng)絡(luò)CSPDarkNet53充分提取圖像特征后,將后3 個(gè)CSPNet 模塊提取的不同尺度圖像特征傳入SPP 網(wǎng)絡(luò)和PANet 網(wǎng)絡(luò)進(jìn)行特征融合.

圖1 YOLOv4 算法網(wǎng)絡(luò)結(jié)構(gòu)

對(duì)CSPDarkNet53 網(wǎng)絡(luò)最后一個(gè)特征層進(jìn)行一次特征卷積后,特征傳入SSP 網(wǎng)絡(luò),利用SSP 網(wǎng)絡(luò)中4 種不同尺度最大池化核充分融合圖像特征,極大增加感受野,分離得到顯著的上下文特征來(lái).PANet 結(jié)構(gòu)是由卷積操作、上采樣操作、特征層融合、下采樣操作構(gòu)成的循環(huán)金字塔結(jié)構(gòu).對(duì)傳入的圖像特征進(jìn)行反復(fù)的特征提取,自底而上融合從主干網(wǎng)絡(luò)不同特征層提取的特征,形成強(qiáng)定位特征,進(jìn)一步提高特征提取和定位能力.從PANet 提取的特征輸出為3 個(gè)不同尺度YOLOHead 預(yù)測(cè)層,預(yù)測(cè)層信息包括目標(biāo)得分、預(yù)測(cè)錨框尺寸坐標(biāo)、分類置信度等.利用YOLOHead 預(yù)測(cè)層的信息對(duì)錨框的位置、尺寸做出適當(dāng)調(diào)整,利用目標(biāo)得分篩除掉部分錨框,最后通過(guò)非極大值抑制將3 個(gè)預(yù)測(cè)層的結(jié)果合并,得到最終預(yù)測(cè)結(jié)果.

1.2 錨框計(jì)算

YOLOv4 目標(biāo)檢測(cè)算法的默認(rèn)錨框是在Coco 數(shù)據(jù)集上使用聚類算法計(jì)算得出的通用尺寸,Coco 數(shù)據(jù)中包含各種不同的檢測(cè)目標(biāo),目標(biāo)的尺寸比例差別較大,因此錨框的尺寸也不盡相同,在實(shí)際應(yīng)用場(chǎng)景中需要根據(jù)數(shù)據(jù)集,計(jì)算相應(yīng)的錨框尺寸.由于棉花圖片數(shù)據(jù)庫(kù)網(wǎng)絡(luò)資源有限,本文采用自建的棉花數(shù)據(jù)集,棉花在不同圖像中的形狀基本一致,因此可以針對(duì)棉花的實(shí)際形狀大小計(jì)算相應(yīng)錨框尺寸.

采用K-means 聚類算法計(jì)算錨框尺寸,具體計(jì)算步驟如圖2所示.首先讀取數(shù)據(jù)集中歸一化的錨框尺寸大小,錨框的寬、高組成坐標(biāo)點(diǎn)作為待分類數(shù)據(jù),并隨機(jī)初始化9 個(gè)聚類中心.計(jì)算各個(gè)錨框坐標(biāo)點(diǎn)與聚類中心錨框之間的交并比(Intersection over Union,IoU),以(1-IoU)作為坐標(biāo)之間的相對(duì)距離,距離最小的聚類中心為對(duì)應(yīng)錨框的分類,把各個(gè)類別的中心坐標(biāo)作為下一次迭代的聚類中心.不斷重復(fù)上述過(guò)程,直至聚類中心不再變化,把此時(shí)的9 個(gè)聚類中心作為最終的得到的錨框尺寸.使用K-means 算法計(jì)算得到的錨框尺寸更適合當(dāng)前數(shù)據(jù)集,實(shí)現(xiàn)單株棉花的精準(zhǔn)檢測(cè).

圖2 K-means 算法計(jì)算錨框尺寸

1.3 數(shù)據(jù)增強(qiáng)

自然環(huán)境下棉花檢測(cè)任務(wù)面向復(fù)雜田間環(huán)境,檢測(cè)精度不僅受到葉片遮擋、多簇棉花重疊等因素的影響,還需要考慮天氣、棉花尺寸形態(tài)、自然光照等自然因素.因此除了要在數(shù)據(jù)采集的過(guò)程中考慮以上因素,盡可能多的采集各種不同場(chǎng)景和自然條件下的棉花圖片作為數(shù)據(jù)集,也要通過(guò)數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)集圖片做出處理,提高模型的魯棒性.

數(shù)據(jù)增強(qiáng)分為離線增強(qiáng)和在線增強(qiáng)兩種方式.離線數(shù)據(jù)增強(qiáng)主要用于數(shù)據(jù)量較小的數(shù)據(jù)集,直接處理原始數(shù)據(jù)集圖片,新數(shù)據(jù)圖片數(shù)量擴(kuò)增為原數(shù)據(jù)集圖片的n倍 (n為數(shù)據(jù)增強(qiáng)因子),主要用來(lái)防止過(guò)擬合.在線增強(qiáng)是在讀取一批次數(shù)據(jù)集圖片后,對(duì)圖片數(shù)據(jù)進(jìn)行增強(qiáng)操作,提高模型在不同場(chǎng)景中泛化能力.主要處理流程是先對(duì)數(shù)據(jù)集圖片作離線增強(qiáng),對(duì)圖片進(jìn)行翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)、縮放、平移和添加噪聲等操作,得到的數(shù)據(jù)集大小為原數(shù)據(jù)集的3 倍.在訓(xùn)練過(guò)程中,YOLOv4 自帶的Mosaic 數(shù)據(jù)增強(qiáng)操作對(duì)片進(jìn)行處理.Mosaic 數(shù)據(jù)增強(qiáng)的效果如圖3所示,首先讀入4 張圖片,對(duì)圖片作翻轉(zhuǎn)、縮放、色域變換等操作,然后以矩陣的形式截取圖片的固定區(qū)域并將其拼接為一張圖片,極大的豐富檢測(cè)物體的背景,提升檢測(cè)算法的魯棒性.

圖3 Mosaic 數(shù)據(jù)增強(qiáng)

1.4 網(wǎng)絡(luò)模型改進(jìn)

在田間實(shí)際場(chǎng)景中對(duì)棉花進(jìn)行檢測(cè)時(shí),由于復(fù)雜背景的影響,以及葉片和枝丫對(duì)棉花的遮擋,常規(guī)的目標(biāo)檢測(cè)算法受到置信度的影響,往往會(huì)漏檢部分棉花從而造成損失.為了讓檢測(cè)網(wǎng)絡(luò)學(xué)習(xí)到細(xì)致的局部信息,并融合全局信息做出更加準(zhǔn)確的判斷,避免誤檢測(cè)和漏檢測(cè),可采取增大全局感受野的方式,捕獲更多的圖像特征描述圖片.

對(duì)YOLOv4的特征提取網(wǎng)絡(luò)做出改進(jìn),改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,將SENet (Squeeze-and-Excitation Networks) 結(jié)構(gòu)嵌入到Y(jié)OLOv4 主干特征提取網(wǎng)絡(luò)CSPDarkNet53的Residual 模塊中,得到SE-Residual殘差塊.用SE-Residual 替換原有的Residual 模塊,加大特征提取網(wǎng)絡(luò)的全局感受野,增強(qiáng)特征提取能力,從而能有效減少環(huán)境背景和障礙物遮擋對(duì)棉花檢測(cè)的影響,避免誤檢測(cè)和漏檢測(cè).SENet是Hu 等[9]在2017年提出,網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,主要包括Squeeze、Excitation和Scale 三部分.SENet中的Squeeze 部分用全局池化層順著空間維度進(jìn)行特征壓縮,在各個(gè)通道上得到具有全局感受野的實(shí)數(shù).Excitation 模塊接著使用兩個(gè)全連接層結(jié)構(gòu)對(duì)各個(gè)通道的重要性進(jìn)行預(yù)測(cè),得到不同通道重要性.最后Scale 部分將提取得到的通道重要性作用到全局特征上.SENet 在減少參數(shù)的同時(shí),對(duì)各個(gè)通道的特征進(jìn)行加權(quán)操作,各個(gè)通道的信息交互,強(qiáng)化有效信息,抑制無(wú)效信息,提高網(wǎng)絡(luò)準(zhǔn)確率.

圖4 YOLOv4 改進(jìn)算法網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集主要在棉田內(nèi)實(shí)際拍攝取得,為充分反映棉田內(nèi)真實(shí)的棉花采摘情況,在不同天氣情況下從不同的角度對(duì)棉花植株的棉花進(jìn)行拍攝.并通過(guò)互聯(lián)網(wǎng)獲取部分棉花圖片對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充,經(jīng)過(guò)篩選后選取6000 張相關(guān)圖片作為初始數(shù)據(jù)集,然后使用離線數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)集圖片翻轉(zhuǎn)、縮放、平移和加噪聲操作,進(jìn)一步擴(kuò)充數(shù)據(jù)集,最終得到的實(shí)驗(yàn)數(shù)據(jù)集包含18 000 張相關(guān)圖片.如圖5所示,數(shù)據(jù)集圖片主要包括單個(gè)棉花、多個(gè)棉花重疊、遮掩棉花和非棉花4 種情況.

圖5 棉花數(shù)據(jù)集

數(shù)據(jù)集獲取后需要對(duì)其進(jìn)行標(biāo)注,所使用標(biāo)注軟件為labelImg,該軟件免費(fèi)且操作簡(jiǎn)單,只需對(duì)圖片中單個(gè)棉花的區(qū)域使用錨框標(biāo)注為Cotton.選用標(biāo)注格式為PASAL VOC2007,然后利用隨機(jī)函數(shù)將數(shù)據(jù)集隨機(jī)分成訓(xùn)練集和測(cè)試集,其中訓(xùn)練集和測(cè)試集圖片數(shù)量比例為5:1,在訓(xùn)練集中再細(xì)分為訓(xùn)練集和驗(yàn)證集比例為9:1.

2.2 實(shí)驗(yàn)分析

試驗(yàn)在高性能計(jì)算平臺(tái)上進(jìn)行,平臺(tái)操作系統(tǒng)為Windows10,實(shí)驗(yàn)開(kāi)發(fā)平臺(tái)的配置為:CPU 選用Intel(R)Core (TM) i7-8700,GPU 選用 NVIDIA GeForce RTX 2070,內(nèi)存為16 GB.加載軟件環(huán)境有Pycharm、Python3.7、Cuda10.2.模型通過(guò)PyTorch 深度學(xué)習(xí)框架搭建.

在深度學(xué)習(xí)模型的訓(xùn)練上,采用遷移學(xué)習(xí)的方式通過(guò)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練.遷移學(xué)習(xí)的方式減少了構(gòu)建深度學(xué)習(xí)模型所需的訓(xùn)練數(shù)據(jù)和計(jì)算力,降低了模型的訓(xùn)練時(shí)間,能很好解決小數(shù)據(jù)集容易在復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)上的過(guò)擬合問(wèn)題.首先對(duì)公開(kāi)數(shù)據(jù)集Coco 數(shù)據(jù)集來(lái)獲得預(yù)訓(xùn)練模型,然后用棉花數(shù)據(jù)集基于預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí).遷移學(xué)習(xí)先凍結(jié)特征提取網(wǎng)絡(luò)前端訓(xùn)練50 個(gè)Epoch,利用已經(jīng)訓(xùn)練好具有較強(qiáng)特征提取能力的預(yù)訓(xùn)練模型先進(jìn)行特征提取,然后根據(jù)訓(xùn)練集/測(cè)試集對(duì)特征融合網(wǎng)絡(luò)和分類檢測(cè)網(wǎng)絡(luò)的參數(shù)進(jìn)行微調(diào),最后對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練和調(diào)整并輸出最后的分類檢測(cè)結(jié)果.

采用查準(zhǔn)率P和查全率R作為評(píng)價(jià)檢測(cè)算法性能的指標(biāo),查準(zhǔn)率P和查全率R的計(jì)算公式為:

其中,真正例TP表示在棉花存在的網(wǎng)格單元中,同時(shí)滿足置信度大于0.8、預(yù)測(cè)框與真實(shí)框的IoU大于0.5、預(yù)測(cè)類別正確3 個(gè)條件.假正例FP中包含兩種情況,一種是在棉花存在的網(wǎng)格單元中,置信度大于0.8 但不是真正例,另一種是在棉花不存在的網(wǎng)格單元中,置信度大于0.8.假反例FN代表在棉花存在的網(wǎng)格單元中,置信度小于0.8.

在網(wǎng)絡(luò)的訓(xùn)練上對(duì)每種算法模型重復(fù)3 次,每次訓(xùn)練650 個(gè)Epoch,具體訓(xùn)練參數(shù)設(shè)置為:批處理數(shù)為16,梯度優(yōu)化選用Adam 算法,初始學(xué)習(xí)率為0.001,每50 次迭代后學(xué)習(xí)率衰減為原來(lái)的1/10,動(dòng)量為0.9,衰減系數(shù)為0.0005,分類置信度閾值為0.8,IoU閾值為0.5.

改進(jìn)算法的訓(xùn)練的損失值、查準(zhǔn)率和查全率曲線如圖6所示,在使用遷移學(xué)習(xí)方法后,損失值在200 次迭代后趨近0,查準(zhǔn)率和查全率曲線在迭代300 次后逐漸趨于平穩(wěn),并且穩(wěn)定后的查準(zhǔn)率和查全率都在90%以上,結(jié)果如圖6所示.

圖6 YOLOv4 改進(jìn)算法

本文提出的YOLOv4 改進(jìn)算法與YOLOv3 算法、YOLOv4 算法及其改進(jìn)結(jié)構(gòu)的性能對(duì)比如表1所示,對(duì)比結(jié)果表明對(duì)YOLOv4 目標(biāo)檢測(cè)算法在網(wǎng)絡(luò)結(jié)構(gòu)和錨框上的改進(jìn),相較于YOLOv3 算法和原YOLOv4算法在性能上有較明顯的提升.本文在YOLOv4 算法中加入的新錨框計(jì)算方法,在查準(zhǔn)率上的提升較小,在查全率上有3%左右的性能提升.在網(wǎng)絡(luò)結(jié)構(gòu)中添加SENet 模塊的方法,在查準(zhǔn)率上有明顯的性能提升,在查全率上也有較明顯的性能提升.綜合結(jié)果表明,本文提出的YOLOv4 改進(jìn)算法,在復(fù)雜環(huán)境下也有很好的性能表現(xiàn),相較于傳統(tǒng)方法能夠更好的適應(yīng)棉花采摘的實(shí)際田間環(huán)境.

表1 算法檢測(cè)性能對(duì)比(%)

3 結(jié)論

采用K-means 算法進(jìn)行錨框計(jì)算,通過(guò)在YOLOv4中嵌入SENet 結(jié)構(gòu)得到Y(jié)OLOv4 改進(jìn)算法,融合YOLOv4與SENet的優(yōu)勢(shì),增加網(wǎng)絡(luò)的感受野,提升網(wǎng)絡(luò)的特征提取能力.實(shí)驗(yàn)結(jié)果表明,在復(fù)雜田間環(huán)境下,本文算法仍能夠準(zhǔn)確識(shí)別目標(biāo),減少誤采摘和漏采摘,得到較高的查準(zhǔn)率.